中 GLM-5.2, 취약점 검출 벤치마크서 클로드 코드 상회

중국 AI 기업 Z.ai가 6월 발표한 오픈웨이트 AI 모델인 GLM-5.2가 취약점 검출 정밀도를 측정하는 벤치마크에서 앤트로픽 클로드 코드(Claude Code)를 상회한 것으로 보고됐다.

GLM-5.2는 6월 13일 Z.ai가 발표한 AI 모델로 6월 17일 정식 발표됐다. Z.ai 창업자인 지에 탕(Jie Tang)은 발표에 즈음해 특정 프론티어 모델에 대한 갑작스러운 제한을 깊이 유감스럽게 생각한다며 미국 정부 명령으로 클로드 페이블(Claude Fable)의 서비스 제공이 중단된 건에 대해 언급했다.

GLM-5.2는 각종 벤치마크에서 클로드 오퍼스 4.7(Claude Opus 4.7)을 상회하는 점수를 기록했으며 인간에 의한 블라인드 테스트에서는 클로드 페이블 5(Claude Fable 5)를 상회한 사례도 보고된 바 있다.

사이버보안 기업 셈그렙(Semgrep)은 6월 22일 IDOR(Insecure Direct Object Reference) 검출 정밀도를 측정하는 벤치마크를 활용해 GLM-5.2, 클로드 코드(오퍼스 4.6/4.7/4.8), GPT-5.5 등 AI 모델을 테스트한 결과를 보고했다.

IDOR는 애플리케이션이 사용자 ID 등 내부 식별자를 요청에서 참조할 때 호출자 접근 권한을 확인하지 않는 취약점 일종. 이 취약점이 존재할 경우 공격자가 URL이나 API 요청 수치나 ID를 변조하는 것만으로 본래 접근할 수 없는 데이터에 접근할 수 있게 된다.

이번에 셈그렙은 AI 모델 태스크 실행을 지원하는 하네스(harness)라는 실행 기반이 퍼포먼스에 미치는 영향을 조사하기 위해 다양한 AI 모델 및 하네스를 대상으로 IDOR 벤치마크를 실행했다. 이 테스트에 사용된 AI 모델 중 하나가 GLM-5.2였다.

셈그렙은 GLM-5.2의 흥미로운 점으로 오픈웨이트이기 때문에 AI 모델 파라미터가 공개되어 있어 사용자가 자신의 하드웨어에서 실행·검증할 수 있다는 점, 7,500억 개 파라미터를 가진 전문가 혼합 모델(MoE)로 코딩 면에서 경쟁력이 있다는 점, 필요한 비용이 동급 최첨단 AI 모델의 6분의 1로 보고되고 있다는 점 등을 꼽았다.

이번 테스트에서는 얼마나 정확하게 취약점을 검출했는지를 나타내는 검출 정밀도와 데이터셋에 존재하는 취약점 중 어느 정도의 비율을 검출했는지를 나타내는 재현율에 기반해 F1이라는 점수가 산출됐다.

F1 순으로 테스트한 AI 모델 및 하네스를 나타낸 표에 따르면 1위와 2위는 셈그렙 멀티모달 하네스를 사용한 구성이었다. 3위에 랭크된 건 의외로 오픈웨이트 모델인 GLM-5.2로 4위 클로드 코드(오퍼스 4.6)와 5위 클로드 코드(오퍼스 4.7/4.8)를 상회했다. GLM-5.2는 IDOR 프롬프트만을 포함한 심플한 파이단틱 AI(Pydantic AI) 하네스로 실행됐으며 클로드 코드는 클로드 코드 SDK를 통해 실행됐다.

셈그렙은 최대 서프라이즈는 3위에 있었다며 GLM-5.2는 아무런 지원 없이 클로드 코드를 7퍼센트포인트(39% 대 32%) 상회했다고 밝혔다. 이어 심플한 프롬프트로 실행된 오픈웨이트 모델이 추론을 많이 요하는 보안 태스크에서 최첨단 코딩 에이전트를 상회한 것이라고 설명했다. GLM-5.2는 비용 면에서도 뛰어나 발견된 취약점 1건당 비용은 0.17달러에 그쳤다.

GLM-5.2는 오픈웨이트로 다운로드해 로컬에서 사용하는 게 가능하다. 하지만 베이스 모델은 1.51TB라는 상당히 큰 메모리를 요구하기 때문에 가정에서의 사용은 비현실적이다. 이미 GLM-5.2 양자화 버전이 복수 공개되어 있지만 1비트로 양자화한 버전이라도 233GB 메모리가 필요하다.

한편 로컬에서의 실행이 비교적 용이한 Qwen 3.6 27B도 상당히 높은 퍼포먼스를 발휘하는 것으로 보고된 바 있다. 관련 내용은 이곳에서 확인할 수 있다.