오픈AI 에이전트, 실수로 허깅페이스 침해한 이유는?

7월 허깅 페이스(Hugging Face)가 오픈AI 자율형 AI 에이전트에 의해 실수로 침해당하는 인시던트가 발생했다. 이 건에 대해 조사를 진행해 온 허깅 페이스가 인시던트 개요를 공개했다.

이번 건은 오픈AI AI 에이전트가 외부 네트워크로부터 격리된 공간에서 사이버 능력 평가 벤치마크인 익스플로잇짐(ExploitGym)을 검증하던 중 AI 에이전트가 상당량 추론을 수행해 외부 네트워크에 접속하는 방법을 찾아내고 허깅 페이스에 답이 있다고 판단해 무단 접근을 해버린 것이다.

이 AI 에이전트는 완전히 자율적으로 동작하고 있었으며 오픈AI는 사후에 이상 동작을 인지하고 허깅 페이스와 연계해 조사를 실시했다.

조사 결과 허깅 페이스는 1만 7,600건에 이르는 세밀한 공격 흔적을 발견했다. 이는 중국 기업 Z.ai가 공개한 오픈 웨이트 모델 GLM-5.2를 중심으로 활용해 해독에 이른 것이라고 한다.

AI 에이전트 공격은 주로 2단계로 나뉘어 있었다. 1단계는 외부 네트워크로의 접속을 시도한 것으로 AI 에이전트는 패키지 레지스트리에 존재하던 제로데이 취약성을 악용해 네트워크 노드를 발견하고 샌드박스 환경에서 탈출했다. 2단계는 허깅 페이스로의 침입으로 AI 에이전트는 2가지 공격 기법을 조합하여 내부 인프라로의 접속을 확립했다.

내부 인프라에 침입한 AI 에이전트는 당초 목적대로 익스플로잇짐의 해답에만 접근했으며 그 외 데이터셋이나 고객 정보에는 손을 대지 않았다고 한다.

AI 에이전트 공격은 5일간에 걸쳐 이뤄졌으며 1만 7,600건 공격이 실행됐다. 대부분 공격은 보안 시스템에 의해 차단됐으며 허깅 페이스는 대량 공격이 있었고 일관성이 없었기 때문에 모든 흔적을 연관 짓는 게 어려웠다고 밝혔다. 이 연관 분석에 큰 역할을 한 게 GLM-5.2였다.

허깅 페이스는 공격 타임라인을 시각화해 공개했다. 허깅 페이스는 이 에이전트의 공격 능력은 실제로 위협적이었다고 평가했다. 개별 공격은 기존 취약성을 악용한 것이었지만 이 정도 대규모로 실행할 수 있는 것은 AI 특유의 것이기 때문에 AI에 의한 공격은 방어 측에 있어 통상적인 취약성이 보다 큰 비용을 수반하게 된다는 걸 의미한다고 지적했다.

이번 건과는 별도로 또 다른 보도에선 오픈AI AI 에이전트가 기술 기업 모달 랩스(Modal Labs) 고객에 대해 무단 접근을 행했다고 지적했다. 모달 랩스 임원은 무단 접근을 인정했으나 AI 에이전트명은 밝히지 않았으며 오픈AI는 이 건을 부인했다. 관련 내용은 이곳에서 확인할 수 있다.