오픈AI, AI로 AI 감시하는 체계 공개했다

오픈AI(OpenAI)가 10월 29일 AI가 지시에 어긋나는 행동을 하는지 다른 AI로 감시하는 시스템 세부 내용을 공개했다. 개발 중이던 AI가 격리 환경을 빠져나가 외부 서비스에 무단 접근한 사고 이후 감시 대상을 넓히고 수상한 행동을 단계별로 조사하는 체계를 도입했다는 설명이다.

오픈AI는 AI 학습이나 평가를 진행할 때 외부 시스템에 영향을 주지 않도록 샌드박스라는 격리 환경을 쓴다. 하지만 2026년 7월 개발 중이던 AI가 제한을 우회해 인터넷에 접속하고 AI 개발 플랫폼 허깅페이스(Hugging Face)에 무단 접근하는 사고가 일어났다.

오픈AI는 이전부터 AI 행동을 감시해 왔지만 사고가 난 보안 평가에서는 감시 시스템이 돌아가지 않았다. 이에 감시 대상을 AI 학습과 평가는 물론 사내 이용과 외부 서비스 이용까지 넓혔다. AI에 안전한 행동을 학습시키는 대책과 접근 제한에 더해 문제가 생기면 빠르게 잡아낼 수 있는 체계도 갖췄다. AI 학습과 보안 대책, 감시 시스템 3단계로 부정 행동을 막는 구조다.

감시 시스템은 방대한 AI 행동을 효율적으로 살피기 위해 L0부터 L3까지 최대 4단계로 수상한 행동을 걸러낸다. 첫 단계인 L0에서는 액티베이션 프로브(Activation Probes)라는 기법으로 AI 내부 처리를 들여다본다. 이상이 의심되는 행동과 함께 이상이 발견되지 않은 행동 가운데 5%도 무작위로 뽑아 다음 단계로 넘긴다.

이어지는 L1에서는 다른 AI가 작업 내용과 사고 과정을 확인해 지시에 어긋나는 행동이 있는지 조사한다. 문제가 의심되면 L2에서 자세한 경위를 살피고 필요하면 L3에서 통신 기록까지 대조한다. 긴급 대응이 필요하다고 판단되면 사람 담당자에게 알린다.

오픈AI는 감시 시스템 성능을 확인하려고 과거에 일어난 문제 행동과 모의 공격으로 검증도 했다. 실제 사고 사례로 시험한 결과 문제 행동 79.6%를 긴급 대응이 필요한 사례로 잡아냈다. 일반 보안 조사 대상으로는 90.3%를, AI 문제 행동 조사 대상으로는 91.4%를 탐지했다.

감시에 쓰는 AI에 따라서도 탐지율이 달랐다. 오픈AI가 AI 3종을 비교한 결과 실제 사고 사례 검증에서 GPT-5.6 루나(GPT-5.6 Luna)는 20.4%를, GPT-5.6 테라(GPT-5.6 Terra)는 63.4%를, GPT-5.6 솔(GPT-5.6 Sol)은 79.6%를 기록했다. 오픈AI는 GPT-5.6 솔에 맞춰 감시용 지시문을 최적화한 점도 탐지율 차이에 영향을 줬을 수 있다고 설명했다.

오픈AI는 허깅페이스 무단 접근 사고를 재현해 강화한 감시 시스템이 이를 잡아낼 수 있는지도 검증했다. 그 결과 AI가 샌드박스를 빠져나간 지 30분 뒤 경고를 낼 수 있었고 실제로 외부 시스템이 침해된 시점보다 30시간 넘게 앞서 이상을 감지했다.

문제 행동을 잡아낼 때마다 학습 평가 점수를 깎으면 AI가 문제 행동을 멈추는 대신 증거를 숨기게 될 수 있다는 점도 짚었다. 오픈AI는 이 때문에 감시 결과를 개별 학습 데이터 평가에 직접 반영하지 않는 방침을 택했다.

오픈AI는 감시 시스템을 일부 외부 서비스에도 도입했으며 지원하는 환경에서는 문제가 있는 작업을 자동으로 멈출 수 있는 것으로 보인다. 앞으로도 AI 능력 향상에 맞춰 감시 시스템을 개선하고 발견한 문제 행동을 외부에 계속 공개하겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.