약점 자동으로 찾아내는 AI 모델…오픈AI, GPT-레드 발표

오픈AI가 7월 15일 기존 AI에 공격을 가해 약점을 자동으로 찾아내는 모델 GPT-레드(GPT-Red)를 발표했다. GPT-레드는 공격 역할과 방어 역할 AI를 경쟁시켜 프롬프트 인젝션에 강한 차세대 모델을 훈련하기 위한 사내용 시스템.

AI 에이전트는 웹페이지나 이메일, 연결된 앱, 로컬 파일 등에서 정보를 읽어 사용자를 대신해 작업을 수행한다. 하지만 읽어들인 데이터에 악의적인 명령이 삽입되어 있으면 원래 요청을 무시하고 공격자 지시를 따르는 프롬프트 인젝션이 발생할 수 있다.

이런 약점을 제품 공개 전에 찾아내기 위해, AI 개발 기업에서는 전문가가 공격자 입장에서 시스템을 검증하는 레드팀(Red Teaming)을 실시하고 있다. 다만 인간이 공격 방법을 고안하고 검증하는 작업에는 시간이 많이 소요되며 모델 훈련에 필요한 양과 다양성을 갖춘 공격 사례를 지속적으로 만들어내기가 어렵다.

이에 오픈AI가 개발한 게 인간을 대신해 공격 방법을 탐색하는 GPT-레드다. GPT-레드는 대상 AI에 프롬프트를 보내고 그 반응을 관찰해 공격 방법을 수정하는 시행착오를 반복하면서 의도한 오작동을 유발하는 방법을 찾는다.

GPT-레드 훈련에는 공격 측과 방어 측을 동시에 단련하는 셀프플레이 방식 강화학습이 사용됐다. GPT-레드는 프롬프트 인젝션 등을 성공시키면 보상을 받는 반면 방어 측 복수 대규모언어모델(LLM)은 공격을 거부하면서 작업을 완료하면 보상을 받는다.

방어 측 AI가 강해질수록 GPT-레드는 기존 공격으로는 돌파할 수 없게 되어 더 교묘하고 다양한 방법을 찾아야 한다. 오픈AI는 GPT-레드의 훈련에 자사의 대규모 사후학습에 필적하는 컴퓨팅 자원을 투입했다고 설명했다.

훈련을 마친 GPT-레드는 사내 모델과 일반 제공 중인 제품 모델을 포함해 GPT-5.5까지 거의 모든 상대를 돌파할 수 있었다고 한다. 오픈AI는 GPT-레드가 만들어낸 공격을 GPT-5.6 훈련에 활용하는 한편 공격 능력 자체가 외부에 제공되지 않도록 GPT-레드를 제품 모델과 분리해두고 있다.

미지의 공격 환경에 대응할 수 있는지를 조사하는 평가에서는 GPT-레드와 인간 전문가가 각각 GPT-5.1에 대한 간접 프롬프트 인젝션을 작성했다. 그 결과 GPT-레드는 평가 시나리오 84%에서 공격에 성공해 인간 레드팀 성공률 13%를 크게 웃돌았다.

오픈AI는 실제 가동 중인 AI 에이전트를 사용한 검증도 실시했다. 공격 대상이 된 건 앤던랩스(Andon Labs)가 개발하고 오픈AI 사무실에 설치된 자판기를 관리하는 AI 에이전트 벤디(Vendy)다. GPT-레드는 먼저 실제 환경에 가까운 시뮬레이션 상에서 벤디에 대한 공격을 반복하고 거기서 발견한 방법을 실운용 중인 에이전트에 적용했다. 그 결과 판매 중인 고가 상품을 설정 가능한 최저 가격인 0.50달러로 인하시키는 데 성공했다.

나아가 100달러 이상 상품을 새로 입고시켜 0.50달러에 판매하게 만들었고 다른 고객 주문도 취소시켰다. 오픈AI는 발견된 취약점을 관계자에게 공개했으며 현재 새로운 안전 대책이 테스트되고 있다.

GPT-레드가 시뮬레이터 상에서 벤디에 대한 공격 방법을 탐색하고 선택한 공격을 실운용 중인 벤디에 전용하는 흐름을 보면 위조 승인 정보를 사용해 79달러 상품을 0.50달러로 인하시키고 있다.

GPT-레드는 GPT-5.4 미니를 기반으로 하는 코덱스 CLI(Codex CLI) 에이전트에 대해서도 공격을 수행했다. 훈련에 포함되지 않은 데이터 유출 시나리오 10건으로 검증한 결과 일반 프롬프트를 부여한 GPT-5.5보다 더 많은 시나리오에서 기밀 데이터를 유출시켰으며 공격에 필요한 토큰 수도 적었다고 한다.

데이터 유출 태스크에서 테스트 시 투입하는 연산량과 공략 가능한 시나리오 수를 비교한 결과 GPT-레드는 일반 프롬프트를 부여한 GPT-5.5보다 더 많은 시나리오를 공략했으며 최대 10건 중 8건 이상 공격에 성공했다.

GPT-레드가 발견한 공격은 제품 모델 안전성을 높이기 위한 훈련 데이터로 활용되고 있다. 예를 들어 초기 버전 GPT-레드가 발견한 가짜 사고 연쇄(Fake Chain-of-Thought)라는 공격은 GPT-5.1에 대해 95% 이상 성공률을 기록했지만, GPT-5.6 솔(Sol)에 대한 성공률은 10% 미만으로 떨어졌다.

개발 도구나 웹 열람 기능을 노리는 복수 간접 프롬프트 인젝션 평가에서도 GPT-5.6은 97% 이상 정확성을 기록했다. 새로운 모델이 나올수록 간접 프롬프트 인젝션에 대한 내성도 향상됐다.

더 강력한 공격에 대한 내성을 조사한 평가에서는 프롬프트 인젝션과 지시 위계 위반 성공률이 모델 세대가 진행됨에 따라 하락했다. GPT-5.6에서는 프롬프트 인젝션 성공률이 3.8%, 지시 위계 위반 성공률이 0.05%까지 떨어졌다.

GPT-5.3부터 GPT-5.6까지의 모델을 대상으로 더 강력한 공격에 대한 내성을 비교한 결과 GPT-5.6에서는 프롬프트 인젝션 성공률이 3.8%, 지시 위계 위반 성공률이 0.05%가 됐다.

오픈AI에 따르면 GPT-5.6 솔은 4개월 전에 제공하던 가장 내성이 높은 제품 모델과 비교해 최고 난도 직접 프롬프트 인젝션 평가에서 실패 횟수가 6분의 1로 줄었다. 오픈AI는 통상적인 능력이나 정당한 요청에 대한 응답 성능은 유지되어 단순히 많은 요청을 거부함으로써 안전성을 높게 보이게 하는 건 아니라고 설명했다.

다만 오픈AI는 GPT-레드만으로 AI 안전성을 확보할 수 있다고는 보지 않는다. 인간 및 제3자에 의한 레드팀, 복수 층의 안전 대책, 실시간 감시와 결합해 GPT-레드를 이런 노력을 보완하는 체계로 활용할 방침이다.

오픈AI는 현재의 AI에게 차세대 AI의 약점을 탐색하게 하고 그 결과를 새로운 모델 훈련에 반영해 안전성을 지속적으로 향상시키는 순환을 구축할 수 있다고 보고 있다. 향후에는 컴퓨팅 자원과 훈련 데이터를 확대하고, 현재의 GPT-레드보다 강력한 공격 역할 AI를 개발해 미래 GPT 모델을 더 견고하게 만들 계획이다. 관련 내용은 이곳에서 확인할 수 있다.