앤트로픽 미토스5‧페이블5 제공 중단 사태 벌어진 이유는?

앤트로픽은 지난 6월 10일 클로드 미토스 5(Claude Mythos 5)와 클로드 페이블 5(Claude Fable 5)를 일반에 공개했다. 하지만 단 이틀 만인 6월 12일 미국 정부 지시에 따라 두 모델의 제공이 중단됐다.

백악관 고문 데이비드 색스(David Sacks)는 이번 조치에 대해 신뢰할 수 있는 파트너가 두 모델에 대한 안전장치를 우회하는 탈옥 사례를 보고했다고 설명했다. 그에 따르면 정부는 앤트로픽 다리오 아모데이(Dario Amodei) CEO에게 해당 문제를 수정하거나 모델 제공을 중단하라고 요구했지만 아모데이가 이를 거부하면서 결국 수출 규제가 발동됐다.

보도에 따르면 아마존 연구진이 일련의 프롬프트를 활용해 페이블 5로부터 본래 제한되어야 할 사이버 공격 관련 정보를 끌어냈다. 앤디 재시(Andy Jassy) 아마존 CEO는 이 내용을 스콧 베센트 재무장관을 포함한 정부 당국자에게 전달했다고 한다. 이후 백악관 당국자가 대응 방안을 논의했고 보안 연구진이 아마존 측 주장을 검증하기 위한 테스트를 진행했다. 관계자에 따르면 정부는 위험에 대응할 가장 직접적인 방법으로 외국 정부·외국 기업·외국인의 해당 모델 접근을 차단하는 쪽을 선택했다.

보도에 따르면 앤트로픽은 이전부터 미토스 해킹 능력에 대해 경고하며 광범위한 배포를 자제해왔다고 한다. 이후 사이버보안 안전장치를 갖춘 일반 공개용 버전으로 페이블을 출시했지만 정부는 이 안전장치를 우회하는 탈옥 수법이 존재한다고 판단했다. 여기서 탈옥이란 AI 모델에 설정된 안전 가드레일을 회피해 원래대로라면 거부될 답변을 끌어내는 행위를 말하며 이번 사안에서는 모델의 안전장치를 우회해 소프트웨어 취약점을 찾아낼 수 있다는 점이 문제로 지적됐다.

트럼프 정부는 미국 내외를 불문하고 외국 국적자의 페이블 5 및 미토스 5 이용을 차단하도록 앤트로픽에 명령한 것으로 전해졌다. 앤트로픽은 이 명령에 대응해 두 모델에 대한 접근을 전 세계적으로 비활성화했다고 설명했다.

다만 앤트로픽 측은 문제로 지적된 수법으로 발견된 건 경미한 보안 결함이며, 다른 공개 모델에서도 발견될 수 있는 수준이라고 주장했다. 또 아마존이 지적한 취약점은 비교적 기본적인 수준으로 완전한 탈옥이라고 보기는 어렵다는 입장을 밝혔다.

한편 보도에선 앤트로픽 AI 모델이 취약점 정보를 바탕으로 실제 작동하는 공격 코드까지 생성할 수 있다는 점이 우려 대상이라고 지적했다. 다만 보안업체 그레이노이즈 인텔리전스(GreyNoise Intelligence)는 아마존 연구진이 페이블 안전 가드레일을 뚫고 실제 공격 코드 생성까지 도달했다는 증거는 없다고 밝혔다.

아마존은 앤트로픽 주요 투자자이자 데이터센터용 칩 공급사이며 동시에 앤트로픽 모델을 소프트웨어 취약점 탐지에도 활용해온 것으로 알려졌다. 보도에 따르면 아마존 측은 정부가 잠재적 보안 위험에 대해 자문을 구하는 일이 드물지 않다면서도 구체적인 협의 내용은 밝히지 않았다고 답했다.

한편 또 다른 보도에선 이번 제공 중단 명령에 대한 또 다른 배경으로 중국 정부와 연관된 그룹이 미토스에 접근했을 가능성이 있다고 한다.

관계자 정보를 인용해 미국 정부가 앤트로픽에 두 모델의 제공 중단을 명령한 이유 중 하나로 중국 정부와 연관된 그룹이 미토스에 접근했을 가능성을 들었다는 것. 다만 백악관이 이 정보를 어떻게 입수했는지 어떤 그룹이 어느 모델에 접근했는지 어떤 방식으로 접근 권한을 얻었는지는 불명확하다.

보도에선 중국 정부가 미토스에 접근할 수 있게 된다면 미국 국가안보에 위협이 될 수 있으며 중국 기업이 이른바 증류(distillation) 과정을 통해 이 모델을 역설계해 복제를 시도할 가능성도 있다고 전했다.

데이비드 색스 대통령 고문은 백악관이 앤트로픽에 두 모델 제공 중단을 명령하게 된 경위를 설명했다. 그에 따르면 앤트로픽은 이번 주 초 미토스 계열 모델을 상업명 페이블로 공개했으며 페이블은 가드레일이 적용된 미토스라고 할 수 있지만 이 가드레일이 실패할 경우 미토스의 고도화된 사이버 능력이 가져서는 안 될 이들에게 노출될 위험이 있다고 지적했다. 그는 앤트로픽과 미국 정부 양측에서 신뢰받는 한 파트너가 페이블을 테스트하던 중 가드레일에 대한 탈옥 방법을 발견해 공개했고 이에 정부가 앤트로픽에 탈옥 문제를 수정하거나 모델을 비공개로 전환하라고 요구했다고 밝혔다.

그는 또 앤트로픽이 이 탈옥을 심각하지 않다고 주장했지만 이는 신뢰받는 파트너와 미국 정부 판단과 다르며 AI 안전 기업으로서 앤트로픽에 어울리지 않는 표현이라고 비판했다. 사이버 무기 운용을 가능케 하는 탈옥을 심각하지 않다고 규정할 수는 없다는 것.

이런 이유로 정부는 수출 규제를 발동했고, 앤트로픽은 마지못해 이를 따랐다고 설명했다. 그는 미국 정부의 바람은 앤트로픽이 안전 문제를 해결해 수출 규제가 해제되고 두 모델에 대한 제공 중단도 풀리는 것이라고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.