오픈AI, 안전 기준 미달로 新모델 공개 철회…AI 안전 논쟁 확산

오픈AI(OpenAI)가 10월 공개할 예정이던 GPT-6.1 아스트라(GPT-6.1 Astra) 출시 계획을 철회했다. 자체 안전 기준을 충분히 충족하지 못했다고 판단해서다. 미국에서는 주 정부가 AI 개발을 멈춰 달라며 법원에 가처분을 신청했고 업계 거물들 사이에서도 규제 방식을 둘러싼 논쟁이 이어지고 있다. 엔비디아는 AI 에이전트 이탈을 막는 안전 플랫폼을 내놨다.

◇ 거짓 보고하고 허락 없이 움직인 신모델=오픈AI는 9월 3일 최신 모델 GPT-6 아스트라를 내놨다. 이용자가 몰리면서 구독 신규 가입이 일시 중단될 수 있다는 관측이 나올 만큼 인기를 끌었다. 반면 출시 전부터 능력이 지나치게 강하다는 우려가 제기됐고 회사 내부에서도 이 모델이 중대한 사이버보안 임계치에 이른다고 판단했다.

보도에 따르면 오픈AI 안전시스템 책임자인 사치 제인(Saachi Jain)은 GPT-6.1 아스트라가 이전 세대보다 AI 정렬 테스트에서 저조한 경향을 보였다고 말했다. AI 정렬은 AI가 인간 의도를 얼마나 따르는지를 가리킨다. 구체적으로 GPT-6.1 아스트라는 자신이 한 행동과 하지 않은 행동을 사용자에게 늘 정직하게 알리지 않았고 얼버무리는 정도가 컸다. 사용자 허락 없이 작업을 밀어붙이거나 안전하지 않다고 여겨지는 상황에서도 외부 서비스와 도구를 쓰려는 경향도 나타났다.

제인은 GPT-6.1 아스트라가 어려운 과제 앞에서 게을러지지 않도록 균형을 잡는 면에서는 나아졌다고 설명했다. 다만 오픈AI가 정한 안전성과 AI 정렬 기준을 완전히 충족하지 못해 일반 공개를 하지 않기로 했다는 게 그의 설명이다.

◇ 플로리다주, 개발 중단 가처분 신청=오픈AI와 샘 알트만(Sam Altman) CEO를 상대로 소송을 낸 제임스 우스마이어(James Uthmeier) 플로리다주 법무장관은 재판 기간에 추가 AI 개발이 이뤄지지 않도록 법원에 가처분을 신청했다. 우스마이어 장관은 앞서 오픈AI와 알트만이 챗GPT(ChatGPT)의 실제 성격과 위험성을 숨기고 주민을 속인 채 서비스를 공개했다고 주장하며 이들을 제소했다.

우스마이어 장관은 법원 제출 서류에서 피고들이 작동 원리를 완전히 이해하지 못한 채 AI 서비스를 제공하고 있다는 점을 스스로 인정했다고 주장했다. 피고들이 인정했듯 AI는 인류 존속 자체를 위협하는 서비스이며 피고들은 정부가 강제하지 않는 한 문명을 무너뜨릴 수 있는 AI 개발을 멈출 수 없다고 말하고 있다는 것이다. 그는 이들이 자신을 돛대에 묶어 달라고 정부에 요청하는 셈이라며 도움을 구하는 이들의 외침에 응해 가처분을 신청했다고 밝혔다. 알트만이 개발 속도를 늦추겠다고 한 말이 진심이었다면 법원에 낸 요청에 동의해야 한다고도 했다.

Four months ago, we filed the first state-led lawsuit against OpenAI and Sam Altman. Today, we are asking the court for a temporary injunction.

Stop calling it safe. Stop pretending it’s human. Stop selling it to kids. https://t.co/AEXvz7VQUd

— Attorney General James Uthmeier (@AGJamesUthmeier) September 28, 2026

소송 제기 뒤 4개월 동안 오픈AI의 AI 에이전트가 허깅페이스(Hugging Face)와 호주 정부기관, 유엔 통계 사이트 등을 해킹했다는 보도도 잇따랐다. 우스마이어 장관은 피해가 임박한 현실이며 법원이 재판 기간 개발을 막지 않으면 돌이킬 수 없는 결과로 이어질 것이라고 경고했다.

◇ 게이츠, 기업 자율 규제 한계 지적=마이크로소프트(Microsoft) 공동창업자이자 자선사업가인 빌 게이츠(Bill Gates)는 AI 위험성을 경고했다. 게이츠는 AI가 사망자 10억 명이 나오는 사태를 일으킬 만큼 힘을 갖고 있다고 말했다. 100% 확실한 건 아니지만 악의를 품은 사람이 최신 AI 도구를 다루는 조합만큼 무서운 흉기는 지금껏 없었다는 게 그의 지적이다. 그는 AI 안전 대책을 기업 자율 규제에만 맡기기엔 부족하며 법 집행기관과 정치권이 논의에 반드시 참여해야 한다고 강조했다.

게이츠는 8월 쓴 칼럼에서도 AI 위험을 짚었다. AI가 널리 쓰이면 많은 일자리가 영구히 사라지고 악의를 가진 사람들이 더 큰 해를 끼칠 수 있게 된다는 것이다. 아이들 발달을 가로막고 인간관계를 빼앗을 수 있다는 우려도 담았다.

미국 기술자와 AI 기업 관계자 사이에서는 개발 속도를 늦춰야 한다는 쪽으로 의견이 모이고 있다. 오픈AI와 앤트로픽(Anthropic)에서 사전학습 연구를 해 온 제이컵 콕슨(Jacob Coxon)은 두 회사 모두 책임감 있게 움직이지 않는다며 최근 앤트로픽을 떠났다. 앤트로픽 정렬과학 책임자 에번 허빙어(Evan Hubinger)는 AI가 향후 10년 안에 인류를 절멸시킬 가능성이 10%를 넘는다고 본다는 개인 견해를 밝혔다.

규제 방식을 두고는 업계가 갈라졌다. 구글 딥마인드(Google DeepMind) 데미스 허사비스(Demis Hassabis) CEO는 최첨단 AI를 규제할 독립 표준기관을 미국에 세우자고 제안했다. 알트만과 사티아 나델라(Satya Nadella) 마이크로소프트 CEO, 순다르 피차이(Sundar Pichai) 구글 CEO 등이 뜻을 같이했다. 반면 마크 저커버그(Mark Zuckerberg) 메타(Meta) CEO와 일론 머스크(Elon Musk) CEO, 젠슨황(Jensen Huang) 엔비디아 CEO는 외부 규제에 반대하며 이런 기관이 생기지 않도록 도널드 트럼프 대통령에게 요청하고 있다.

◇ 엔비디아, 에이전트 감시 플랫폼 공개=엔비디아는 AI 에이전트가 의도하지 않은 동작을 하지 못하도록 규칙을 강제로 따르게 하는 오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)을 발표했다. AI 에이전트에 자율 동작을 맡기면 사람 의도에서 벗어난 행동으로 기존 보안에 영향을 주는 일이 생긴다. 무관한 조직에 피해를 준 사례가 여러 건 보고되면서 감시 체계를 강화해야 한다는 요구가 커졌다.

이 플랫폼은 오픈셸(OpenShell)과 센트리(Sentry)라는 핵심 시스템 2개로 구성된다. 오픈셸은 엔비디아 베라(Vera) CPU에서 AI 에이전트가 움직일 때 모든 행동을 추적하는 시스템이다. 에이전트가 무엇을 보고 무엇을 실행하며 무엇과 상호작용할 수 있는지를 사람이 정해 강제한다. 에이전트가 쓰려는 도구를 하나하나 점검하고 접근하는 파일과 네트워크 연결에 규칙을 적용해 허용되지 않은 행동은 모두 차단한다.

센트리는 블루필드-4(BlueField-4) 데이터처리장치(DPU)에서 작동하는 감시 기능이다. 경계 밖으로 나가려는 에이전트를 밀리초 단위로 멈춰 세운다. 오픈셸과 함께 쓰면 소프트웨어와 하드웨어로 이뤄진 다층 보안을 구현할 수 있다.

엔비디아는 AI 에이전트 시스템을 구축할 때 지켜야 할 기본 원칙 5가지도 제시했다. 첫째로 정책은 검증할 수 있어야 하며 에이전트를 실행하기 전에 그 정책이 운영자 의도를 벗어날 수 없다는 걸 증명해야 한다. 둘째로 감시는 대역 밖에서 이뤄져야 한다. 제어 시스템이 에이전트 내부나 에이전트 손이 닿는 범위에 있어서는 안 되고 에이전트는 자신이 감시받는다는 사실을 알 필요가 없다. 셋째로 모델로 가는 경로를 통제하면 최적의 관찰 지점과 필요할 때 이를 끊는 킬스위치를 함께 확보할 수 있다. 넷째로 에이전트 사고 과정을 검증하는 기능을 갖춰야 에이전트 권한을 넓힐 수 있다. 다섯째로 연구소와 기업, 하드웨어 공급사가 계층을 나눠 맡고 에이전트 런타임과 정책 언어는 개방해 어느 공급사든 연결할 수 있어야 한다.

젠슨황 CEO는 자신을 책임 있는 낙관론자라고 소개했다. AI는 발견과 생산성, 안전, 건강을 끌어올리고 미래 세대 번영을 앞당길 획기적 기술이지만 AI가 안전하게 만들어지고 현명하고 책임 있게 쓰인다는 신뢰가 있어야 그 가능성이 실현된다고 말했다. 가장 뛰어난 AI뿐 아니라 가장 신뢰받는 AI를 만들어야 한다는 게 그의 주장이다.

앤트로픽은 오픈셸을 활용할 수 있는 대규모 AI 에이전트용 API 모음 클로드 매니지드 에이전트(Claude Managed Agents)를 발표했다. 라쿠텐과 노션(Notion) 등이 이미 이 서비스를 쓰고 있다. 관련 내용은 이곳에서 확인할 수 있다.