앤트로픽 CEO “6~12개월 안에 AI가 인터넷 장악 가능성”

다리오 아모데이(Dario Amodei) 앤트로픽(Anthropic) CEO가 프런티어 속도를 조절해야 한다(We Must Pace the Frontier)는 제목을 단 블로그 글을 공개하고 AI 위험이 커지고 있어 개발 속도를 늦출 필요가 있다고 주장했다. 아모데이 CEO 의견에는 일론 머스크(Elon Musk) 스페이스X(SpaceX) CEO와 샘 올트먼(Sam Altman) 오픈AI(OpenAI) CEO, 데미스 허사비스(Demis Hassabis) 구글 딥마인드(Google DeepMind) 회장 등도 동의를 표했다.

아모데이 CEO는 글에서 AI를 둘러싼 큰 우려가 2가지 있다고 주장했다. 첫 번째 우려는 2026년 여름 무렵부터 AI 진보가 급가속하고 있다는 사실이다. AI 개발 기업은 AI를 이용해 차세대 AI를 구축하는 재귀적 자기개선(RSI)이라는 기법을 실용화하고 있는데 이를 방치하면 AI가 인간 이해력이나 통제 범위를 넘어설 우려가 있다는 것이다.

두 번째 우려는 2026년 7월 드러난 오픈AI 테스트 중 AI에 의한 허깅페이스(Hugging Face) 공격이다. 이 공격에서는 AI 에이전트끼리 연계해 정보를 주고받으며 원래 과업 목적에서 벗어난 사이버 공격을 실행했다. 아모데이 CEO는 허깅페이스 공격이 실제 피해가 최소한에 그친 탓에 가볍게 여겨지기 쉽지만 더 파멸적인 피해를 낳을 가능성도 있었다고 지적했다. AI 능력 개발이 가속되는 현 상황을 감안하면 6~12개월 안에 AI가 인터넷 전체를 장악해 수백조원대(수천억 달러) 피해를 일으킬 가능성이 있다며 위험이 커지기 전에 개발을 감속해야 한다고 강조했다.

아모데이 CEO는 AI 개발을 늦추기 위한 3단계 계획을 제안했다. 1단계는 내장형 평가자다. 최첨단 AI 기업이 모델평가위협연구(METR) 같은 감사 기관에 직원과 동등한 접근 권한을 주고 감사 기관은 AI 안전 대책과 서약 준수 상황을 확인해 사고를 보고한다. 완성된 AI 모델뿐 아니라 학습 파이프라인도 감사 대상이다. 앤트로픽은 이미 1단계 실현에 착수해 외부 감사팀용 출입 배지와 회사 지급 PC를 마련할 예정이다. 2단계는 민주적 연계다. 민주주의 국가 최첨단 AI 기업이 손잡고 공통 안전 기준을 세워 AI의 무제한 진보를 제한한다. 개발 속도 조정에 효과적인 연계 형태 가운데는 법적으로 어려운 것도 있어 정부 지원이 필요하다. 3단계는 국제 연계로 미국을 비롯한 민주주의 국가가 권위주의 국가와 최대한 협조를 꾀한다는 내용이다.

AI 업계에서는 앤트로픽과 오픈AI 같은 미국 기업과 나란히 딥시크(DeepSeek)와 알리바바(Alibaba) 같은 중국 기업도 큰 영향력을 쥐고 있다. 아모데이 CEO는 국제 연계에는 압도적으로 고도화된 AI 능력을 갖춘 독재 국가인 중국과 협력이 불가결하다고 말했다. 다만 지정학적 이해관계 영향이 워낙 커 초기 단계에서 달성할 수 있는 협력에는 큰 제약이 있다고 밝혔다. 중국도 마찬가지로 AI 개발을 늦출 것이라는 기대 아래 개발을 감속했다가 중국이 기대를 저버리면 중국 AI가 매우 강력해져 중국 지정학적 지배로 이어질 수 있다고 덧붙였다. 따라서 모든 합의는 철벽 같은 검증 가능성을 갖추거나 군사적으로 존망을 위협하지 않는 수준으로 제한돼야 하며 미국과 동맹국 주도권을 지키는 방식으로 국제 연계에 관한 결정에 임해야 한다는 게 그의 설명이다.

아모데이 CEO는 국제 연계를 실현 가능성이 높은 순서대로 4단계로 나눠 제시했다. 레벨 1은 생물무기 제조에 AI를 쓰는 것처럼 좁고 명백하게 위험한 이용을 금지하는 협정이다. 생물무기를 이용한 바이오테러는 미국뿐 아니라 적대국을 포함한 모든 사람에게 해롭기 때문에 달성할 수 있다고 봤다. 레벨 2는 사이버보안과 생물학, 얼라인먼트 같은 분야에서 심각한 위험을 놓고 AI 모델 출시 전에 사전 테스트를 한다는 국제 합의다. 국제 표준화 단체를 통해 진행하며 단체 설립 자체는 가능하다고 보지만 합의를 의미 있게 하려면 군사용 비밀 모델 등을 보유하지 않았다는 점을 검증해야 해 실효성을 갖추기는 어렵다.

레벨 3은 재귀적 자기개선에 일종의 속도 제한을 두는 방안이다. RSI가 발전하면 AI 모델 개선 속도가 경이적인 수준에 이를 수 있는데 지극히 빠른 속도에서 다소 빠른 속도로 늦추면 전략적 우위 손실은 작게 억제하면서 안전성은 크게 끌어올릴 수 있다. 냉전기에 미사일 수를 제한해 각국 억지력을 유지하면서 파괴 가능성도 남겨둔 전략무기제한협상(SALT)과 비슷한 방식이다. 레벨 4는 각국 정부가 AI 개발 속도 조정이나 일시 중단에 완전히 합의하는 단계다.

아모데이 CEO는 레벨 3 합의까지가 실현 가능한 마지노선이며 레벨 4는 가까운 시일 안에 실현될 가능성이 낮다고 봤다. 그는 자신이 제안하는 안전한 속도로 최첨단 기술을 전진시키기 위한 대책이 쉽지는 않지만 인류를 위해 도전할 의무가 있다고 믿는다는 말로 글을 맺었다.

AI 개발을 늦춰야 한다는 주장에는 업계 주요 인사들이 잇따라 동의를 나타냈다. 올트먼 CEO는 아모데이 CEO 의견에 동의하며 최첨단 AI 발전을 신중하게 진행할 필요가 있고 오픈AI에서도 몇 주에 걸쳐 논의해왔다고 밝혔다. 직원과 동등한 접근 권한을 가진 독립 평가자를 두는 방안은 훌륭한 아이디어여서 오픈AI도 같은 내용을 실천하겠다며 조만간 자세한 내용을 공유하겠다고 덧붙였다.

노벨 화학상 수상자이기도 한 허사비스 회장은 아모데이 CEO 에세이가 올바른 전진 경로를 제시한다고 평가했다. 세부 내용을 다듬어야 하지만 이 위기 국면에 맞서기 위한 옳은 방향이며 최첨단 AI를 규제할 표준 기관 설립을 제안한 이유와도 일치한다고 말했다.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.

Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our systems, so that they can verify adherence to our safety measures, report on incidents, and assess models’ alignment during training.

You can read the full post here: https://t.co/OGyPb7yaYt

— Dario Amodei (@DarioAmodei) September 12, 2026

머스크 CEO는 2023년 AGI가 핵무기보다 훨씬 높은 위험을 동반한다고 올린 글을 언급하며 오래전부터 AI에 대해 경종을 울려왔다고 밝혔다. 다만 그는 2023년 3월 AI 연구 6개월 중단을 요구하는 서한에 서명하면서도 동시에 GPU를 대량 구매했고 그해 4월 AI 기업 xAI를 세운 뒤 11월 그록(Grok)을 공개했다.

사티아 나델라(Satya Nadella) 마이크로소프트(Microsoft) CEO는 초지능 추구가 AI가 인간 통제 아래 있지 않고 인류를 돕지 않는다면 그 추구에 가치가 없다는 핵심 원칙에 기반해야 한다고 말했다. 모든 조직이 특정 AI 개발 기업에 의존하지 않고 독자적인 지속 학습 루프를 구축해 자신이 통제하는 AI 모델에 고유 지식을 심어야 한다며 이런 맥락에서 의도적인 개발 감속을 환영한다고 밝혔다. 핵심은 소수 주체에 의한 통제가 아니라 생태계와 국가, 학계를 아우르는 AI 분야 전반의 폭넓은 대표성이라고 덧붙였다.

반면 오픈 모델 규제를 요구하는 목소리가 부당하게 커지고 있다는 의견도 나온다. AI 실행 환경 올라마(Ollama)를 개발한 기업 CEO인 제프리 모건(Jeffrey Morgan)은 주말 사이 AI 개발 감속에 관한 우려가 많이 제기됐고 일부는 오픈 모델을 겨냥하고 있다고 말했다. 책임은 져야 하지만 오픈 모델 개발을 늦추거나 금지할 수는 없으며 오픈 모델은 AI를 민주화하고 더 개인적인 것으로 만드는 큰 힘을 갖췄다고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.