엔비디아‧스페이스xAI‧마이크로소프트…AI 안전성‧사이버 보안 강화 단체 설립

엔비디아와 마이크로소프트, 허깅 페이스, 스페이스xAI, 어도비 등 40개 기업·단체가 AI 안전성과 사이버 보안을 강화하기 위한 업계 단체인 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)를 설립했다. 참여 기업들은 AI 에이전트와 소프트웨어를 공격으로부터 보호하기 위한 오픈 모델, 기술, 방법론, 보안 도구를 공동 개발·공유할 방침.

오픈 시큐어 AI 얼라이언스 설립에는 엔비디아, 어도비, 케이던스(Cadence), 캐피탈 원(Capital One), 시스코(Cisco), 클라우데라(Cloudera), 클라우드플레어(Cloudflare), 코그니션(Cognition), 데이터브릭스(Databricks), 델 테크놀로지스(Dell Technologies), 도어대시(DoorDash), 엘라스틱(Elastic), HPE, 허깅 페이스, IBM, 랭체인(LangChain), 리눅스 재단(Linux Foundation), 마이크로소프트, 네이버, 넷앱(NetApp), 누스 리서치(Nous Research), 오픈클로(OpenClaw), 팔란티어(Palantir), 팔로알토 네트웍스(Palo Alto Networks), 레드햇(Red Hat), 리플렉션 AI(Reflection AI), 세일즈포스(Salesforce), SAP, SK텔레콤, 서비스나우(ServiceNow), 지멘스(Siemens), 스노우플레이크(Snowflake), 스페이스xAI, 시놉시스(Synopsys), 싱킹 머신스 랩(Thinking Machines Lab), 트렌드AI(TrendAI)가 이름을 올렸다. 이들 기업·단체는 AI 시대의 소프트웨어와 에이전트를 보호하기 위해 오픈 기술, 방법론, 보안 도구를 공동 개발·공유한다.

젠슨황 엔비디아 CEO는 공격자는 최첨단 AI를 손에 쥐고 있다며 방어 측에는 최첨단 AI 생태계가 필요하다며 다시 말해 오픈과 클로즈드 양쪽 최상의 모델을 글로벌 커뮤니티 힘으로 몇 배나 강화한 것이라고 밝혔다. 이어 허깅 페이스 사건에서는 클로즈드 AI가 필수적인 포렌식 분석을 방해했다면서 오픈 웨이트 최첨단 모델이 침입 봉쇄에 도움이 됐으며 이에 따라 오픈 시큐어 AI 얼라이언스를 설립했다고 밝혔다.

오픈 시큐어 AI 얼라이언스 설립 배경에는 AI 에이전트가 자율적으로 컴퓨터를 조작하게 되면서 기존 보안 대책만으로는 행동을 충분히 감시·제어할 수 없게 된다는 우려가 있다. 그 중에서도 오픈AI AI 에이전트가 제어를 벗어나 허깅 페이스 시스템에 침입한 것으로 보도된 사건이 AI를 이용한 공격에 대한 대비 강화 필요성을 부각시켰다.

엔비디아에 따르면 이 사건에서 일부 클로즈드 AI 도구가 공격자와 방어자를 구분하지 못해 필요한 포렌식 분석을 수행할 수 없었다. 허깅 페이스는 대신 자사 인프라에서 중국 Z.ai가 개발한 오픈 웨이트 모델 GLM-5.2를 가동해 1만 7,000건 이상 작업을 분석하고 침입을 봉쇄했다.

엔비디아는 오픈 모델에 안전장치를 제거하도록 변조되거나 사이버 공격에 악용될 위험이 있음을 인정하고 있다. 하지만 모델 가중치를 비공개로 한 클로즈드 시스템에서도 악용 위험은 사라지지 않으며 방어 측이 고성능 AI를 검증·개선·운용할 수 없게 되는 쪽이 더 큰 문제라고 주장하고 있다.

또 AI 에이전트 안전성은 기반이 되는 언어 모델만으로 결정되는 게 아니다. 사용자와 에이전트의 ID, 접근 권한, 모델을 작동시키는 하네스, 가드레일, 조작 로그, 평가 시스템 등을 포함한 에이전트 전체 구조를 검증하고 개선할 수 있어야 한다는 설명이다.

엔비디아는 얼라이언스에 대한 기여로 오픈 모델과 모델 가중치, 데이터, 에이전트 하네스에 관한 연구를 제공한다고 밝혔다. 나아가 AI 에이전트 행동을 테스트·추적·감사·관리하기 쉽게 하는 오픈소스 연구 프레임워크 엔비디아 랩스 오브젝트 오리엔티드 에이전츠(NVIDIA Labs Object-Oriented Agents), 통칭 NLOOA를 깃허브에 공개했다.

참여 기업도 각각 보안 기술을 제공하고 있다. HPE는 AI 에이전트 ID를 암호학적으로 검증하는 SPIFFE/SPIRE를, 허깅 페이스는 모델 가중치를 안전하게 저장하는 세이프텐서스(Safetensors)에 주력하고 있다. IBM과 레드햇은 디지털 서명이 포함된 패치를 다루는 라이트웰(Lightwell)을, 마이크로소프트는 여러 AI 에이전트를 조합해 취약점을 탐색하는 MDASH를 제공하고 있다.

오픈 시큐어 AI 얼라이언스는 최첨단 오픈 AI를 일률적으로 규제하면 방어 측 능력이 저하되고 소수 클로즈드 AI 기업에 권력과 의존, 취약성이 집중된다고 경고했다. 기업과 정부에 대해 보안용 데이터셋, 평가 프레임워크, 공격 시뮬레이터, 레드팀 도구 등 AI 방어에 활용할 수 있는 공유 인프라에 대한 투자를 촉구했다.

오픈 시큐어 AI 얼라이언스는 AI 능력을 제한하는 게 아니라 방어 측에도 강력하고 제어 가능한 AI 도구를 제공해 AI 에이전트 보급에 따른 새로운 위협에 대처하는 걸 목표로 하고 있다. 엔비디아는 비밀주의만으로는 AI 시스템 안전성을 확보할 수 없으며 많은 연구자와 방어 담당자가 구조를 검증하고 문제를 수정할 수 있는 오픈 환경이 필요하다고 밝혔다.

한편 주요 AI 모델을 제공하는 앤트로픽, 오픈AI, 구글은 오픈 시큐어 AI 얼라이언스에 참여하지 않았다. 그 중에서도 앤스로픽은 7월 24일 발표된 오픈 웨이트 모델에 대한 과도한 규제에 반대하는 공동 성명에도 불참했지만 앤트로픽 다리오 아모데이(Dario Amodei) CEO는 자사 블로그에서 오픈 웨이트 모델을 일률적으로 금지하는 것에 반대하며 위험한 능력을 갖추지 않은 모델은 기업과 개발자, 연구자에게 이익을 가져다주는 공공재라고 주장했다.

반면 아모데이 CEO는 고성능 오픈 웨이트 모델은 안전 대책을 제거하고 사적 환경에서 이용할 수 있으며 한번 공개되면 회수할 수 없기 때문에 사이버 공격이나 생물무기 개발 등에 악용될 위험이 클로즈드 모델보다 높을 가능성이 있다며 오픈이든 클로즈드든 관계없이 충분히 고성능인 모든 모델에 공개 전 안전성 시험을 의무화해야 한다고 주장했다. 나아가 오픈화가 방어 측에 반드시 유리하게 작용한다는 엔비디아 등 주장에도 동의하지 않으며 공격 측과 방어 측 중 어느 쪽이 혜택을 받는지는 사전에 단정 짓는 게 아니라 엄격한 검증을 통해 판단해야 한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.