오픈AI “차기 주력 AI 모델, 사이버 중대 리스크 지정”

오픈AI는 차기 주력 AI 모델로 아스트라(Astra)를 준비하고 있으며 지난 8월 1일에는 아스트라 내부 버전이 수학·이론 컴퓨터과학 과제 10건에서 새로운 성과를 올렸다고 발표한 바 있다. 하지만 8월 7일에는 아스트라에 관한 최신 사내 평가에서 에이전트 코딩과 사이버보안 분야에서 현저한 진전이 확인됐다고 밝히면서도 중요한 사이버보안 임계값에 도달한다고 판단했다.

오픈AI에 따르면 자사 준비 프레임워크에서는 모델이 인간의 개입 없이 강화된 실세계 중요 시스템 다수에서 모든 심각도 수준의 기능적 제로데이 공격을 식별 및 개발할 수 있는 경우 또는 높은 수준 목표만을 기반으로 강화된 타깃에 대한 사이버 공격을 위한 엔드투엔드 독창적 전략을 고안하고 실행할 수 있는 경우 중요한 사이버보안 임계값에 도달한다고 간주한다. 오픈AI는 아스트라 벤치마크와 평가는 계속 진행 중이나 예비 평가에서 충분한 성능이 확인됐으며 현 시점에서 치명적 리스크를 배제할 수 없다고 밝혔다.

이에 따라 오픈AI는 아스트라를 준비 체제 프레임워크에서 사이버보안 관련 자사 첫 크리티컬(critical) 모델로 취급한다고 발표했다. 오픈AI에 따르면 이는 사전에 계획된 시나리오이며 아스트라의 추가 개발이 안전하고 확실하게 진행되도록 추가적인 관리 조치를 강구하고 있다고 한다.

구체적으로는 아스트라 기능 전개에 적합한 보안을 확보하기 위해 오픈AI는 보호 대책과 보안 관리 테스트를 강화하고 있다. 또 향후 아스트라 개발이 안전하고 확실하게 이루어지도록 고성능 모델 및 관련 활동에 대해 격리된 테스트 환경, 네트워크 및 도구 접근 제한, 강화된 모델 가중치 보호 및 암호화, 추가 모니터링 및 탐지 기능, 샌드박스 실행 등 보다 엄격한 보안 관리를 시행하고 이런 강화된 보안 관리 요건을 아직 충족하지 못한 아스트라 관련 사내 활동을 일시 중단하는 등 조치를 취하고 있다.

그 밖에도 훈련과 평가를 포함한 아스트라 모든 에이전트 애플리케이션에서 위험한 행동이나 불일치를 모니터링하는 포괄적 모니터링 시스템을 도입했다고 발표했다. 이 모니터는 모델 사고 프로세스를 평가하고 보안 대응을 트리거해 고위험 활동을 검토 및 중단시킨다. 또 관련 정부 기관 및 선정된 AI 안전 기관과 협력해 아스트라 성능을 검증하는 동시에 서드파티 테스트 파트너에게 권장 보안 대책을 제공할 것이라고 표명했다.

오픈AI는 자사는 고도의 사이버 대응 모델이 공격자보다 먼저 방어 측이 취약점을 식별하고 대처하는 데 도움이 되어야 한다고 생각한다며 정부·안보 기관·시민사회와 협력해 아스트라와 같은 모델, 앞으로 등장할 모델의 최첨단 기능이 전 인류의 이익을 위해 책임감 있게 널리 전개되도록 힘쓰겠다고 밝혔다.

샘 알트만 오픈AI CEO는 아스트라는 강력한 모델이며 자사는 그걸 일반에 공개하기 위해 노력하고 있다며 강력한 모델을 선택된 소수에게만 제한해 두는 건 좋은 전략이 아니라고 생각한다면서 사이버 능력을 고려하면 이를 안전하게 실현하는 데 조금 더 시간이 걸리지만 그리 오래 걸리지 않기를 바란다고 밝혔다.

또 오픈AI에서 보안 관련 업무를 담당하는 푸아드 마탄(Fuad Matan)은 자사는 사이버보안의 새로운 시대에 돌입하고 있다며 파트너 및 더 넓은 보안 커뮤니티와 긴밀히 협력해 이런 기능이 전 세계 방어자에게 전달되도록 보장하겠다고 말했다.

한편 지난 7월 AI 플랫폼 허깅페이스가 오픈AI의 자율형 AI 에이전트에 의해 실수로 침해당하는 인시던트가 발생한 바 있지만 오픈AI는 아스트라는 앞으로 출시될 모델이며 허깅페이스 익스플로잇에는 관여하지 않았다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.