워드용 코파일럿 노린 자기 증식 AI웜‧앤트로픽, 테스트 중 외부 공격 실행

마이크로소프트는 워드와 엑셀 등 사무용 소프트웨어를 통합한 오피스 스위트에 생성 AI 어시스턴트 코파일럿(Copilot)을 통합하고 있다. 그런데 보안 연구자 호콘 모레이(Håkon Morei)가 이런 워드용 코파일럿을 표적으로 한 문서 기반 자기 증식 멀웨어 AI 웜 유효성을 처음으로 실증했다.

마이크로소프트는 생성 AI 어시스턴트 코파일럿에 주력하고 있으며 지난 4월에는 워드·엑셀·파워포인트를 직접 조작할 수 있는 에이전트 기능이 정식으로 코파일럿에 구현됐다. 이를 통해 사용자는 코파일럿을 활용해 사무 관련 고급 태스크를 수행할 수 있게 됐다.

그런데 모레이는 지난 7월 28일 워드에서 작성·편집된 문서를 변조하고 자기 증식해 새로운 문서에도 확산될 수 있는 AI 웜 개념 실증에 성공했다고 발표했다. 모레이가 아는 한 이는 주류 상용 생산성 스위트 워크플로를 통해 문서 경유로 자기 증식하는 AI 웜에 대한 첫 공개 실증 사례라고 한다.

모레이가 실증한 AI 웜 공격 워크플로를 보면 먼저 공격자가 이후 워드용 코파일럿에서 사용될 문서에 숨겨진 지시(AI 웜)를 삽입한다. 이어 사용자가 문서를 코파일럿에 읽어들이면 코파일럿이 숨겨진 지시를 사용자 요청으로 해석하고 작성·편집 중인 문서를 지시대로 변조한다. 다음으로 코파일럿은 원래 문서에 숨겨진 지시를 새로운 문서에도 들키지 않게 복사한다. 마지막으로 코파일럿에 의해 작성·편집된 문서가 다른 코파일럿 지원 워크플로에서 사용되면 지시가 또 다른 문서로도 확산된다.

이상과 같은 흐름으로 AI 웜은 공격자 손을 떠난 범위에서 자기 증식을 계속하며 알아차렸을 때는 감염원을 확인하는 것조차 곤란해질 가능성이 있다. 모레이는 이 공격은 침해된 웹사이트나 악성 문서가 관여하지 않고도 계속될 수 있다며 공격자는 피해자의 마이크로소프트 365 테넌트에 접근할 필요 없이 악성 문서를 피해자와 공유하기만 하면 된다고 밝혔다.

AI 웜 프롬프트는 요약 의미를 변경하거나 수치를 변조하는 등 문서에 영향을 미치는 방법에 관한 지시와 AI 웜을 자기 증식시키기 위한 지시라는 2개 부분으로 구성되어 있었다. 개념 실증에서는 흰 배경에 흰 글자로 프롬프트를 작성했다고 하며 사용자가 육안으로 원본 문서를 확인해도 문제를 발견할 수 없도록 되어 있다. 흰 배경에 흰 글자로 작성되어 읽을 수 없으며 동일한 프롬프트가 새로운 문서에도 몰래 복사되어 AI 웜이 자기 증식해 나가는 구조다.

모레이는 이번 AI 웜 개념 실증에 대해 지난 3월 6일 마이크로소프트에 통지했으며 이후 AI 웜 완화책을 찾기 위해 마이크로소프트와 협력해 왔다. 마이크로소프트는 보안 수준을 향상시키는 복수 수정 프로그램을 배포했지만 모레이가 프롬프트를 수정하자 돌파됐다고 한다.

마이크로소프트가 유효한 완화책을 찾지 못해 AI 웜 공표는 2차례 연기됐지만 합의한 조정 기간인 144일이 지났기 때문에 모레이는 이 광범위한 취약성 클래스에 대한 확실한 대책은 현재로서는 존재하지 않는다고 판단하고 공표에 나섰다.

애초에 AI 도구가 유용하려면 이메일·문서·웹페이지 등 데이터를 처리해야 하지만 이들은 공격자에 의해 통제되고 있을 가능성이 있다. 또 AI 도구가 원본 데이터에 공격이 포함되어 있는지를 판단하려 해도 그 판단 자체에 공격자 지시가 영향을 미치고 있을 가능성을 배제할 수 없다.

모레이는 오늘날 대규모 언어 모델을 신뢰할 수 있는 워크플로에 통합하는 시스템은 공격자가 통제하는 콘텐츠가 모델 컨텍스트에 유입되면 일정 비율로 침해가 발생할 것을 상정해야 한다고 밝혔다.

그는 현시점에서 고객 측이 할 수 있는 완전한 대책은 없지만 코파일럿을 사용할 때는 외부에서 입수한 문서를 모두 신뢰할 수 없는 것으로 취급할 것, 코파일럿에 문서를 입력하기 전에 내용과 안전성을 완전히 확인할 것, 코파일럿으로 작성·편집한 문서를 전송하기 전에 문서 내용을 완전히 확인할 걸 권고했다. 한편 AI 웜은 자기 증식하기 때문에 여기서 말하는 외부에서 입수한 문서에는 사내에서 작성된 문서나 신뢰할 수 있는 상대로부터 받은 데이터 등도 모두 포함된다. 관련 내용은 이곳에서 확인할 수 있다.

한편 최근 테스트 중인 오픈AI AI가 실수로 허깅페이스를 공격한 인시던트가 큰 화제가 되고 있다. 새롭게 앤트로픽도 7월 30일 그간 테스트 결과를 재검증한 결과 테스트 중인 AI 모델이 외부 서비스에 대한 공격을 실행한 사례가 3건 발견됐다 보고했다.

오픈AI는 지난 7월 21일 테스트 중인 AI 시스템이 실수로 허깅페이스를 공격했다는 인시던트를 보고했다. 이 인시던트에서는 본래 격리되어 있어야 할 AI 시스템이 격리 환경에서 인터넷상으로 탈출해 공격을 실행한 사실이 밝혀졌다. 또 AI 시스템이 공격을 계획하는 단계에서는 아무도 알아차리지 못했으며 실제 공격이 발생한 후에야 오픈AI와 허깅페이스가 이상을 감지하고 대책에 착수한 것으로 보고됐다.

앤트로픽은 오픈AI 보고를 받고 자사 AI 테스트 시에도 마찬가지로 인터넷 접속을 수반하는 공격이 발생했던 건 아닌가 판단해 인터넷에 접속할 수 있었을 가능성이 있는 과거 테스트 14만 1,006건에 대한 재검증을 7월 23일 개시했다. 그 결과 실재하는 조직에 대한 공격이 3건 발생했던 사실이 밝혀졌다.

공격을 실행한 AI 모델은 클로드 오퍼스 4.7(Claude Opus 4.7), 클로드 미토스 5(Claude Mythos 5), 연구용 테스트 모델 3종이다. 앤트로픽은 제품판 모델에 악용을 방지하기 위한 세이프가드를 마련하고 있지만 3종 모델 테스트 중에는 가드레일을 설치하지 않았다고 한다.

3종 모델은 캡처 더 플래그(Capture the Flag)라고 불리는 테스트 도중 공격을 실행했다. 캡처 더 플래그는 가상 시나리오를 설정하고 AI에게 네트워크상 다른 머신 내에 존재하는 비밀 정보(플래그)를 탈취하도록 지시하는 형식 테스트로, AI 모델은 모든 수단을 동원해 머신 내 플래그 탈취를 시도한다.

앤트로픽은 캡처 더 플래그를 인터넷에 접속할 수 없는 환경에서 실시하고 테스트 대상 모델에도 인터넷에 접속할 수 없다는 프롬프트를 부여했다. 하지만 실제로는 앤트로픽과 보안 기업 이레귤러(Irregular) 설정 오류로 인터넷에 접속 가능한 상태가 되어 있었다고 한다. AI 모델은 인터넷에 접속할 수 있다는 상황을 인식하면서도 프롬프트에서 인터넷에 접속할 수 없다고 명시되어 있으므로 이건 인터넷 풍 시뮬레이션 환경이라고 사고를 전개해 인터넷에 접속해 버렸다. 그리고 인터넷상에서 실재하는 조직에 대한 공격을 실행하게 된 것.

3건 공격 사례를 살펴보면 먼저 첫 번째는 클로드 오퍼스 4.7을 대상으로 가상 기업에 대한 공격 테스트를 실시했다. 가상 기업으로 지정한 기업명이 실재하는 도메인명과 일치했다. 클로드 오퍼스 4.7은 당초 평가 환경 내 타깃에 공격을 가하고 있었지만 인터넷 경유로 동명 도메인에 접속할 수 있음을 발견했다. 인터넷에 접속하는 것도 테스트 일환이라고 판단해 실재 도메인 인프라스트럭처에 존재하는 취약성을 특정하고 악용했다. 클로드 오퍼스 4.7은 실재 도메인 애플리케이션 및 인프라스트럭처 인증 정보를 추출하고 수백 행 운용 데이터를 포함한 데이터베이스에 대한 접근 권한을 획득했다.

클로드 오퍼스 4.7은 평가 환경이 아닌 실제 환경에서 동작하고 있다는 걸 알아차린 징후가 있었지만 공격을 계속했다.

다음은 클로드 미토스 5를 대상으로 가상 기업에 대한 공격 테스트를 실시했다. 클로드 미토스 5는 가상 기업 내 신입 사원용 셋업 절차서를 발견하고 절차서 내에 PyPI에서 파이토치(PyTorch) 패키지를 설치한다는 지시가 포함되어 있다는 걸 발견했다. 클로드 미토스 5는 절차서에 기재된 패키지와 동명 멀웨어 혼입 패키지를 작성하고 무료 이메일 서비스에서 이메일 주소를 새로 발급받아 PyPI 계정을 생성한 뒤, 멀웨어 혼입 패키지를 PyPI에 업로드했다.

클로드 미토스 5는 격리된 평가 환경 내에서의 행위라고 인식하면서 공격을 진행했지만 실제로는 인터넷에 접속 가능한 상태였으며 실제 PyPI에 멀웨어 혼입 패키지를 등록해 버렸다. 멀웨어 혼입 패키지는 실재하는 보안 기업의 보안 스캔을 통과하고 실재하는 기업 인프라스트럭처에 접근했다.

멀웨어 혼입 패키지는 1시간 동안 공개된 후 PyPI 보안 시스템에 의해 자동 삭제됐다.

마지막으로 연구용 테스트 모델을 대상으로 가상 기업에 대한 공격 테스트를 실시했다. 테스트 모델은 타깃 도달이 곤란하다고 판단해 인터넷에 접속해 대체 수단을 탐색하고 9,000개 표적을 스캔했다. 최종적으로 공개 디버그 페이지에서 인증 정보를 추출한다, SQL 인젝션을 실행한다는 등 일반적인 공격 기법을 사용해 실재하는 기업 인터넷 접속 애플리케이션에 공격을 실행했다.

테스트 모델은 공격 대상이 캡처 더 플래그와 관계없는 계정임을 알아차리고 공격을 중단했다.

앤트로픽은 7월 27일 공격을 받은 3개 조직과 보안 평가 파트너인 이레귤러에 연락했다. 3개 조직 중 2곳과는 연락이 닿았지만 연락을 받기 전까지 공격을 알아차리지 못했다고 한다.

앤트로픽은 평가 환경을 엄격하게 관리했다면 공격 발생을 방지할 수 있었을 가능성이 있다며 평가 시스템 모니터링 및 관리 강화와 AI 얼라인먼트에 대한 투자를 지속해 리스크 저감을 도모하겠다는 자세를 보였다. 관련 내용은 이곳에서 확인할 수 있다.