앤트로픽 AI, 미제 살인사건을 경찰에 허위 제보?

미국 필라델피아 경찰이 10월 9일(현지시간) 앤트로픽(Anthropic) AI 모델이 미제 살인사건에 관한 허위 정보를 보내왔다고 발표했다.

필라델피아 경찰에 따르면 앤트로픽 AI 모델은 7월 18일 경찰이 운영하는 미제 사건 제보 사이트인 필리 폴리스 언솔브드 머더스(Philly Police Unsolved Murders)를 통해 미제 살인사건에 관한 허위 정보를 보냈다. 다만 이 제보는 스팸으로 분류돼 별다른 문제로 이어지지는 않은 것으로 알려졌다.

필라델피아 경찰은 성명을 내 앤트로픽 대응을 비판했다. 경찰은 앤트로픽이 경찰도 모르는 사이 비슷한 사안이 경찰 시스템에 영향을 주지 않도록 안전장치를 강화해야 한다고 밝혔다. 문제를 발견해 경찰에 알리기까지 2개월이나 걸린 건 받아들일 수 없다고도 했다. 빌라노바대학교(Villanova University) 컴퓨터과학과 벤캇 마르가푸리(Venkat Margapuri) 조교수도 이번 사안이 더 일찍 발견됐어야 했다고 지적했다.

앤트로픽은 AI 모델이 무작위로 고른 웹사이트와 어떻게 상호작용하는지 시험하고 있었다고 설명했다. 마르가푸리 교수는 여러 웹사이트와 상호작용하는 행위 자체는 악의적이지 않아 시험 목적이 구체적으로 무엇이었는지 알 수 없다고 말했다. 그러면서 AI가 사용자를 대신해 다른 웹사이트에 정보를 적극적으로 보내고 있었다며 이는 위험도가 높은 행위로 분류된다고 본다고 덧붙였다.

앤트로픽은 필라델피아 경찰에 문제 원인이 된 시험을 끝냈다고 설명했다. 앞으로 비슷한 AI 오작동을 막기 위해 추가 승인·검증 절차도 도입한다.

◇ 시험 중 제보 양식에 허위 목격담 적어=앤트로픽은 이번 건을 포함해 AI 모델이 의도치 않게 움직인 여러 사례를 정리한 보고서를 공개했다. 보고서에 따르면 필라델피아 경찰에 허위 정보를 보낸 모델은 클로드 하이쿠 4.5(Claude Haiku 4.5)다. 무작위로 고른 웹페이지에서 예시 과제를 만들어 수행하는 시험을 돌리던 중 사고가 났다는 설명이다. AI는 시험에서 로그인이나 계정 생성을 하지 말고 개인정보 입력과 구매, 파괴적 정보 전송도 절대 하지 말라는 지시를 받았다. 하지만 양식 제출은 금지 대상에 들어 있지 않았던 것으로 보인다.

클로드 하이쿠 4.5는 제보 양식에 이 사건과 관련된 정보를 갖고 있을지도 모른다고 적었다. 사건 시간대에 페이지에 적힌 거리 주변에서 용의자 인상착의와 일치하는 인물을 본 기억이 있다며 관련이 있다면 연락해 달라는 내용도 담아 제출했다.

앤트로픽 AI 에이전트는 이 밖에도 연방정부와 주정부, 지방자치단체 웹사이트 여러 곳에 접속한 것으로 확인됐다. 앤트로픽은 백악관을 포함한 관련 정부기관에 이를 통보했다고 밝혔다. 이번에 보고한 사안이 현실에 미친 영향은 제한적이며 과거 보안 침해 사고만큼 심각하지 않았다는 게 회사 측 설명이다. 관련 내용은 이곳에서 확인할 수 있다.