클로드 미토스, 포스트 양자 암호화 알고리즘 결함 발견했다

소프트웨어 취약성을 발견하는 능력이 높은 AI 모델인 클로드 미토스 프리뷰(Claude Mythos Preview)가 2가지 암호화 알고리즘에서 결함을 발견한 것으로 밝혀졌다.

암호화 알고리즘은 현대 사회 중요 요소로 웹사이트 진위 증명이나 기밀 데이터 암호화 등 다양한 용도로 사용되고 있다. 암호화 알고리즘 약점이 발견되면 해당 알고리즘에 의존하는 이메일이나 인터넷 뱅킹 같은 핵심 서비스 안전성이 위협받게 된다. 앤트로픽은 클로드 미토스 프리뷰를 활용해 복수 암호화 알고리즘을 정밀 조사해 두 종류 알고리즘에 존재하는 결함을 발견했다.

클로드 미토스 프리뷰가 발견한 결함을 보면 먼저 호크(HAWK)라고 불리는 디지털 서명 방식에 대한 공격. 2022년 미국 국립표준기술연구소(NIST)가 양자 컴퓨터에 대해 안전성을 유지할 수 있는 암호 시스템을 공모했으며 후보에 남은 게 바로 호크였다. 호크는 2년에 걸친 전문가 심사를 통과한 바 있지만 클로드 미토스 프리뷰는 불과 60시간 작업으로 기존 공격 방법을 더 개량해 실질적으로 키의 강도를 절반으로 줄였다고 한다.

공격 기법 발견 프로세스 전체에 소요된 API 비용은 10만 달러로 추산된다. 복수 AI 에이전트가 협력해 작업한 끝에 발견한 것이다. 조사 과정에서 두 AI 에이전트가 같은 아이디어를 검토했는데 한쪽은 실현 불가능하다고 판단해 일찍 기각한 반면 다른 한쪽이 이를 유효하게 활용하는 방법을 찾아냈다. 이에 두 에이전트는 서로 메시지를 주고받으며 작업을 계속했고 최종적으로 양쪽 모두 유효한 공격 기법을 발견했다고 한다.

2번째는 2001년 NIST에 의해 채택되어 다른 어떤 암호 알고리즘보다 많은 정밀 조사를 받아왔다고 평가되는 암호화 알고리즘 AES에 관한 것이다. 클로드 미토스 프리뷰는 검증용으로 구축된 AES 약한 버전에 대한 해독 기법을 개량해 공격 속도를 200배에서 800배까지 향상시켰다.

당초 클로드 미토스 프리뷰는 AES 암호 해독을 개량하는 건 불가능하다고 주장하며 작업에 임하려 하지 않았다고 한다. 하지만 앤트로픽 연구자가 여러 차례에 걸쳐 기존 기법을 뛰어넘는 걸 찾는 것이야말로 본래 목적이며 목표는 우수한 연구자에 필적할 만큼 고도로 지적인 모델을 갖추는 것이라는 격려 메시지를 보낸 결과 정교한 기법을 만들어냈다고 한다.

앤트로픽은 이 2가지 성과는 어느 것도 현재 시스템에 영향을 미치는 게 아니며 이 결과로 인해 실운용 중인 소프트웨어가 변경을 요구받는 일은 없다면서 호크는 어디까지나 포스트 양자 암호 후보 단계이며 실제로 도입되지 않았고 AES는 약한 버전에 대한 것으로 완전판 암호를 깨뜨리는 게 아니라고 지적했다.

앤트로픽은 또 암호학 커뮤니티가 지금까지 항상 심사 혜택을 받아왔다는 점에 언급하면서 그 심사 일부를 대규모 언어 모델이 담당하게 될 것이라고도 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.