클로드 페이블5, 생물학 질문 과도 제한 문제 개선했다

앤트로픽(Anthropic)이 AI 모델 클로드 페이블 5(Claude Fable 5)의 생물학 분야 관련 안전 대책을 업데이트했다. 위험성이 낮은 질문까지 제한 대상으로 판단되는 사례를 줄여 생물학 관련 질문을 다른 모델로 전환하는 폴백(fallback)이 85% 감소했다고 한다.

클로드 페이블 5는 고도의 생물학 문제에 대응할 수 있는 한편 같은 능력이 생물 무기 등 개발에 악용될 가능성도 있다. 안전한 연구와 위험한 연구를 구별하기가 어렵기 때문에 앤트로픽은 페이블 5 제공 개시 시점 생물학 관련 거의 모든 질문을 폭넓게 제한하고 있었다. 제한 대상으로 판단된 질문은 페이블 5만큼 높은 생물학 능력을 갖추지 못한 클로드 오퍼스 5(Claude Opus 5)로 처리가 전환된다.

하지만 기존 안전 대책은 상당히 신중하게 설정되어 있어 검사 결과에 대해 알아보거나 생물학을 학습하려는 일반 질문까지 제한되는 경우가 있었다. 위험한 질문을 놓치지 않는 걸 우선한 결과 문제가 없는 질문을 잘못 검출하는 위양성이 늘고 있었던 것.

이번 업데이트에서는 페이블 5 제공 개시 시점 설정되어 있던 넓은 안전 마진이 크게 축소된다. 안전한 질문을 통과시키는 범위가 넓어져 위험성이 낮은 질문이 잘못 제한되기 어려워졌다.

앤트로픽은 분류에 사용하는 규칙을 다시 작성한 뒤 학습 데이터를 업데이트하고 안전성을 판단하는 분류기를 재훈련했다. 테스트에서는 생물학 관련 폴백이 85% 감소했으며 일상적인 건강 상담이나 생물학 학습, 의료 종사자에 의한 일부 임상 관련 작업 등에서 페이블 5를 이용하기 쉬워졌다고 한다.

다만 업데이트 이후에도 바이러스학이나 독성학, 분자 설계 등 이중 용도로 판단되는 전문 질문은 오퍼스 5로 전환된다. 앤트로픽은 앞으로도 오탐을 줄이는 동시에 연구자가 페이블 5의 높은 생물학 능력을 안전하게 이용할 수 있는 체계 정비를 추진하겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.