앤트로픽, 클로드 품질 저하 문제 보고

클로드 사용자들로부터 품질이 저하됐다는 목소리가 잇따르던 문제에 대해 앤트로픽이 원인을 조사하고 결과를 보고했다.

앤트로픽에 따르면 지난 3월 4일부터 4월 20일까지 3가지 원인에 의해 클로드 코드(Claude Code), 클로드 에이전트 SDK(Claude Agent SDK), 클로드 코워크(Claude Cowork)의 성능이 저하되어 있었다고 한다. API에는 영향이 없었던 것으로 전해졌다.

첫 번째 원인은 클로드 코드 기본 추론 부하를 낮춘 것. 대부분의 경우 AI 모델은 사고 시간이 길수록 출력 품질이 좋아지지만 응답까지 걸리는 시간이 증가하거나 사용 제한에 걸리기 쉬워지는 등 단점도 있다. 이 때문에 클로드 코드에서는 사용자가 AI에게 어느 정도 생각하게 할지를 설정할 수 있도록 되어 있다.

지난 2월 클로드 오퍼스 4.6(Claude Opus 4.6)을 클로드 코드에 출시할 때 앤트로픽은 기본 추론 부하 설정을 높음(high)으로 설정했다. 하지만 이 설정에서는 드물게 사고 시간이 길어지는 경우가 있었고 추론에 시간이 너무 걸려 UI가 멈춘 것처럼 보인다거나 추론 시간이 길어질 경우 토큰 사용량이 갑자기 증가한다는 피드백이 접수됐다.

사내 테스트에서는 중간(medium)으로 낮추더라도 대부분의작업에서 적은 품질 저하와 맞바꾸는 대신 지연 시간을 크게 줄일 수 있다는 결과가 나왔다.

이에 따라 앤트로픽은 지연을 줄이기 위해 3월 4일 기본 추론 부하를 높음에서 중간으로 변경했다. 클로드 코드의 대화창에서도 중간 설정이 추천된다는 안내를 표시하고 있었다고 한다.

하지만 변경 직후부터 사용자로부터 클로드 코드 지능이 저하됐다는 보고가 잇따라 발생했다. 앤트로픽은 설정을 변경할 수 있다는 점을 사용자에게 알리기 위해 시작 시 알림이나 작업 부하 설정 선택기 등의 디자인을 변경했지만 사용자 대부분은 기본 설정 그대로 사용을 계속했다.

결국 앤트로픽은 4월 7일 해당 변경을 철회하고 클로드 오퍼스 4.6 기본 설정을 높음보다 한 단계 높은 단계(xhigh)로, 기타 모델의 기본 설정을 높음으로 다시 변경했다.

2번째 원인은 오래된 사고를 삭제하는 변경. 클로드가 작업을 수행할 때 이뤄진 추론은 대화 이력에 캐시로 저장되며 이후 추론을 이어갈 때 참조할 수 있도록 되어 있다. 하지만 오래된 캐시가 지나치게 쌓이면 프롬프트에 담기지 않게 되기 때문에 앤트로픽은 3월 26일 세션이 1시간 이상 유휴 상태였을 경우 오래된 사고 이력을 삭제한다는 변경을 실시했다.

하지만 구현에 버그가 있어 1시간 이상 유휴 상태였을 경우 과거 사고 이력을 삭제한다는 의도와 달리 1시간 이상 유휴 상태였던 적이 있는 세션 사고 이력을 삭제한다는 방식으로 구현되어 있었다. 그 결과 클로드는 새로운 사고를 시작할 때마다 이전 사고를 잊어버리는 상태가 됐고 사용자로부터 기억력 저하와 반복이 심하다는 보고가 접수됐다.

이전 사고가 후속 요청마다 계속 삭제되면서 캐시 미스가 빈번하게 발생하는 문제도 초래했다. 앤트로픽은 사용 제한이 순식간에 소모되는 문제의 근본적인 원인이었다고 보고 있다고 밝혔다. 사고 이력이 잘못 삭제되는 버그는 4월 10일 이미 수정된 것으로 전해졌다.

3번째 원인은 중복성을 줄이기 위한 시스템 프롬프트 변경. 4월 16일 등장한 클로드 오퍼스 4.7(Claude Opus 4.7)은 이전 모델에 비해 출력이 상당히 길어지는 중복성을 갖고 있다. 난제 대응 능력은 높지만 출력 토큰 수 역시 증가하기 때문에 앤트로픽은 시스템 프롬프트에 글자 수 제한을 추가했다.

구체적으로는 도구 호출 사이 텍스트는 25단어 이하로 하라. 작업상 더 상세한 설명이 필요한 경우를 제외하고 최종 답변은 100단어 이하로 하라 같은 문구를 추가했다. 수주에 걸친 사내 테스트에서는 문제가 발생하지 않았기 때문에 앤트로픽은 자신감을 갖고 클로드 오퍼스 4.7과 동시에 새로운 시스템 프롬프트를 출시했다.

하지만 이번 조사에서 보다 광범위한 평가 세트를 사용해 시스템 프롬프트 변경 영향을 분석한 결과 클로드 오퍼스 4.6 및 클로드 오퍼스 4.7 양쪽 모두에서 3% 가량 성능 저하가 확인됐다. 앤트로픽은 4월 20일 시스템 프롬프트를 원래대로 되돌렸다고 밝혔다.

앤트로픽은 성능 저하에 관한 보고를 심각하게 받아들이고 있다며 자사는 의도적으로 모델을 열화시키는 일은 결코 없다며 4월 23일 모든 사용자 이용 제한을 리셋했다고 발표했다. 관련 내용은 이곳에서 확인할 수 있다.