x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

AI 성능이 날로 높아지면서 이용자가 쓸 수 있는 AI 모델 종류도 급증하고 있다. 하지만 광고대로 모델이 쓰였는지 이용자가 확인할 방법은 제한적이어서 서비스 업체가 저성능 모델을 몰래 쓸 가능성을 배제할 수 없다. 앤트로픽(Anthropic)이 11월 2일 특정 AI 모델이 출력을 생성했다는 걸 증명할 수 있는 시스템 플래시프루브(FlashProve)를 공개했다.

답변 생성에 쓰인 모델을 이용자가 특정할 수 없는 지금 구조에서는 서비스 제공자가 광고와 다른 저비용 모델을 써서 부당한 이익을 얻을 수 있다. 감사 기관이 모델 안전성을 확인한 뒤 다른 모델로 바꿔 서비스하거나 공격자가 특정 모델을 사칭해 이용자를 공격하는 안전 문제도 생길 수 있다.

◇ 가중치 숨긴 채 증명=플래시프루브는 이런 문제를 풀기 위해 개발한 시스템이다. 암호학적 증명 기법 zkSNARK를 써서 서비스 제공자가 기존 오픈소스 시스템보다 훨씬 빠르게 증명 파일을 만들 수 있다. 증명 파일에는 모델 가중치 정보가 담기지 않아 비공개 모델도 가중치를 숨긴 채 증명을 제공할 수 있다. 다만 모델 구조는 숨기지 않는다.

증명 파일 검증은 GPU 없이 24코어 CPU로 17초면 끝난다. 이용자도 적은 컴퓨팅 자원으로 AI 서비스 진위를 가리고 서비스 제공자의 부정이나 공격을 찾아낼 수 있다. 다만 증명은 답변을 보낸 뒤 만드는 방식이어서 잘못된 응답이 전달되는 걸 막지는 못하고 변조 여부를 사후에 탐지한다.

 

◇ 연구용 프로토타입으로 공개=앤트로픽은 메타(Meta) 모델 라마 4 매버릭(Llama 4 Maverick)으로 성능을 측정했다. 파라미터 4,000억개 모델을 4비트로 양자화해 엔비디아(NVIDIA) H100 GPU 1개로 증명한 결과 처리 속도는 초당 110토큰이었고 증명 파일 크기는 19MB였다. 모델을 그대로 실행할 때보다 GPU 시간은 70~95배 더 든다. 앤트로픽은 클로드(Claude)가 zkSNARK 추론 증명 기법을 개선해 이런 성능을 냈다고 밝혔다.

한계도 있다. 증명할 수 있는 컨텍스트는 1,024토큰까지이고 증명 대상도 원래 모델을 정수형으로 변환한 버전이다. 실제 서비스에서 부동소수점으로 계산한 응답과는 정확히 일치하지 않을 수 있다.

앤트로픽은 증명 파일 생성과 검증에 쓰는 코드를 연구용 프로토타입으로 깃허브(GitHub)에 공개했다. 기술 보고서도 함께 내놨다. 다만 이 저장소는 유지보수하지 않는다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

Next Post