줌 AI, 벤치마크 고점수 달성 발표? 전문가는 비판

비디오 회의 서비스 대기업 줌(Zoom)은 AI 기능인 줌AI(Zoom AI)가 전 세계적으로 난이도가 높은 AI 벤치마크 중 하나인 HLE(Humanity’s Last Exam)에서 48.1%라는 최첨단 수준 점수를 달성했다고 공식 블로그에서 발표했다. 하지만 전문가로부터 여러 AI를 연결해 고객에게 직접적인 가치를 제공하지 않는 형태로 벤치마크를 개선했을 뿐이라는 비판을 받고 있다.

줌은 12월 10일 줌AI가 HLE 벤치마크에서 48.1%라는 최첨단(SOTA) 점수를 달성했다고 발표했다. 과거 최고 점수를 기록한 구글 제미나이 3 프로 45.8%를 2.3포인트 상회하는 결과다.

줌에 따르면 SOTA 점수를 달성한 포인트로 기존 단일 모델 중심 AI 전략과는 완전히 다른 페더레이티드 AI 접근법을 개발한 걸 꼽았다. 페더레이티드 AI 접근법이란 줌 독자 소형 언어 모델에 더해 선진적인 오픈소스 및 클로즈드소스 모델을 통합해 여러 언어 모델을 연계시켜 대화형 협업을 통해 서로 생성 및 검증, 개선을 수행하며 추론 정확도를 높여가는 방식이다.

줌은 이번 성과를 AI Companion 3.0으로 가는 길이라고 표현했다. AI Companion은 줌이 제공하는 어시스턴트 AI로 AI Companion 1.0에서는 회의 요약 등 기본 지원 기능, AI Companion 2.0에서는 G메일이나 아웃룩과의 외부 데이터 연계 및 퍼플렉시티와의 연계를 통한 웹 검색 기능 도입 등 크로스 플랫폼 이용을 실현했다. AI Companion 3.0에서는 정보 검색이나 문장 생성, 워크플로 자동화 등 에이전트 기능을 갖춘 페더레이티드 AI 접근법을 발전시켜 복잡한 추론 태스크에서 지금까지 없던 높은 성능을 발휘할 수 있다고 한다.

줌 발표에 대해 한 AI 엔지니어는 줌이 제미나이, GPT, 클로드 API 호출을 조합해 벤치마크를 조금만 개선하고 그것으로 SOTA를 주장하는 점에 대해 유감스러운 발표라고 비판적으로 언급했다. 이어 여러 모델을 조합하는 페더레이티드 AI 접근법 유용성 자체는 인정하면서도 줌은 독자 모델을 훈련하고 있는 게 아닌데도 발표에서는 그 사실을 애매하게 만들어 타인 작업 공적을 자사 공적인 것처럼 보이게 하고 있다고 지적했다.

또 미국 AI 스타트업 Exoria AI 창립자인 라이언 프리엄(Ryan Pryium)은 줌은 다른 LLM을 기반으로 한 하네스를 만들어 그걸 성과로 보고하고 있을 뿐이라며 HLE에서의 단순한 노이즈라고 부정적인 의견을 밝혔다.

한편 보도에선 줌의 페더레이티드 AI 접근법이 오픈AI나 앤트로픽, 구글이 추구하는 모델 중심 전략과는 근본적으로 다른 엔터프라이즈 AI 비전을 제시하고 있다고 지적했다. 급속히 AI 기술이 발전하여 차례차례 최신 AI가 등장하는 가운데, 어떤 모델이 최적인지를 사용자가 판단하기는 어려워지고 있지만 줌AI는 제공자 간 전환 가능한 인프라를 구축해 이론상으로는 고객에게 모든 태스크에 최적인 AI를 제공할 수 있다. 줌 페더레이티드 AI 접근법이 진정으로 AI 업계 혁명이 될지 아니면 일시적으로 최첨단 AI를 조합했을 뿐인 HLE 점수에 불과한지 향후 동향이 주목된다. 관련 내용은 이곳에서 확인할 수 있다.