AI 벤치마크 인텔리전스 인덱스 v5 공개

AI 모델 성능을 평가하는 독립 기관 아티피셜애널리시스(Artificial Analysis)가 아티피셜애널리시스 인텔리전스 인덱스(Artificial Analysis Intelligence Index) 5번째 버전을 발표했다. 인텔리전스 인덱스는 여러 벤치마크 결과를 바탕으로 AI 종합 성능을 산출하는 지표로 새 모델 성능을 가늠하는 잣대로 널리 쓰인다.

인텔리전스 인덱스 v5는 벤치마크 2종을 새로 넣고 3종을 업그레이드했다. 새로 들어간 항목은 코그니션(Cognition)이 실제 코딩 작업을 대상으로 만든 비공개 벤치마크 프론티어코드 2.0(FrontierCode 2.0)과 터미널 환경에서 수행하는 에이전트형 과학 연구 과제 70개로 구성된 터미널벤치 사이언스(Terminal-Bench-Science)다. 프론티어코드 2.0은 일부러 모호하게 쓴 프롬프트를 줘 모델이 판단력을 발휘할 여지를 남겼다. 업그레이드한 항목은 HLE 다이아몬드(HLE-Diamond)와 AA 옴니션스 v1.1(AA-Omniscience v1.1), 크릿PT v2(CritPt v2)다.

종합 점수 배분도 바뀌었다. v4.3은 지식 작업과 일반 영역에 30%씩, 코딩과 과학 영역에 20%씩 비중을 뒀지만 v5는 4개 영역에 25%씩 똑같이 나눴다.

Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades. For the first time, the majority of the Index is built on private datasets

The Artificial Analysis Intelligence Index is our composite measure of model capabilities across tasks reflecting real-world usage today. v5 is our biggest upgrade since v4 launched in January. With v5, 60% of the Index is now based on evaluations with private test sets or held-out answers.

Alongside Intelligence Index v5, we’re launching the Artificial Analysis Progress Index v1, which tracks model capability over time on one continuous scale.

New to the Intelligence Index:

➤ FrontierCode 2.0: Cognition’s newly-launched private benchmark of real-world coding tasks, graded on whether a repository maintainer would merge the agent’s change

➤ Terminal-Bench-Science: 70 agentic scientific research tasks, run in a terminal environment

Upgraded:

➤ HLE-Diamond (replacing Humanity’s Last Exam): a refined 1,000-question version of Humanity’s Last Exam, split evenly between reasoning and knowledge questions

➤ AA-Omniscience v1.1: An updated dataset with saturated and public set questions removed, new questions added, and ambiguous or erroneous questions revised

➤ CritPt v2: a private, 40-question hard subset of CritPt v2, revised by the CritPt authors and run with a code-execution tool

Staying in the Index: AA-Briefcase, AutomationBench-AA, GDP.pdf and Terminal-Bench 4.0

Removed from the Index: GDPval-AA v2.1, SciCode, and AA-LCR v1.1

Key results:

➤ Claude Opus 5.5 (max) leads at 58, ahead of GPT-6 Astra (max, 57) and GPT-6.1 Sol (max, 55): Anthropic and OpenAI hold the top five models. Gemini 4 Argon (high) is next at 50

➤ The open weights gap widens from 3 points to 12: Kimi K3.1 Pro (weights not yet released) is the top open weights model at 46. Among released weights, DeepSeek V4.1 Flash 1017 (max) and GLM-5.3 (max) lead at 32 – 26 points behind the leader and below Claude Haiku 5.5 (max, 36)

➤ Cost per task varies by more than 13x among the leading models: of the 10 highest-scoring models shown, GPT-6.1 Terra (max) is the cheapest at $0.96 per Intelligence Index task and Claude Fable 5.1 (max) the most expensive at $13.04

— Artificial Analysis (@ArtificialAnlys) October 28, 2026

◇ 제미나이 4 카본 1위로=v5 종합 점수에서는 구글(Google)이 10월 29일 공개한 제미나이 4 카본(Gemini 4 Carbon)이 59점으로 1위에 올라 기존 1위였던 클로드 오퍼스 5.5(Claude Opus 5.5) max 설정을 앞질렀다.

10월 27일 기준 v4.3 종합 점수와 비교하면 v5에서는 오픈AI(OpenAI) 모델들 평가가 올라갔다. 반면 v4.3에서 상위권이던 메타(Meta) 뮤즈 원더 풀(Muse Wonder Full) max 설정과 키미 K3 프로(Kimi K3 Pro) 같은 일부 모델은 점수가 내려갔다.

새로 추가한 프론티어코드 2.0에서는 클로드 오퍼스 5.5 max 설정이 1위, GPT-6 아스트라(GPT-6 Astra) max 설정이 2위를 차지했다. 제미나이 4 카본은 이 항목에서 6위에 머물렀다. 더 자세한 데이터는 프론티어코드 리더보드에서 확인할 수 있다. 터미널벤치 사이언스에서는 제미나이 4 카본이 1위에 올랐다.

v5에서 눈에 띄는 대목은 폐쇄형 모델 1위와 개방형 모델 1위 간 점수 차가 3점에서 13점으로 벌어졌다는 점이다. 현재 개방형 모델 1위는 46점인 키미 K3.1 프로(Kimi K3.1 Pro)로 제미나이 4 카본의 59점에 크게 못 미친다. 키미 K3.1 프로는 아직 공개 전이며 조만간 무료로 공개될 예정이다. 관련 내용은 이곳에서 확인할 수 있다.