8개월 만에 1억 달러 수익 낸 AI 랭킹 사이트

AI 모델 성능 랭킹 사이트인 아레나(Arena)가 상용 서비스 개시 8개월 만에 연간 환산 수익 1억 달러를 돌파했다. 아레나는 미국 캘리포니아대학교 버클리캠퍼스(UC Berkeley) 출신 연구 프로젝트에서 시작된 AI 평가 플랫폼으로 기업용 평가 서비스에서도 빠르게 존재감을 높이고 있다.

챗GPT나 클로드, 제미나이 등 다양한 생성 AI가 등장하고 있으며 다수 벤치마크 결과도 공표되고 있다. 벤치마크 테스트는 현실 세계 과제를 모방한 문제로 구성되어 있다고는 하지만 인간에게 읽기 쉬운 문장을 생성한다거나 인간이 고품질로 느끼는 이미지를 생성한다와 같은 주관적 성능을 측정하기는 어렵다. 이 때문에 사용자 입장에서는 이 AI 모델은 벤치마크 점수는 높지만 실제로 사용해 보면 미묘한 성능이라는 패턴이 발생하기 쉽다.

아레나는 사용자 프롬프트를 복수 AI 모델에 입력하고 AI 모델명을 가린 상태에서 각 AI 출력에 대한 승패를 사용자가 결정하게 하는 방식으로 AI 모델 성능 랭킹을 작성하고 있으며 인간이 실제로 사용해 보고 고성능이라고 느낀 모델일수록 상위에 랭크되는 구조다. 모델명을 가린 상태에서 인간에게 비교하게 해 브랜드명이나 평판에 휘둘리기 어려운 평가를 수집할 수 있다는 점이 특징이다. 참고로 아레나는 이전에 LM아레나(LMArena)라는 명칭으로 알려져 있었지만 지난 1월 28일 아레나로 명칭을 변경했다.

아레나 랭킹은 텍스트 생성, 웹 개발, 이미지 생성, 동영상 생성 등 여러 분야로 나뉘어 있으며 분야별로 AI 우열을 확인할 수 있는 구조다. 현재 앤트로픽의 클로드 페이블5(Claude Fable 5)가 텍스트 생성과 웹 개발 분야에서 1위다.

이런 아레나에서의 실제 사용자가 어느 쪽 답변을 선호하는지에 대한 정보는 AI 개발 기업에 있어 모델 개선을 위한 중요한 단서가 된다.

아레나가 2025년 9월 발표한 상용 서비스 AI 이밸류에이션즈(AI Evaluations)는 기업 및 AI 모델 개발 기업을 대상으로 커뮤니티에서 모인 피드백을 분석해 제공하는 서비스다. 단순한 랭킹 표시가 아니라 모델에 대한 강점과 약점, 용도별 적합성, 평가 데이터의 대표 샘플, 평가 결과의 납기 보장 등을 제공해 AI 모델 개선이나 도입 판단에 활용할 수 있는 정보로 변환하고 있다고 한다. 일반 대상 랭킹은 무료로 유지되고 있으며 기업 대상 상세 분석 서비스가 수익원이 되고 있다.

한편 이번에 아레나가 발표한 연간 환산 수익(ARR)은 일반적인 SaaS에서 사용되는 매년 반복적으로 들어오는 계약 수익과는 조금 의미가 다르다. 아레나 CEO인 아나스타시오스 니콜라스 안겔로풀로스(Anastasios Nikolas Angelopoulos)는 고객 과금은 이용량에 기반한 것이며 엄밀히 말해 계속 수익은 아니라고 설명했다.

아레나가 지난 1월 1억 5,000만 달러 시리즈A 자금 조달을 발표했을 당시 연간 환산 수익은 3,000만 달러였다. 반년 만에 연간 환산 수익이 3배 이상이 된 배경에는 AI 모델의 기초적인 학습이 끝난 후 답변 질을 조정하는 포스트트레이닝(Post-training) 수요 증가가 있다고 한다. 모델을 한 번 만들고 끝내는 게 아니라 인간 평가와 추가 데이터를 사용해 답변 품질을 조정하는 공정이 일반화되면서 평가 분석 서비스에 대한 수요가 높아지고 있는 것으로 보인다.

아레나는 텍스트, 코드, 이미지 인식, 이미지 생성 등 분야 랭킹에 더해 장시간이 소요되는 복잡한 작업을 평가하는 에이전트 모드(Agent Mode)도 도입했다. 에이전트 모드는 조사, 리포트 작성, 웹사이트 제작, 코드 수정 등 복수 단계의 작업에서 AI 모델을 시험하기 위한 기능으로 기존 고정형 벤치마크에서는 파악하기 어려운 끝까지 작업을 완료할 수 있는가, 사실과 다른 내용을 섞지 않는가 같은 측면을 측정하는 데 사용된다. 아레나에 따르면 에이전트 모드는 출시 후 1개월 만에 월간 500만 턴을 초과했으며 주당 10% 속도로 성장하고 있다고 한다.

아레나에 따르면 현재 플랫폼에는 누적 7억 건 이상 대화, 8,200만 건 이상 투표, 월간 1,000만 명 이상 방문자가 모이고 있다고 한다. 안겔로풀로스 CEO는 많은 이들은 아레나가 수익을 올리고 있다는 사실조차 이해하지 못하고 있으며 지금도 오픈소스 프로젝트라고 생각하고 있다고 밝혔다. 아레나는 앞으로도 arena.ai 개발에 투자해 더 나은 기능, 더 많은 도구, AI를 활용해 작업하는 새로운 방법을 만들어 가겠다고 설명했다. 관련 내용은 이곳에서 확인할 수 있다.