GPT-4o급 성능…에센셜AI, 80억 파라미터 오픈AI 모델 발표

오픈소스 AI 기업인 에센셜AI(Essential AI)가 언어 모델 Rnj-1을 발표했다. Rnj-1은 80억 파라미터로 최대 3만 2,000토큰에 이르는 장문 컨텍스트를 처리할 수 있도록 설계됐으며 동급 오픈 웨이트 모델과 비교해 코드 생성 및 과학적 추론 분야에서 높은 성능을 보이고 있다.

에센셜AI는 미국 AI 기업으로 고도의 AI 기술 생산 및 유통이 소수 기업에 의해 통제되고 있는 걸 우려하며 AI 혁신을 세계 규모로 추진하고 가속화하기 위한 오픈 플랫폼 구축을 목표로 내세우고 있다. CEO를 맡고 있는 아시시 바스와니(Ashish Vaswani)는 구글에서 트랜스포머(Transformer)를 개발한 팀 일원이며 트랜스포머가 세상에 나오게 된 논문(Attention Is All You Need) 공동 저자 중 1명이다.

이런 에센셜AI가 12월 6일 발표한 Rnj-1은 오픈소스에 기여하는 언어 모델로 세계적 수준 베이스 모델과 명령어 조정된 대규모 언어 모델을 결합했다. Rnj-1이라는 이름은 전설적인 인도 수학자 스리니바사 라마누잔(Srinivasa Ramanujan)에서 유래했다고 한다.

Rnj-1은 기초 모델과 명령어를 따르도록 미세 조정된 Instruct 모델 쌍으로 구성되어 있다. Rnj-1은 구글 오픈소스 대규모 언어 모델인 젬마3(Gemma 3) 아키텍처를 따른 80억 파라미터 모델로 장문 대응 기술인 YaRN을 채택해 최대 3만 2,000토큰에 걸친 장문 컨텍스트를 처리할 수 있는 설계가 되어 있다. 이를 통해 긴 문장이나 문서 읽기 뿐 아니라 장시간 대화 및 멀티스텝 대화를 필요로 하는 작업에서 유리하게 작용한다.

또 알고리즘 코드 생성 작업이나 더 광범위한 코딩 작업에서 Rnj-1 Base와 Instruct 모두 동급 최고 수준 오픈 웨이트 모델과 동등한 성능을 발휘하며 200억 파라미터 모델 등 더 대규모 모델보다 우수한 퍼포먼스를 발휘한 것으로 보고됐다. 더욱이 에센셜AI가 실현을 목표로 하는 능력 중 하나인 에이전트 코딩에서 압도적인 성능을 발휘하며 에이전트 능력을 측정하는 SWE-bench bash 전용 모드에서 20.8% 점수를 기록했다. 에센셜AI는 다른 AI 모델 점수를 바탕으로 Rnj-1이 제미나이 2.0 Flash나 GPT-4o와 동등한 수준의 성능을 발휘했다고 어필하고 있다.

Rnj-1은 수학 및 과학 문제 해결 능력도 뛰어나다. 대학에서 대학원 수준 수학적·정량적 추론 능력을 측정하는 Minerva-MATH에서는 동급의 오픈 웨이트 베이스 모델과 동등한 성능을 기록했다. 또 생물학, 물리학, 화학 분야를 다룬 박사 과정 수준 어려운 문제인 GPQA-Diamond에서는 동급 모델 중 최고에 가까운 결과가 나타났다.

더불어 Rnj-1은 학습 후 및 추론 시 양자화에 내성이 있도록 설계됐다. 보통 더 가벼운 계산 방식을 선택하면 계산 속도가 올라가는 반면 답이 흐트러지기 쉬워지지만 Rnj-1은 계산 정밀도를 16bit→8bit→4bit로 낮춰도 거의 동일한 품질을 유지하면서 처리 속도를 대폭 향상시킬 수 있다는 특징이 있다. 이를 통해 대량 문장을 한꺼번에 처리하는 상황에서는 초당 생성할 수 있는 문자량이 크게 늘어나는 장점이 있다.

바스와니 CEO는 첫 번째 플래그십 모델인 Rnj-1을 공유할 수 있게 되어 흥분되고 자랑스럽다며 Rnj-1은 10개월간 헌신적인 노력의 집대성이라고 말했다. 또 Rnj-1은 에센셜AI에 큰 이정표이며 20명이라는 작은 팀으로 얼마나 전진할 수 있는지를 보여준다며 AI 분야 최고 인재와 함께 일할 수 있어 영광이었다고 말했다.

Rnj-1은 아파치 라이선스 버전 2.0에 따라 라이선스되어 있으며 허깅페이스에서 다운로드할 수 있다. 바스와니 CEO에 따르면 조만간 Rnj-1 기술 보고서도 공개할 예정이라고 한다. 향후 전망으로는 더 긴 컨텍스트를 처리할 수 있도록 모델 능력을 확장 및 강화하고 AI 훈련에 필요한 메모리 사용량을 억제하며 계산 속도를 높이는 저정밀도 훈련 실현, 압축 이론 추진 및 시뮬레이션하려는 프로그램 동작 종류와 범위 확장 등에 주력할 것이라고 밝혔다.

Rnj-1에 대해 자연어 처리 컨설턴트 겸 연구자인 칼얀 KS(Kalyan KS)은 Rnj-1은 미국에서 구축된 최고의 오픈소스 LLM일 가능성이 있지만 최근 출시된 Ministral 3 8B instruct와의 비교가 누락되어 있다고 평가했다. 관련 내용은 이곳에서 확인할 수 있다.