엔비디아, 하이브리드 MoE 오픈웨이트 AI 모델 발표

엔비디아가 1,200억 파라미터 규모 하이브리드 MoE 오픈 웨이트 AI 모델인 네모트론 3 슈퍼(Nemotron 3 Super)를 발표했다.

네모트론 3 슈퍼는 에이전트형 AI 추론에 특화된 새로운 오픈 모델로 높은 연산 효율과 정확도를 양립시킨 1,200억(120B)개 파라미터와 120억(12B)개 유효 파라미터를 갖춘 MoE 아키텍처를 채택했다.

네모트론 3 슈퍼는 멀티 에이전트 시스템에서 과제로 떠오르는 히스토리 및 추론 단계 재전송에 따른 컨텍스트 폭발, 복잡한 추론에 수반되는 연산 비용 증가를 해결하기 위해 설계됐다. 지원 언어는 한국어를 비롯해 영어, 일본어, 스페인어, 프랑스어, 독일어, 이탈리아어, 중국어, 아랍어, 히브리어, 힌디어 등 20개 언어다.

예를 들어 동일한 추론 비용으로 4배 전문가(Expert)를 호출할 수 있는 레이턴트 MoE(Latent MoE)와, 한 번 패스에서 복수 미래 토큰을 동시에 예측해 생성 시간을 단축하는 MTP(Multi-Token Prediction)가 도입됐다. 또 네모트론 3 시리즈에선 처음으로 레이턴트 MoE, MTP, NVFP4를 사전 학습에 채택한 모델이기도 하다.

아울러 시퀀스 효율이 뛰어난 맘바(Mamba) 레이어와 정밀한 추론을 수행하는 트랜스포머(Transformer) 레이어를 통합한 하이브리드 백본을 통해 메모리와 연산 효율이 4배 향상됐다. 네모트론 3 슈퍼는 엔비디아 블랙웰 플랫폼에 최적화된 NVFP4 형식으로 네이티브 사전 학습이 이뤄졌으며 호퍼(Hopper) 상 FP8 대비 정확도를 유지하면서 추론 속도가 4배 향상됐다.

학습 프로세스는 사전 학습, 지도 미세 조정(SFT), 멀티 환경 강화 학습 3단계로 구성된다. 사전 학습에서는 추론 및 코딩에 중점을 둔 고유 토큰 10조 개를 포함해 25조 토큰이 사용됐다.

또 추론, 지시 수행, 코딩, 안전성, 멀티 스텝 에이전트 태스크를 포함한 포스트 트레이닝 샘플 4,000만 건 중 700만 건을 활용해 지도 미세 조정이 이뤄졌다. 최종적으로는 21종 환경 구성과 37개 데이터셋에 걸친 강화 학습이 실시됐으며 학습 과정에서 120만 건 환경 롤아웃(environment rollout)이 생성됐다. 이를 통해 100만 토큰 네이티브 컨텍스트 윈도가 실현됐으며 에이전트는 장기 기억을 유지하면서 목표를 잃지 않고 일관된 추론을 지속할 수 있게 됐다.

성능 면에서는 이전 네모트론 슈퍼 대비 최대 5배 처리량과 최대 2배 정확도를 달성했다. 벤치마크에서는 유사 규모 오픈 모델과 비교해 우수한 정확도를 보였다. 엔비디아 AI-Q 리서치 에이전트(NVIDIA AI-Q research agent)에 탑재된 구성에서는 딥리서치 벤치(DeepResearch Bench) 및 딥리서치 벤치 II(DeepResearch Bench II)에서 1위를 기록했다. 또 GPT-OSS-120B나 Qwen3.5-122B 등 타사 모델 대비 특정 조건에서 2.2배에서 7.5배 높은 추론 처리량을 기록했다.

네모트론 3 슈퍼는 베이스 모델과 가중치(파라미터), 데이터셋, 트레이닝 레시피가 모두 공개되어 있어 개발자는 자신의 인프라 위에서 자유롭게 커스터마이징 및 배포가 가능하다. 이용 가능한 체크포인트에는 NVFP4, FP8, BF16 각 형식이 포함되며 허깅 페이스와 엔비디아 NIM(NVIDIA NIM), 오픈라우터(OpenRouter)를 통해 접근할 수 있다. GPU 최소 요건은 NVFP4 버전이 H100×1, FP8 버전이 H100×2, BF16 버전이 H100×8이다. 또 build.nvidia.com에서 네모트론 3 슈퍼 120B(A12B) 모델 데모가 공개되어 있다.

엔비디아는 퍼플렉시티(Perplexity), 팔란티어(Palantir), 지멘스(Siemens) 등 다수 기업이 이미 네모트론 3 슈퍼의 통합 및 배포를 진행 중이라고 밝혔으며 소프트웨어 개발, 사이버 보안 트리아지, 금융 분석 등 폭넓은 분야에서의 활용이 기대된다. 관련 내용은 이곳에서 확인할 수 있다.