AI 에이전트용 고속 모델 공개한 엔비디아

엔비디아가 8월 11일 AI 에이전트용 오픈 모델인 엔비디아 네모트론 3.5 라이트닝(NVIDIA Nemotron 3.5 Lightning)과 여러 AI 모델 중에서 처리 내용에 적합한 모델을 자동 선택하는 오픈소스 라이브러리 엔비디아 니모 스위치야드(NVIDIA NeMo Switchyard)를 발표했다.

AI 에이전트가 외부 도구를 조작하면서 대규모 처리를 수행할 경우 코드 확인이나 정보 분류 같은 비교적 단순한 작업에까지 고성능·대규모 AI 모델을 계속 사용하면 처리 시간과 비용이 증가한다. 한편 소형 모델에만 맡기면 계획 수립 등 복잡한 추론이 필요해지는 상황에서 답변 품질이 부족해질 가능성이 있다. 엔비디아는 장시간 가동하는 AI 에이전트에서는 역할이 다른 여러 모델을 조합하는 모델의 시스템(system of models)이라는 사고방식이 중요해진다고 설명했다.

이번에 발표된 AI 모델인 네모트론 3.5 라이트닝은 대량 발생하는 전문 작업을 고속 처리하는 걸 상정하고 있다고 한다. 300억 파라미터를 가진 MoE(Mixture of Experts) 모델로 처리 시에 이용하는 활성 파라미터는 30억이다.

네모트론 3.5 라이트닝은 네모트론 3 나노(Nemotron 3 Nano)에 이은 네모트론 3 패밀리 확장이라는 위치에 있으며 코드 리뷰나 도구 조작, 보안 경고 감시, 청구 관련 문의 등 AI 에이전트가 반복 처리하는 전문 작업을 상정하고 있다. 엔비디아에 따르면 동급 모델과 비교해 출력 속도는 최대 4배가 되며 AI 에이전트 작업 완료를 30% 고속화할 수 있었다고 한다. 또 조직이 보유한 데이터나 업무 절차에 맞춰 추가 학습시키는 것도 가능하다.

허깅페이스에서는 커스터마이징용 BF16 버전과 추론 속도 및 처리 효율을 중시한 NVFP4 버전이 공개되어 있다. 둘 다 최대 100만 토큰 컨텍스트 길이에 대응한다. NVFP4 버전은 DGX 스파크 1대 또는 H100 1기 등으로 동작 가능하다고 한다. 또 허깅페이스에서는 올라마(Ollama)나 LM 스튜디오(LM Studio) 등에서 이용하기 위한 양자화 모델도 안내되고 있다.

다만 경량·고속 모델을 준비해도 어떤 처리를 어느 모델에 맡길 것인지 사람이 매번 설정해야 한다면 AI 에이전트 구축이 복잡해진다. 모델 선택을 자동화하기 위해 동시에 모델 라우팅용 오픈소스 라이브러리 니모 스위치야드가 공개됐다.

니모 스위치야드는 AI 에이전트로부터 도착한 요청을 분석해 개발자가 등록한 여러 모델 중에서 처리에 적합한 모델로 자동으로 배분한다. 엔비디아 제품 모델뿐만 아니라 오픈 모델이나 독점 모델도 조합할 수 있다고 한다. 품질을 우선할지, 응답 속도나 비용을 억제할지 같은 조건에 맞춰 배분 방법을 조정하는 것도 가능하다.

요청 내용에 따라 모델을 선택하는 방식 외에도 AI 에이전트가 작업 어느 단계에 있는지를 보고 모델을 전환하는 방식이나 먼저 저비용 모델에 처리시키고 지속적인 문제가 검출된 경우에 고성능 모델로 인계하는 방식 등도 준비되어 있다고 한다.

엔비디아 내부 벤치마크에서는 니모 스위치야드를 사용해 클로드 오퍼스 4.8(Claude Opus 4.8)과 엔비디아 네모트론 3.5 라이트닝, 젬마 3 26B(Gemma 3 26B), 큐웬 3.6 35B(Qwen 3.6 35B)를 조합하면 클로드 오퍼스 4.8 단독과 동등한 수준 작업 완료율을 유지하면서 대폭적으로 비용을 절감할 수 있었다고 보고됐다.

현재 네모트론 3.5 라이트닝은 허깅페이스나 모델스코프(ModelScope), 오픈라우터(OpenRouter), 엔비디아의 build.nvidia.com 등에서 이용할 수 있으며 LM 스튜디오와 올라마도 대응을 안내하고 있다. 니모 스위치야드의 소스 코드는 깃허브에서 공개되어 있으며 엔비디아는 앞으로 파트너 플랫폼에도 스위치야드를 확대해 나갈 예정이라고 한다.

또 엔비디아는 AI 시스템에서 여러 모델을 조합하는 사례가 늘어나는 가운데 효율과 품질, 비용 간 균형을 맞추면서 작업마다 적합한 모델을 고르는 모델 라우팅이 중요해진다고 강조하고 있다. 관련 내용은 이곳에서 확인할 수 있다.