“기존 대비 10배 고속” Qwen3-Next 등장

중국 대형 기술 기업인 알리바바(Alibaba) AI 연구팀이 저비용이면서 고성능인 AI모델 Qwen3-Next를 개발해 무료 공개했다. Qwen3-Next는 기존 모델과 비교해 10분의 1 이하 비용으로 훈련됐으며 입력 토큰이 많은 상황에서는 10배 이상 빠른 추론 처리가 가능하다. 그러면서도 성능은 기존 모델과 동등 이상이며 일부 테스트에서는 구글 Gemini-2.5-Flash-Thinking을 넘어선다고 어필하고 있다.

Qwen3-Next 기본 모델인 Qwen3-Next-80B-A3B-Base는 복수 전문가 모델을 내포하는 MoE(Mixture of Experts) 아키텍처를 채택한 모델이다. 기존 훈련 방법과는 다르게 Gated DeltaNet과 Gated Attention을 3:1 비율로 사용해 뛰어난 성능과 낮은 훈련 비용을 양립했다고 한다.

Qwen3-Next-80B-A3B-Base는 Qwen3-32B와 비교해 10.7배 빠르게 훈련 가능하다. 그러면서도 벤치마크 점수는 Qwen3-32B를 넘어선다.

Qwen3-Next-80B-A3B-Base는 전문가 모델 512개가 포함된 800억 파라미터 모델이지만 실제 추론 처리에서는 최대 30억 파라미터만이 활성화된다. 처리 속도는 기존 모델과 비교해 크게 향상됐으며 입력 토큰 수가 3만 2000개인 경우 최초 토큰을 출력하기까지(Prefill 단계) 속도는 Qwen3-32B와 비교해 10.6배 빠르고 그 이후(Decode 단계) 출력 속도는 10배 빠르다.

개발팀은 Qwen3-Next-80B-A3B-Base를 토대로 미세조정을 시행한 Qwen3-Next-80B-A3B-Instruct와 Qwen3-Next-80B-A3B-Thinking을 무료 공개하고 있다.

개발팀에 따르면 추론 모델인 Qwen3-Next-80B-A3B-Thinking은 복수 벤치마크 테스트에서 구글의 Gemini-2.5-Flash-Thinking을 넘어섰다고 한다. 개발팀은 향후 Qwen3.5 릴리스를 향해 아키텍처 개선에 나서고 있다. 관련 내용은 이곳에서 확인할 수 있다.