AI를 최대 9.64배 고속화…투기적 디코딩 기법 젯스펙

미국 캘리포니아대 샌디에이고캠퍼스 AI 연구소인 하오AI랩(Hao AI Lab)이 젯스펙(JetSpec)이라고 불리는 투기적 디코딩 기법을 개발했다.

주류 대규모 언어 모델은 다음 토큰을 계속 예측한다는 방식으로 긴 문장을 출력하고 있다. 투기적 디코딩은 소형 드래프트 담당 AI 모델을 사용해 다음 단어를 복수 예측하고 그 중 하나를 채택한다는 구조를 지닌 고속화 기법으로 AI 모델 품질을 유지한 채 고속화할 수 있다.

기존 투기적 디코딩 기법은 크게 자기회귀형과 블록 확산형 2종류로 나뉜다. 하오AI랩에 따르면 자기회귀형 기법에는 긴 예측에서 낭비가 발생한다는 문제가 존재하고 블록 확산형에는 모순되는 예측 트리로 인해 낭비가 발생한다는 문제가 존재한다고 한다. 젯스펙은 이런 문제를 해결하는 기법으로 기존 기법과 비교해 한층 더 고속화를 가능하게 한다.

큐웬3-8B(Qwen3-8B)를 엔비디아 H100에서 실행하는 경우 투기적 디코딩 기법별 속도 향상률을 비교해보면 젯스펙은 수학 추론 벤치마크인 MATH-500에서 9.64배 고속화를 실현하며 기존 기법보다 빠른 처리를 달성하고 있다. 또 복잡한 채팅 능력을 측정하는 MT-벤치(MT-Bench)에서도 4.58배 고속화에 성공했다.

하오AI랩은 AI 추론 엔진인 vLLM에 젯스펙 실행 기능을 추가한 버전을 개발하고 엔비디아 B200을 사용해 큐웬3-8B를 실행했다. 그 결과 초당 1000토큰 이상이라는 빠른 출력을 실현했다.

하오AI랩은 큐웬3-8B, 큐웬3 30B A3B, 큐웬3.6 35B A3B, gpt-oss-20b, 젬마 4 26B A4B IT, 스텝 3.7 플래시용 젯스펙 드래프트 모델을 공개하고 있다. 관련 내용은 이곳에서 확인할 수 있다.