x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

스탠퍼드대·투게더AI(Together AI)·일리노이대 어바나-섐페인·메타(Meta) 공동 연구진이 하이브리드 추론 에이전트(Hybrid Reasoning Agents)라는 AI 실행 기법을 발표했다. AI 모델 사고 과정을 잠재공간에서 실행하도록 사후 학습을 하고 처리 토큰 수를 줄여 속도를 높이고 비용을 낮출 수 있다는 게 연구진 설명이다.

기존 대규모언어모델(LLM)은 사고와 도구 호출 그리고 최종 출력까지 모든 단계에서 토큰을 생성한다. 하이브리드 추론 에이전트는 사고를 잠재공간에서 처리해 속도를 끌어올린다. 잠재공간은 각종 데이터를 AI가 다루기 쉬운 형식으로 바꾼 수치 공간을 말한다.

이 기법은 기존 모델에 그대로 적용할 수 없다. 사전 학습을 마친 모델에 지도학습 기법인 하이브리드SFT(HybridSFT)와 강화학습 기법인 하이브리드RL(HybridRL)을 차례로 적용해야 잠재공간 사고가 가능해진다.

 

모델 추론은 출력과 도구 호출을 맡는 텍스트 모드와 사고를 맡는 잠재 모드를 오가며 이뤄진다. 잠재 모드 사고 내용은 사람이 읽을 수 있게 정리된다.

연구진 검증에서는 하이브리드 추론 에이전트를 적용한 모델 벤치마크 점수가 올랐고 처리 속도는 최대 2.1배 빨라졌다. 큐웬3 4B(Qwen3 4B)에 적용했을 때는 비용이 3.7분의 1로 줄었다고 연구진은 보고했다. 관련 코드와 데이터세트는 공개됐다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

Next Post