스마트폰서 AI 에이전트 작동 가능한 소형 모델 나왔다

MIT에서 스핀오프한 AI 기업 리퀴드 AI(Liquid AI)가 8월 4일 소형 AI 모델 LFM2.5 시리즈 에이전트 대응 모델로 LFM2.5-2.6B를 출시했다. 스마트폰에서 작동할 정도로 소형이면서도 계획 수립, 도구 호출, 여러 단계에 걸친 작업 처리 같은 에이전트 워크플로를 구동하기에 충분한 성능을 갖추고 있다고 한다.

클라우드 API에 의존하는 에이전트와 달리 로컬 에이전트는 무료로 추론을 실행할 수 있는 데다 지연을 줄일 수 있고 프라이버시 보호 측면에서도 뛰어나다. 또 리퀴드 AI에 따르면 토큰별 비용이 사라져 에이전트를 로컬 하드웨어 상에서 대규모로 병렬화할 수 있으며 수백만 토큰을 소비하는 백그라운드 작업을 한계비용 없이 실행할 수 있게 된다고 한다.

LFM2.5-2.6B는 에이전트 워크로드용으로 특별히 훈련된 2.6B 파라미터 모델로 34T 토큰 학습 데이터를 이용해 사전 훈련됐다. 에이전트 워크로드에 필요한 긴 입력을 모델이 처리할 수 있도록 훈련 도중에 전용 128K 컨텍스트 확장 단계를 포함시켰다.

베이스 모델인 LFM2.5-2.6B-Base를 LFM2.5-2.6B로 파인튜닝하는 4단계 훈련 후 파이프라인을 보면 지도 파인튜닝, 교사 특화 학습, 멀티도메인 온폴리시 증류, 에이전트형 강화학습이라는 과정이 사용됐다.

리퀴드 AI에 따르면 LFM2.5-2.6B는 효율적인 LFM2 아키텍처 덕분에 프롬프트 로딩과 응답 생성에서 테스트한 모델 중 가장 빠른 모델이다. 애플 M5 맥스(Apple M5 Max)에서는 초당 220토큰, 라이젠 AI 맥스+ 395(Ryzen AI Max+ 395)에서는 초당 113토큰을 디코딩하며 메모리 사용량은 2.5GB 미만으로 억제된다. 스마트폰에서는 최대 초당 30토큰을 처리할 수 있어 고성능 에이전트를 자신의 디바이스 상에서 즉시 프라이빗하게 실행할 수 있다고 한다.

각 모델을 SGLang 0.5.16 환경에서 입력 토큰 1024개, 출력 토큰 최대 256개, BF16 설정으로 벤치마크해 병렬도 레벨별로 평균 3회 실행한 뒤 단위 시간당 처리 능력을 비교해보면 LFM2.5-2.6B는 동일 크기 클래스에서 가장 빠른 모델이며, 고병렬도에서는 초당 1만 5,000개 출력 토큰을 생성해 엔비디아의 AI용 GPU H100 1기로 하루 13억 토큰을 처리할 수 있다고 한다.

실제로 스마트폰 상 리퀴드 에이전트(Liquid Agent) 하네스 내에서 LFM2.5-2.6B를 실행해보면 클라우드 API 호출을 일절 하지 않고 디바이스 상에서 작업 계획, 도구 호출, 실제 작업 실행까지 모두 완결할 수 있다.

LFM2.5-2.6B-Base 및 LFM2.5-2.6B는 허깅 페이스에서 다운로드할 수 있다. 관련 내용은 이곳에서 확인할 수 있다.