7440억 파라미터 모델을 메모리 25GB PC에서 실행?

7440억 파라미터를 갖춘 대규모 언어 모델인 GLM-5.2를 메모리 25GB인 일반 PC에서 동작시키는 추론 엔진 콜리브리(Colibrì)가 공개됐다. VRAM이나 RAM에 모델 전체를 읽어 들이는 게 아니라 필요한 데이터만 SSD에서 수시로 읽어오는 구조다.

거대 AI 모델이 오픈 모델로 무료 공개되는 사례가 늘고 있지만 모델을 실제로 동작시키려면 수백 GB에 이르는 메모리가 필요하며 일반 PC에서 실행하기는 어렵다. GLM-5.2는 장시간 작업을 상정한 Z.ai 플래그십 모델로 최대 100만 토큰 문맥을 안정적으로 다룰 수 있는 등 고성능 모델이지만 파라미터 수가 7440억 개에 달해 양자화 등 메모리 절약 기법을 적용하더라도 가정용 PC에서 실행하기는 어렵다. 이런 GLM-5.2를 메모리 용량이 적은 PC에서도 실행할 수 있게 해주는 추론 엔진이 콜리브리, 개발자는 12코어 CPU와 25GB 메모리를 탑재한 PC에서 GLM-5.2를 실행할 수 있었다고 밝혔다.

콜리브리 개발자(vforno)는 GLM-5.2가 MoE(Mixture-of-Experts)라 불리는 구조를 채택하고 있다는 점에 주목했다. MoE에서는 질문에 답할 때마다 7440억 개 모든 파라미터를 사용하는 게 아니라 입력 내용에 적합한 일부 전문가만 선택해 계산한다. GLM-5.2가 1토큰을 생성할 때 실제로 활성화되는 파라미터는 400억 개라고 한다.

콜리브리는 문장 중 중요한 부분을 판단하는 어텐션 메커니즘이나 단어를 수치 데이터로 변환하는 임베딩 층 등 항상 필요한 170억 파라미터를 4bit로 압축해 9.9GB 데이터로 RAM에 상주시킨다. 한편 입력에 따라 선택 대상이 달라지는 엑스퍼트 2만 1504개는 370GB 데이터로 SSD 등 스토리지에 배치한다. 응답 생성 중 필요해진 엑스퍼트만 스토리지에서 읽어온다.

SSD 접근 횟수를 줄이기 위해 최근 사용한 엑스퍼트를 RAM에 남기는 LRU 캐시도 마련되어 있다. 나아가 이용 이력에서 빈번하게 호출되는 엑스퍼트를 기록하고 여유 RAM에 우선적으로 고정하는 학습형 캐시를 탑재했다. 이용 이력은 대화마다 기록되며 다음 기동 시에는 빈번하게 사용된 엑스퍼트가 여유 RAM에 우선적으로 읽어 들여진다.

실행 엔진은 C 언어 1300행 파일을 중심으로 구성되며 추론 실행 시 외부 라이브러리에 대한 의존이 없고 파이썬이나 외부 수치 계산 라이브러리를 필요로 하지 않는다. GPU도 불필요하며 주요 요건은 리눅스 또는 WSL2(Windows Subsystem for Linux 2), OpenMP 대응 GCC 컴파일러, AVX2 대응 CPU, 16GB 이상 RAM, 370GB 모델을 저장할 수 있는 로컬 NVMe SSD다.

다만 적은 메모리로 구동할 수 있는 대신 처리 속도는 매우 느리며 개발에 사용된 12코어 CPU와 메모리 25GB PC에서는 토큰 생성 속도가 캐시가 빈 상태에서 초당 0.05~0.1토큰이었다. 캐시가 비어 있는 경우 1토큰마다 11GB 데이터를 SSD에서 읽어야 하기 때문에 짧은 응답에도 수 분이 걸릴 가능성이 있다. 개발자도 속도가 아닌 아무리 느리더라도 동작시키는 걸 목표로 했다고 설명했다.

복수 후보 토큰을 미리 예측해 한꺼번에 검증하는 다중 토큰 예측(Multi-Token Prediction)을 이용한 투기적 디코딩도 구현되어 있다. 필요한 엑스퍼트가 RAM 내 캐시에 축적된 상태에서는 읽기 횟수를 줄일 수 있는 가능성이 있지만 캐시가 빈 경우에는 불필요한 엑스퍼트를 호출해 오히려 느려지는 경우가 있다고 한다. 또 아직 4bit 양자화에 따른 정밀도 저하에 대한 본격적인 측정이나 긴 문맥을 효율적으로 처리하는 희소 어텐션 메커니즘의 구현이 완료되지 않았다고 밝혔다.

개발자는 고속 SSD나 대용량 RAM을 갖춘 PC에서의 벤치마크 결과, 품질 평가, 코드 개선에 대한 협력 등 지원을 모집하고 있다. 관련 내용은 이곳에서 확인할 수 있다.