AI 모델 안에 CPU 심은 실험적 모델 등장했다

AI 모델 내부에 32비트 리스크파이브(RISC-V) CPU를 넣어 외부 도구 없이 계산과 프로그램 실행을 해내는 실험적 AI 모델 큐웬퓨터(Qwenputer)가 공개됐다. 큐웬퓨터는 기존 AI 모델 큐웬3.5-4B(Qwen3.5-4B)를 바탕으로 만들었으며 신경망 내부에서 CPU와 메모리 기능을 재현했다.

개발자 디비얀시 아그라왈(Divyansh Agrawal)은 10월 22일 큐웬퓨터를 발표했다. 알리바바(Alibaba) 큐웬3.5-4B에 CPU 기능을 더해 일반 AI 모델이 자주 틀리는 복잡한 계산도 정확히 해내도록 했다.

대규모 언어 모델(LLM)은 입력된 문장 뒤에 이어질 단어나 글자를 예측하는 방식으로 답을 만든다. 그래서 큰 수 곱셈처럼 정확한 계산이 필요한 상황에서는 틀린 답을 내놓기도 한다. 이를 풀기 위해 흔히 쓰는 방법은 AI가 파이썬(Python) 같은 외부 도구를 불러 계산 결과를 받아오게 하는 것이다.

큐웬퓨터는 외부 계산 도구를 쓰는 대신 AI 모델 자체에 CPU 기능을 넣었다는 점이 다르다. CPU에는 개방형 명령어 집합 구조인 리스크파이브를 채택했고 32비트 RV32IM과 일부 확장 명령어를 구현했다. 덕분에 사칙연산뿐 아니라 C언어나 마이크로파이썬(MicroPython)으로 짠 프로그램도 AI 모델 안에서 실행할 수 있다.

다만 CPU를 돌리려면 계산 중간 데이터와 프로그램을 담아 둘 메모리도 있어야 한다. 아그라왈은 큐웬3.5에 쓰인 게이티드 델타넷(Gated DeltaNet)이라는 구조에 주목했다. 게이티드 델타넷은 AI가 문장을 처리할 때 내부 상태를 유지하고 갱신하는 구조로 설정을 잘 조정하면 지정한 위치에 데이터를 쓰고 저장한 데이터를 정확히 읽어낼 수 있다. 아그라왈은 이 구조를 램(RAM)으로 쓰고 계산과 조건 분기 등을 수행하는 회로를 신경망으로 재현해 AI 모델 내부에 CPU를 구축했다.

아그라왈은 CPU 회로를 설계한 뒤 그 동작에 필요한 수치를 컴파일러로 계산해 신경망 가중치로 직접 심었다. 바탕이 된 큐웬3.5-4B 가중치는 건드리지 않았다.

큐웬퓨터로 계산할 때는 AI가 일반적인 도구 호출과 비슷한 형식으로 명령을 만든다. 하지만 실제로 외부 프로그램을 부르는 건 아니다. 새로 추가한 신경망 층이 명령을 처리해 결과를 AI에 돌려준다. 아그라왈에 따르면 이 CPU는 리스크파이브 공식 테스트를 통과했고 명령 1,800만 개를 연속 실행했을 때도 오류가 나지 않았다.

계산 능력을 비교한 결과 큰 정수 곱셈 테스트에서 기본 큐웬3.5-4B 정답률은 55%였지만 큐웬퓨터는 97.5%를 기록했다. 큰 정수 나눗셈에서는 72.5%에서 97.5%로 올랐고 곱셈과 나눗셈을 여러 번 섞은 테스트에서는 90%에서 100%로 높아졌다. 긴 정수 사칙연산 테스트인 NUPA에서도 기본 모델 정답률이 48.6%에 그친 반면 큐웬퓨터는 100%를 달성했다. 기본 큐웬3.5-4B에 파이썬 도구를 쓰게 한 경우와 비교해도 큐웬퓨터는 테스트 5종 모두에서 같거나 더 높은 정답률을 보였다.

아그라왈은 CPU에 더해 AI 모델 내부에 파일을 저장하는 기능도 실험적으로 구현했다. 게이티드 델타넷 내부 상태에 텍스트를 기록하는 방식으로 파일을 최대 512개, 합계 5만3,000토큰까지 저장할 수 있다. 대화가 끝날 때 내부 상태를 저장하고 다음 대화에서 불러오면 이전 대화에서 기록한 정보를 이어받을 수도 있다. 이 기능을 쓴 검증에서 과거 대화 이후 바뀐 정보를 바르게 답한 비율은 90%에 이르렀다. 과거 대화를 그대로 입력한 경우 정답률은 30%였다.

한계도 있다. CPU 기능을 더하면서 모델 용량은 18.8GB로 늘어 기본 큐웬3.5-4B의 2배 수준이 됐다. CPU 명령을 하나 실행할 때마다 토큰을 여러 개 생성해야 해 일반 CPU라면 밀리초 단위로 끝날 계산에 몇 초가 걸리기도 한다. 전용 드라이버도 필요해 일반 AI 모델처럼 불러오기만 해서는 쓸 수 없다.

큐웬퓨터 모델과 소스코드는 허깅페이스(Hugging Face)와 깃허브(GitHub)에 공개돼 있으며 메모리 24GB를 갖춘 GPU 1개로 실행할 수 있다. 아그라왈은 앞으로 AI가 스스로 파이썬 코드를 작성해 모델 내부 마이크로파이썬에서 실행하는 기능과 CPU 처리 속도 개선에 나설 계획이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.