AI가 설계한 오픈소스 AI 가속기 공개됐다

AI를 이용해 AI용 하드웨어를 설계하는 오픈소스 프로젝트 오픈TPU(openTPU)가 공개됐다. 오픈TPU는 AI 모델을 빠르게 돌리기 위한 전용 가속기를 AI 에이전트를 활용해 개발하는 시도로 Qwen3와 Qwen3.5, Gemma 4 등 여러 언어 모델을 실제 FPGA 카드에서 구동하는 데 성공했다.

오픈TPU는 구글(Google) TPU를 재현하려는 프로젝트가 아니다. AI 에이전트가 하드웨어 설계를 어디까지 해낼 수 있는지, AI가 자기 자신을 돌릴 칩을 설계할 수 있는지를 확인하려는 프로젝트다. AI용 하드웨어를 만드는 데 그치지 않고 설계 과정 자체를 AI에 맡겼다는 점이 특징이다. 소프트웨어부터 회로까지 전부 공개돼 있어 AI 가속기 구조를 배우는 교재로도 쓸 수 있다.

오픈TPU는 명령을 순서대로 내리는 시퀀서를 중심에 두고 메모리와 데이터 전송을 맡는 DMA와 행렬 연산을 수행하는 행렬 연산 유닛을 붙였다. 여기에 부동소수점 연산을 하는 벡터 유닛과 결과를 양자화하는 유닛 등을 조합해 일부러 단순하게 설계했다. 일반 CPU나 GPU처럼 캐시나 복잡한 명령 스케줄링을 두지 않고 데이터 이동도 명령으로 명시해 처리하므로 어떤 작업에 몇 클록이 걸렸는지 추적하기 쉽다.

개발자는 AMD 킨텍스-7(Kintex-7)을 탑재한 FPGA 카드에 오픈TPU 회로를 올려 실제 하드웨어에서 작동을 검증했다. 그 결과 LFM2.5-230M과 Qwen3-0.6B, Qwen3.5-0.8B, Gemma 4, Phi-4-mini 등 여러 모델을 돌리는 데 성공했다.

4비트로 양자화한 LFM2.5-230M은 초당 82.1토큰을 생성했고 Qwen3-0.6B는 초당 30.7토큰, Qwen3.5-0.8B는 초당 23.3토큰을 기록했다.

오픈TPU는 카드 메모리에 다 담기지 않는 대형 모델도 지원한다. 필요한 데이터만 PC에서 보내는 방식을 써 파라미터 347억 개 규모인 Qwen3.5-35B-A3B도 초당 3.95토큰으로 돌렸다고 개발자는 밝혔다.

현재 오픈TPU 성능을 가장 크게 제약하는 요소는 AI 연산 자체보다 메모리에서 모델 데이터를 읽어오는 속도다. 이 때문에 메모리 접근 효율화와 입력 문장을 처음 처리하는 프리필 단계 가속 등이 앞으로 풀어야 할 과제로 꼽힌다.

오픈TPU는 아파치 라이선스 2.0으로 공개됐다. 관련 내용은 이곳에서 확인할 수 있다.