짐 켈러 스타트업, AI 추론용 PCIe 확장 카드 발표

라이젠 젠 아키텍처나 아이폰용 SoC 설계에 종사한 아키텍트인 짐 켈러가 CEO를 맡은 AI 스타트업 텐스토렌트(Tenstorrent)가 3월 5일 AI 추론에 특화한 PCIe 확장 카드인 그레이스컬(Grayskull) e75와 e150을 발표했다.

이들 제품은 텐스토렌트 AI 실행 소프트웨어 플랫폼(TT-Buda, TT-Metalium)을 통해 AI 추론 처리를 실행할 수 있다. 두 모델 중 e75는 엔트리 모델에 위치하고 있으며 텐스토렌트가 개발한 AI 처리 코어인 텐식스(Tensix) 96개를 탑재해 소비 전력 75W, 가격은 599달러다. e150은 텐식스 코어를 120개 탑재하고 소비 전력은 200W, 가격은 799달러다.

Alongside the launch of our Grayskull DevKit we are excited to announce the launch of the Tenstorrent AI Bounty Program.

Join us in adding AI models into TT-Buda demos. Opportunities include working on Qwen-1.5 (0.5B), Phi-2 (2.7B), Gemma 2B

Find out how to get started on our… pic.twitter.com/WAXU9kFJNA
— Tenstorrent (@tenstorrent) March 6, 2024

TT-Buda는 비교적 간단하게 AI 모델을 실행 가능하게 하는 소프트웨어 플랫폼으로 이미 GPT-2나 스테이블디퓨전 등 AI 모델이 이용 가능하게 되어 있다. 텐스토렌트는 또 AI 모델을 TT-Buda에 대응시킨 개발자에게 보상금을 지불하는 기획도 실시하고 있다. 현재 보상금 대상은 3개(Gemma 2B, undefined, Qwen 1.5(0.5B))다. 짐 켈러는 제품 발표에 즈음해 조만간 AI 네트워크 제품을 발표한다며 4월 중 AI 추론 카드 2세대를 발표할 것이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.

Tenstorrent plan update

1. open source software (Buda and Metalium) – January
2. sell Gen 1 Greyskull devkits, enable
online purchase – today
3. coming soon Gen 1 networked AI
4. power on Gen 2 in April
5. design best possible Gen 3 low cost AI – next…
— Jim Keller (@jimkxa) March 4, 2024