탈라스 인수한 AMD, AI 추론 고속화 노린다

AMD가 8월 6일 AI 추론 처리에 특화된 반도체를 개발하는 캐나다 스타트업 탈라스(Taalas)를 인수하는 최종 계약을 체결했다고 발표했다. 탈라스는 AI 모델 구조나 가중치라고 불리는 파라미터를 반도체에 직접 통합하는 기술을 개발하고 있으며 AMD는 탈라스의 기술을 AI 액셀러레이터 개발에 도입할 계획이다.

생성 AI에서는 모델을 만드는 학습뿐만 아니라 완성된 모델에서 답변을 생성하는 추론에도 대량 계산 자원이 필요하다. 그 중에서도 대규모 AI 모델에서는 가중치를 메모리에서 연산 장치로 반복해서 전송해야 하며 이는 처리 속도나 소비 전력을 좌우하는 요인이 되고 있다.

탈라스는 AI 모델을 전용 반도체로 변환하는 기술을 개발하고 있으며 완성된 반도체를 하드코어 모델(Hardcore Models)이라고 부른다. 메모리에서 가중치를 대량으로 읽어내는 처리를 줄여 AI 추론을 고속화하면서 소비 전력이나 하드웨어 비용을 억제하는 게 가능하다. 탈라스에 따르면 AI 모델을 받은 뒤 2개월 만에 전용 실리콘으로 변환할 수 있다고 한다.

지난 2월 공개된 1세대 HC1 테크놀로지 데모스트레이터(HC1 Technology Demonstrator)에는 메타 AI 모델인 라마 3.1 8B(Llama 3.1 8B)가 통합되어 있다. 탈라스에 따르면 HC1은 사용자 1인당 매초 1만 7,000토큰을 생성할 수 있으며 하드웨어 구축 비용은 기존 방식보다 20분의 1, 소비 전력은 10분의 1이 된다고 한다.

모델을 반도체에 통합하는 방식에서는 다른 모델로 간단히 전환하기 어렵다는 제약이 있지만 탈라스는 추가 파라미터를 사용해 모델을 조정하는 로라(LoRA)에 대응하고 있다. 1세대에서는 3비트와 6비트의 파라미터를 조합한 양자화로 인해 GPU에서 실행한 경우와 비교해 품질이 저하되는 경우가 있지만 2세대에서는 표준적인 4비트 부동소수점 형식을 채용해 문제에 대처한다고 한다.

AMD는 탈라스 기술이 AMD 인스팅트 GPU(AMD Instinct GPU)나 AMD 에픽 CPU, AI용 소프트웨어인 AMD 록엠(AMD ROCm) 등으로 구성되는 AMD AI 플랫폼을 보완한다고 밝혔다. AMD는 탈라스 기술을 액셀러레이터 개발 로드맵에 도입해 AMD 인스팅트 GPU와 조합한 시스템 레벨 솔루션을 개발할 계획이다.

밤시 보파나(Vamsi Boppana) AMD 부사장은 다양한 AI 워크로드에 적합한 계산 수단을 선택할 수 있는 풀 스택 AI 플랫폼을 구축하고 있다고 설명했다. 앞으로 인수를 완료하려면 통상적인 인수 완료 조건을 충족한 다음 규제 당국 승인을 받아야 한다. 관련 내용은 이곳에서 확인할 수 있다.