“AI 30배 빠르게 구동” 랙 스케일 솔루션 발표한 세레브라스

AI 추론을 고속화하는 시스템을 개발하고 있는 세레브라스(Cerebras)가 랙 스케일 솔루션인 CS-4를 공개했다. 단순한 GPU 시스템과 비교해 최대 30배 빠른 추론 처리가 가능하다고 표방하고 있다.

CS-4는 1시스템당 웨이퍼 스케일 엔진 3 터보(Wafer Scale Engine 3 Turbo, WSE-Turbo) 프로세서 3기를 탑재한다. 각 웨이퍼는 이전 세대보다 최대 2배 속도를 실현한다. 여기에 완전히 새로운 전원, 냉각, I/O 시스템이 더해짐으로써 웨이퍼당 성능을 한층 더 끌어내는 데 성공했다고 한다.

WSE-Turbo를 탑재한 CS-4는 단순한 GPU 시스템과 비교해 최대 30배 빠른 추론을 실현한다. 저지연 통신을 실현해 CS-4는 10조 개를 넘는 파라미터를 가진 모델에서 초당 1,000개 이상 토큰을 처리할 수 있다고 한다. 세레브라스는 GPU 시스템으로는 도저히 미치지 못하는 속도로 토큰을 생성한다고 홍보했다.

세레브라스는 AI 인프라스트럭처는 지금까지 높은 양방향성과 높은 총 스루풋 중 어느 하나를 선택하도록 강요해 왔다며 CS-4는 이 상황을 완전히 바꾼다고 밝혔다. 이어 CS-4는 기존 GPU 시스템보다 최대 30배 빠르게 토큰을 생성하는 동시에 CS-3와 비교해 와트당 스루풋을 최대 10배 향상시킨다면서 고속 토큰은 저속 토큰보다 가치가 높기 때문에 CS-4는 제한된 전력 예산 내에서 더 가치 높은 토큰과 더 많은 토큰을 공급하여 데이터센터 수익성을 대폭 향상시킨다고 밝혔다. 이어 사용자는 더 높은 응답성의 경험을 누릴 수 있고, 운영자는 더 많은 워크로드에 대응할 수 있는 능력을 획득할 수 있다고 말했다.

또 CS-4는 컴포넌트 수를 50% 삭감하고, 웨이퍼, 전력 변환, 액랭, 고속 I/O, 제어 전자기기를 콤팩트한 3D 패키지로 만들어 제조와 도입에 걸리는 기간을 단축하고 있다고 한다. 그 중에서도 연산 처리와 전원을 분리해 제조 공정을 간소화하고 도입 시간을 며칠에서 몇 시간으로 단축했다고 한다.

전력 효율 측면에서는 프로세서로부터 불과 0.5mm 위치에 전원을 배치해 개선을 도모하고 있다고 한다. 이는 기존 GPU 보드에서의 50mm와 비교하면 대략 100배 가까운 거리로 이를 통해 전력 손실을 거의 0으로 만들어 공급할 수 있는 전력을 2배로 하고 있다.

세레브라스는 CS-4는 도입 기간을 며칠에서 몇 시간으로 단축하고 하이퍼스케일 환경에서의 유지보수나 향후 업그레이드도 간소화한다. CS-4 첫 출하는 9월 말 시작된다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.