x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

엔비디아가 AI 에이전트 및 AI 데이터센터용으로 개발한 CPU 엔비디아 베라 CPU(NVIDIA Vera CPU) 상세 설계를 공개했다. 베라는 엔비디아가 자체 설계한 데이터센터용 CPU 코어인 올림푸스(Olympus)를 88기 탑재해 176스레드를 처리할 수 있다. 베라는 이미 양산 단계에 돌입했으며 올 가을부터 시스템 제조사 및 클라우드 사업자를 통해 제공될 예정으로 딥인프라와 코어위브(CoreWeave) 실기 벤치마크 결과도 공개됐다.

AI 에이전트에서는 GPU가 AI 모델의 연산을 담당하는 한편 외부 도구 호출이나 처리 순서 관리, 데이터 이동 같은 작업은 주로 CPU가 담당한다. CPU 측 처리에 시간이 걸리면 고가 GPU가 다음 데이터를 기다리는 시간도 길어진다. 엔비디아 AI 인프라 부문은 AI 에이전트 속도는 CPU 속도에 좌우되기 때문에 CPU를 새로 설계했다고 설명했다.

엔비디아는 데이터센터용 CPU로 이미 엔비디아 그레이스 CPU(NVIDIA Grace CPU)를 전개하고 있다. 그레이스가 Arm 네오버스 V2(Neoverse V2) 코어를 채용한 데 반해 베라에서는 엔비디아가 자체 설계한 올림푸스 코어를 채용했다. 베라라는 제품명이나 88코어 등 기본 사양은 이전부터 발표되어 있었으며 7월 21일 발표에서는 올림푸스 내부 구조와 메모리 구성, 실기 성능이 상세히 공개된 형태다.

AI 에이전트 제어 처리에서는 검색 결과에 따라 다음에 호출할 도구를 바꾸거나 코드 실행 결과를 기다려 다음 절차로 진행하는 작업이 이뤄진다. 동일한 연산을 대량으로 나열하는 처리와는 달리 조건 분기나 전후 관계가 있는 처리가 많기 때문에 코어 수뿐만 아니라 1스레드당 처리 속도가 중요해진다.

올림푸스는 1클록당 최대 10개 명령어를 디코딩하는 기구와 처리의 분기 방향을 예측하는 뉴럴 분기 예측 기구를 탑재했으며 앞선 명령어 완료를 기다리지 않고 실행 가능한 명령어를 먼저 진행하는 아웃 오브 오더 실행에도 대응한다. 그래프 형태 데이터 구조를 선행 읽기하는 전용 기구도 갖추고 있어 데이터베이스나 검색 인덱스 등을 탐색할 때의 대기 시간을 줄이는 게 목적이다.

AI 에이전트를 대량 구동하는 서버에서는 에이전트 본체 처리와 동시에 통신, 로그 기록, 메모리 관리 등도 실행해야 한다. 베라는 올림푸스 코어 1기에서 2스레드를 구동하는 엔비디아 스페이셜 멀티스레딩(NVIDIA Spatial Multithreading)을 채용하여 88코어로 176스레드에 대응했다.

일반적인 동시 멀티스레딩에서는 스레드 2개가 코어 내부 동일 자원을 놓고 경합해 한쪽 처리가 느려지는 경우가 있다. 스페이셜 멀티스레딩은 코어 내부 자원을 분할해 각 스레드에 할당해 부하가 높아진 경우에도 처리 시간이 불안정해지는 문제를 억제한다고 한다.

고속 CPU 코어를 탑재하더라도 메모리에서 데이터가 도착하지 않으면 처리는 멈추게 된다. 베라는 코어 88기와 캐시, 메모리 컨트롤러를 연결하는 엔비디아 스케일러블 코히런시 패브릭(NVIDIA Scalable Coherency Fabric)을 탑재해 다이 위에서 최대 3.4TB/s 데이터 전송 대역을 확보하고 있다. 전체 코어가 공유하는 L3 캐시는 164MB다.

메인 메모리에는 교체 가능한 SOCAMM2 형태 LPDDR5X를 채용해 최대 1.5TB 용량과 1.2TB/s 대역폭에 대응한다. 저전력의 LPDDR5X를 사용하면서도 고장 시나 용량 변경 시 메모리 모듈을 교체할 수 있는 구성. 그레이스 CPU 1기와 비교해 최대 메모리 용량은 3배, 대역폭은 2.4배 증가했다.

베라는 CPU 단독 서버에도 탑재할 수 있지만 루빈(Rubin) GPU와 조합한 AI 데이터센터용 시스템 호스트 CPU로도 사용된다. 2세대 엔비디아 NVLink-C2C(NVIDIA NVLink-C2C)는 CPU와 GPU를 최대 1.8TB/s로 연결해 CPU와 GPU 사이에서 데이터를 반복 복사하는 부담을 경감한다. 랙형 시스템인 엔비디아 베라 루빈 NVL72(NVIDIA Vera Rubin NVL72)에는 베라 CPU 36기와 루빈 GPU 72기가 수납된다.

실제 성능을 확인하기 위해 AI 클라우드를 운영하는 딥인프라는 베라와 AMD 젠 5(Zen 5) 기반의 튜린(Turin), 인텔 그래나이트 래피즈(Intel Granite Rapids), 인텔 사파이어 래피즈를 비교했다.

딥인프라는 실제 서비스에서 기록한 AI 에이전트 처리를 재생해 분기가 많은 제어 처리나 코드 실행 환경 기동, 메모리 대역을 사용하는 데이터 처리를 측정했다. 측정 중에는 대규모 언어 모델에 의한 새로운 토큰 생성을 수행하지 않아 모델 출력 편차가 결과에 영향을 미치지 않도록 했다고 한다.

비교 대상은 물리 20코어, 1코어 1스레드로 통일됐다. 베어메탈에 가까운 환경에서 AI 에이전트 제어 처리에 소요된 시간은 베라가 29밀리초, AMD 젠 5가 35밀리초, 그래나이트 래피즈가 51밀리초, 사파이어 래피즈가 64밀리초였다. 베라는 사파이어 래피즈 2.2배, 비교 대상 x86 CPU 중 최고속이었던 AMD 젠 5 1.2배 성능을 기록한 셈이다.

 

동일한 응답 품질을 유지하면서 동시에 구동할 수 있는 AI 에이전트 수를 조사한 테스트에서는 베라가 256개 에이전트를 처리한 반면 비교 대상은 160개 에이전트였으며 그래나이트 래피즈만 최상의 측정에서 192개 에이전트에 도달했다. 베라 1소켓 전체에서는 574개 이상 에이전트를 구동해도 설정된 응답 시간을 초과하지 않았으며 스페이셜 멀티스레딩을 활성화하면 고부하 시 처리량이 20.5% 증가했다고 한다.

코어위브는 베라 CPU 단독이 아닌 베라 루빈 NVL72 랙 전체 실측 결과를 공개했다. 추론 모델 딥시크-R1(DeepSeek-R1)을 사용해 이용자가 체감하는 응답 속도를 동일한 수준으로 맞춰 비교한 결과 베라 루빈 NVL72는 기존의 엔비디아 GB200 NVL72와 비교해 1메가와트당 토큰 생성 속도가 최대 10배가 됐다. 전력 공급량을 늘리지 않고도 더 많은 AI 처리를 실행할 수 있음을 나타내는 수치다.

엔비디아는 베라 루빈 NVL72 생산을 확대하고 있으며 코어위브, 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처에서는 이미 랙 검증 및 도입 준비가 진행되고 있다. 베라 탑재 시스템은 2026년 가을부터 시스템 제조사 및 클라우드 사업자를 통해 제공될 예정이다. 코어위브는 이번 측정치를 출발점으로 최적화를 계속하며 새로운 결과도 공개해 나가겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

Next Post