메타, 100만 GPU 규모 가정한 新통신 프로토콜 발표했다

메타(Meta)가 8월 24일 100만 GPU 규모 AI 인프라를 이더넷(Ethernet)으로 접속하는 걸 상정한 새로운 프로토콜인 MetaRoCE를 발표했다. 기존 RoCEv2가 전제로 하고 있던 패킷을 순서대로 전달하고 가능한 한 패킷을 잃지 않게 한다는 사고방식을 재검토해 패킷 도착 순서가 뒤바뀌거나 일부가 손실되거나 하는 대규모 네트워크에서도 높은 통신 성능을 유지할 수 있도록 설계되어 있다.

대규모 AI 모델을 여러 GPU로 학습시킬 경우 GPU끼리는 계산 결과를 빈번하게 교환할 필요가 있다. 예를 들어 All-Reduce나 All-to-All이라고 불리는 처리에서는 다수 GPU가 데이터를 주고받기 때문에 통신이 느린 GPU가 1대 있는 것만으로도 처리 전체가 늦어지고 만다. AI 추론에서도 모델을 여러 머신으로 분할해 동작시킬 경우는 통신 지연이 응답 시간에 영향을 주기 때문에 GPU 대수가 늘어날수록 네트워크 성능이 중요해진다.

GPU 간 통신에서 사용되고 있는 기술 중 하나가 RDMA(Remote Direct Memory Access)다. RDMA는 CPU에 의한 데이터 복사 등을 가능한 한 거치지 않고 네트워크 경유로 다른 머신 메모리와 직접 데이터를 주고받는 구조. 이더넷상에서 RDMA를 이용하는 구조는 RoCE(RDMA over Converged Ethernet)라고 불리며 메타도 대규모 분산 AI 학습에 RoCE를 이용해 왔다.

기존 RoCEv2는 기본적으로 패킷이 순서대로 도착하는 걸 상정하고 있어 PFC(Priority Flow Control)라고 불리는 흐름 제어를 이용해 패킷 손실을 방지하는 구성이 일반적이지만 네트워크가 거대화되어 통신 경로가 늘어나면 여러 경로로 패킷을 분산시키는 편이 대역을 유효하게 활용할 수 있다.

MetaRoCE에서는 거대한 네트워크를 큰 통신 경로 1개로 취급하는 게 아니라 세밀한 다수 논리 경로로 나눠 통신을 담당하는 NIC가 개별적으로 상태를 파악한다. 경로별 상태를 NIC 측에 전달해 NIC가 혼잡한 경로만 통신량을 줄이거나 문제가 발생한 경로를 피하거나 할 수 있는 등 장점이 있다.

여러 경로로 적극적으로 패킷을 나눠 보낼 경우 패킷 도착 순서는 송신 순서대로가 아니다. MetaRoCE에는 네이티브 비순차 전달(Native Out-of-Order Delivery)이 도입되어 순서에 상관없는 패킷 도착을 이상이 아닌 통상 동작으로 취급한다. 각 패킷에 메모리 어느 위치에 기록하면 되는지 기록 대상 정보를 갖게 해 먼저 도착한 패킷부터 최종적인 메모리 위치로 직접 기록할 수 있게 됐다고 한다.

MetaRoCE의 네이티브 멀티패싱(Native Multipathing)에서는 하나의 접속으로 여러 경로를 사용해 패킷 단위로 통신을 나눠 보낸다. 각각의 경로에 대해 통신량이나 왕복 시간을 개별적으로 관리하기 때문에 경로 1개가 혼잡하거나 고장 나거나 해도 접속 전체가 휘말리기 어렵게 되어 있다.

또 MetaRoCE는 이더넷상에서 패킷 손실이 발생하는 것도 전제로 하고 있다. 기존처럼 PFC를 사용해 패킷 손실 자체를 극력 발생시키지 않는 게 아니라 각 경로에서 패킷 번호를 관리해 손실된 패킷을 검출한다. 선택적 확인 응답(SACK) 비트 벡터 256비트를 사용해 누락된 패킷을 특정하고 손실된 패킷만을 재송신한다고 한다.

혼잡 제어에서는 송신 측이 ECN(Explicit Congestion Notification)라고 불리는 혼잡 통지를 참조할 뿐 아니라 수신 측에서 송신 측으로 통신 속도를 전달하는 구조가 있다. 다수 머신에서 1대로 통신이 집중하는 인캐스트가 일어난 경우라도 수신 측이 이용 가능한 대역을 알려 통신량을 재빠르게 조정할 수 있다고 메타는 설명하고 있다.

MetaRoCE가 네트워크 측에 요구하는 주요 기능은 혼잡을 통지하는 ECN과 여러 동등한 경로로 통신을 분산하는 ECMP(Equal-Cost Multi-Path)다. 패킷 일시 정지를 스위치에 요구하는 PFC나 특수한 네트워크 내 텔레메트리 등을 필수로 하지 않기 때문에 다양한 이더넷 구성에서 이용할 수 있다고 한다. 기존 RDMA Verbs API나 소프트웨어 스택도 기본적으로는 바꾸지 않고 이용할 수 있는 것 외에 독립된 여러 네트워크 면을 병렬로 사용하는 멀티플레인 등 기능을 확장 API에서 다룰 수 있다.

메타는 AMD와 협력해 펜산도(Pensando) 프로그래머블 NIC에 MetaRoCE를 구현하고 64노드 AMD GPU 클러스터에서 RoCEv2와의 비교를 실시했다. MetaRoCE를 사용하면 All-Reduce에서 폭넓은 데이터 크기로 처리 시간이 단축된다. 한편 All-to-All에서는 일부 데이터 크기에서 0%를 웃도는 값도 있어 데이터 크기에 따라 결과에 편차가 있다.

패킷 손실을 발생시킨 테스트에서는 MetaRoCE는 1%의 패킷 손실에서도 86% 스루풋을 유지하고 10%라는 큰 패킷 손실이 발생해도 통신을 계속할 수 있었다고 한다. 또 4면 및 8면 멀티플레인 네트워크에서 최대 4,000건 접속을 동시에 다룬 시험에서는 네트워크 면의 증가에 맞춰 스루풋이 늘어나고 경로를 의도적으로 고장 내도 애플리케이션이나 관리자 조작 없이 통신이 재분배됐다고 보고되고 있다.

메타는 MetaRoCE 사양을 OCP(Open Compute Project)를 통해 공개해 서로 다른 제조사가 호환성 있는 하드웨어를 개발할 수 있도록 하는 방침이다. AMD 펜산도 이외 NIC로의 구현도 진행되고 있다.

메타는 2026년 10월 2026 OCP 글로벌 서밋에서 MetaRoCE 사양, 고속 패킷 처리를 하기 위한 소프트웨어 기반 DPDK(Data Plane Development Kit)용으로 최적화한 참조 구현, 제품이 사양에 준거하고 있는지 확인하기 위한 테스트 환경을 공개할 예정이라고 한다. 앞으로는 데이터센터 내 대규모 통신뿐만 아니라 랙 내 단거리 통신이나 건물·지역을 넘나드는 장거리 통신, 분산 스토리지나 AI 추론에서 이용되는 KV 캐시 등으로의 응용도 진행하겠다고 말하고 있다. 관련 내용은 이곳에서 확인할 수 있다.