엔비디아, 게임‧로봇 동작 35만 종 실시간 생성 프레임워크 발표

엔비디아 연구팀이 게임 애니메이션 및 로봇 제어를 위한 동작 생성 프레임워크인 모션브릭스(MotionBricks)를 발표했다. 모션브릭스는 35만 건이 넘는 동작 스킬을 단일 신경망 백본으로 처리하며 1만 5,000FPS 처리량과 2밀리초 지연시간을 달성했다고 한다.

모션브릭스는 SIGGRAPH 2026 논문으로 제시된 기술. 연구팀에는 엔비디아 연구진 외에 스위스연방공과대학교 취리히(ETH Zurich), 사이먼프레이저대학(Simon Fraser University), 텍사스대학 오스틴(University of Texas at Austin) 연구자가 참여했다.

게임이나 로봇 동작 제어에서는 걷기, 뛰기, 앉기, 물건 줍기 같은 동작을 상태로 관리하고 입력이나 이벤트에 따라 전환하는 애니메이션 그래프가 널리 사용된다. 하지만 대규모 게임에서는 상태와 전환이 복잡해져 어쌔신 크리드 같은 AAA급 타이틀에서는 1만 5,000건이 넘는 애니메이션, 5,000개에 이르는 상태, 최대 12단계 중첩된 그래프를 다뤄야 할 수도 있다고 한다.

모션브릭스는 이런 복잡성을 스마트 프리미티브(smart primitives)라고 불리는 조작 단위로 흡수한다. 사용자 속도, 방향, 스타일 지정, 게임 내 이벤트 등을 키프레임으로 변환하고 신경망 백본이 타이밍, 루트 궤적, 자세 토큰, 최종적인 연속 동작을 단계적으로 생성한다.

연구팀은 자체 구축한 대규모 모션 캡처 데이터셋과 함께 HumanML3D 및 유니트리 G1(Unitree G1)용으로 리타깃팅한 LaFAN1-G1, 자체 데이터 140시간 분량 서브셋을 사용해 평가를 진행했다. 주요 데이터셋은 700시간 분량 고품질 모션 캡처 데이터로 모션 클립 35만 건, 스킬 9,300종, 36개 카테고리, 163명 이상 출연자로 구성된다.

모션브릭스의 특징은 하위 작업별 재학습이나 별도 태깅을 전제로 하지 않는다는 점이다. 걷기, 앉기, 달리기, 기어가는 동작, 검을 줍는 동작, 벤치를 넘어가는 동작, 문을 여는 동작 같은 작업을 동일한 신경망 백본에 키프레임 제약 형태로 전달해 처리할 수 있도록 설계됐다.

모션브릭스의 저수준 부분은 동작 시작점과 목표점 사이를 채우는 인비트위닝(in-betweening)을 기반으로 한다. 먼저 루트 모듈(root module)이 동작에 필요한 프레임 수와 신체 중심 궤적을 예측하고 다음으로 포즈 모듈(pose module)이 자세 토큰 분포를 예측하며 마지막으로 디코더가 키프레임과 궤적을 조건으로 삼아 연속적인 동작을 출력한다.

고수준 부분에서는 주로 이동을 담당하는 스마트 로코모션(smart locomotion)과 물체 및 장면과의 상호작용을 다루는 스마트 오브젝트(smart object)가 사용된다. 스마트 로코모션은 임의 속도, 방향, 스타일 지정으로부터 자연스러운 이동 동작을 만들어내는 구조로 부상당한 듯한 걸음걸이, 좀비 같은 움직임, 스킵, 대각선 이동 같은 스타일을 단일 프롬프트로부터 제로샷으로 생성할 수 있다고 한다.

스마트 오브젝트는 장면이나 물체와의 상호작용을 유연한 프록시 키프레임 형태로 지정하고 접근, 접촉, 그 이후의 동작까지를 신경망 백본이 채워주는 구조다. 연구팀은 모션브릭스가 각 데이터셋에서 FID, MMD, 지터, 키프레임 정확도, 도달 성공률, 그리고 사람에 의한 평가에서 일관되게 뛰어난 결과를 보였으며 2밀리초 지연시간으로 키프레임 사이 동작을 생성해 1만5,000FPS 처리량을 달성했다고 밝혔다.

모션브릭스는 애니메이션 뿐 아니라 유니트리 G1 휴머노이드 로봇에서도 실제 환경 전신 제어에 사용되고 있다. 연구팀은 가상 캐릭터 애니메이션과 물리적 로봇 제어 사이를 연결해 두 영역에서 통일된 동작 합성을 실현한 게 이번 연구 기여 중 하나라고 설명했다.

코드와 데이터 공개에 관해서는 현재 깃허브에 초기 프리뷰 버전 코드가 공개되어 있다. 이 초기 프리뷰 버전에는 경량화된 모션브릭스 제어 기반 유니트리 G1 데모와 BONES-SEED 데이터셋을 통합하는 절차를 포함한 자체 완결형 합성 트레이닝 파이프라인이 포함되어 있다.

다만 모션브릭스 전체가 완전한 형태로 공개된 건 아니다. 연구팀은 GR00T Whole-Body Control 로봇 제어 프레임워크에 완전히 통합된 모델과 전체 트레이닝 파이프라인을 포함한 정식 릴리스를 7월경까지 목표로 하고 있으며 재현성 확인을 위한 실험도 진행 중이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.