카메라 정밀 제어 가능…엔비디아, 1분 영상 생성 AI 발표했다

엔비디아 연구팀이 26억 파라미터 규모 오픈소스 월드 모델인 사나-WM(SANA-WM)을 발표했다. 사나-WM은 720p 해상도로 최대 1분 분량 동영상을 생성할 수 있는 모델로 카메라 움직임을 정밀하게 제어할 수 있다는 점이 특징이다. 월드 모델이란 현실 세계나 가상 공간 구조, 시점 이동, 물체 외형 변화 등을 AI 내부에서 예측해 영상으로 구현하는 모델을 뜻한다.

동영상 생성 AI 분야에서 수 초 분량 짧은 영상을 만드는 모델은 늘고 있지만 1분짜리 동영상을 파탄 없이 생성하려면 영상 전체 연속성을 유지하기 위한 막대한 연산 능력이 필요하다. 사나-WM은 처음부터 1분짜리 동영상 생성을 전제로 설계됐으며 연구팀은 대규모 상용 모델에 준하는 화질을 유지하면서 연산 효율을 높였다고 설명했다.

사나-WM은 단순히 긴 영상을 생성하는 데 그치지 않고 카메라 제어를 지원해 6자유도 카메라 궤도에 따라 영상을 생성할 수 있다. 6자유도란 전후·좌우·상하 이동에 더해 카메라 방향을 바꾸는 회전까지 포함한 자유로운 움직임을 의미한다. 게임이나 로봇용 시뮬레이션에서는 시점을 원하는 대로 제어하는 게 중요하기 때문에 카메라 제어는 월드 모델의 핵심 기능으로 꼽힌다.

긴 영상을 처리하기 위해 사나-WM에는 하이브리드 선형 어텐션 메커니즘이 적용됐다. 일반적인 동영상 생성 모델은 영상이 길어질수록 메모리 소비와 연산량이 급증하는 경향이 있다. 사나-WM은 긴 시간 흐름을 효율적으로 유지하는 방식과 필요한 장면에서 세밀한 정보를 참조하는 방식을 결합해 1분 분량 영상에서도 일관성을 유지하기 쉽도록 설계됐다.

또 사나-WM은 카메라 궤도 추종 정확도를 높이기 위해 대략적인 카메라 움직임뿐 아니라 프레임별 세밀한 시점 변화까지 처리하는 2계통 카메라 제어 방식을 채택했다. 연구팀은 동영상 생성 모델은 내부에서 영상을 압축해 처리하는 과정에서 세밀한 카메라 이동 정보가 소실되는 경우가 있는데 2계통 카메라 제어 덕분에 사나-WM에서는 긴 영상에서도 시점 움직임 어긋남이 줄어든다고 밝혔다.

아울러 사나-WM은 화질 향상을 위해 생성된 영상을 추가로 다듬는 보조 모델인 리파이너(refiner)를 활용한다. 먼저 사나-WM 본체가 장편 동영상을 생성하고 이후 장편 동영상 전용 리파이너가 품질과 일관성을 높이는 2단계 구성이다. 리파이너를 통해 영상의 세부 표현과 프레임 간 연결이 적절히 보정된다고 설명했다.

사나-WM은 공개 동영상 클립 21만 3,000개를 활용해 공개 영상에서 6자유도 카메라 자세를 추정하는 어노테이션 파이프라인으로 학습 데이터를 구축했다. 연구팀에 따르면 H100 GPU 64개를 사용해 15일 만에 학습을 완료했다. 생성 시에는 60초짜리 동영상을 단일 GPU로 제작할 수 있으며, 증류(distillation) 적용 모델의 경우 RTX 5090과 NVFP4 양자화를 활용하면 60초·720p 동영상의 노이즈 제거 공정을 34초 만에 처리할 수 있다고 밝혔다.

연구팀이 공개한 자료에 따르면 사나-WM의 60초 동영상 생성 처리 시간·레이턴시·GPU 메모리 사용량을 비교한 결과 H100 사용 시 일반 설정에서 21.8분이 걸리던 처리가 증류 모델에서는 48초로 단축되고 싱크(sink) 구성을 추가하면 34초까지 줄어드는 것으로 나타났다. RTX 5090에서는 싱크를 사용하지 않을 경우 GPU 메모리 부족(OOM)이 발생한 반면 싱크를 적용하면 48초, 여기에 NVFP4 양자화를 더하면 42초까지 단축됐다. 또 하이브리드 선형 어텐션 메커니즘(Hybrid GDN-Softmax)이 소프트맥스(Softmax)만 사용하는 구성보다 영상이 길어질수록 메모리 사용량을 효과적으로 억제할 수 있음도 확인됐다.

연구팀은 사나-WM이 기존 오픈소스 모델보다 카메라 궤도 등 제어 지시에 대한 추종 정확도가 뛰어나고 대규모 모델에 준하는 시각적 품질을 유지하면서 36배 처리량을 달성했다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.