텍스트·이미지·영상 이용해 3D 월드 생성해주는 모델 공개

11월 12일 스탠퍼드 인공지능연구소에서 소장을 역임한 컴퓨터 사이언스 권위자인 페이페이 리(Fei-Fei Li) 등이 설립한 AI 기업 월드랩스(World Labs)가 독자적인 멀티모달 월드 모델인 마블(Marble)을 발표했다.

공간 지능은 AI의 새로운 프론티어이며 이런 잠재 능력을 최대한 발휘하려면 강력한 월드 모델이 필수적이다. 월드 모델에서는 3D 월드를 재구축·생성·시뮬레이션하고 인간과 에이전트 모두가 이들과 상호작용할 수 있도록 해야 한다. 월드랩스 측은 공간 지능을 갖춘 월드 모델은 향후 몇 년간 광범위한 산업에 변혁을 가져올 것이라고 밝히고 있다.

월드랩스는 지난 9월 이미지나 텍스트에서 3D 월드를 생성할 수 있는 월드 모델인 마블 프리뷰를 공개했다. 이후 마블은 베타버전 초기 사용자에게 제공됐으며 사용자는 독자적인 3D 월드를 생성하고 있다. 월드랩스 측은 11월 12일 이런 마블을 누구나 이용할 수 있도록 일반 공개한다고 발표했다.

일반 공개에 맞춰 마블은 대규모 멀티모달화를 실현했으며 텍스트·이미지·동영상·3D 레이아웃에서 3D 월드를 생성할 수 있게 됐다. 마블에서는 인터랙티브하게 3D 월드를 편집·확장·결합하는 게 가능하며 생성한 3D 월드는 가우시안 스플랫·메시·동영상으로 내보낼 수 있다. 이를 통해 사용자는 세밀한 제어로 3D 월드를 생성·편집할 수 있게 된다.

월드랩스는 월드 모델에 대해 인간은 본질적으로 멀티모달이며 시각·청각·촉각·언어 등을 통합해 세계에 대한 멘탈 모델을 구축한다면서 이런 서로 다른 표현은 상호 작용하고 풍부해지며 강화하면서 인간이 세계를 이해하고 그 안에서 행동할 수 있게 한다고 밝혔다. 이어 월드 모델도 마찬가지로 작동해야 하며 대규모 멀티모달로 이용 가능한 모든 입력 신호를 완전한 3D 월드로 수용할 수 있어야 하고 새로운 정보가 이용 가능해짐에 따라 세계에 대한 이해를 반복적으로 업데이트할 수 있어야 한다고 덧붙였다. 마블은 이 비전 실현을 향해 크게 전진한 차세대 월드 모델로서 유례없는 존재라면서 다양한 입력 타입에서 3D 월드를 구축할 수 있게 됐으며 사용자는 3D 월드를 반복 편집하거나 확장할 수 있게 됐다고 설명했다. 마블이 갖춘 새로운 기능으로 생성한 월드를 마음대로 컨트롤할 수 있게 되어 간단한 이미지나 텍스트 프롬프트에서 완전한 3D 월드를 빠르게 생성하거나 2D와 3D 모두에서 인터랙티브하게 편집하는 등 머릿속에 있는 이미지를 현실로 만들 수 있다고 덧붙였다.

월드랩스는 또 크리에이티브 허브인 마블랩스(Marble Labs)를 개설했다. 아티스트, 엔지니어, 디자이너가 월드 모델 한계에 도전하고 대담한 아이디어, 실제 워크플로, 게임, VFX, 디자인, 로보틱스 등 다양한 분야에서의 새로운 가능성을 선보일 수 있는 플랫폼이다. 마블랩스에는 상세한 케이스 스터디, 튜토리얼, 문서도 게재되어 있어 누구나 독자적인 3D 월드를 학습·구축·공유할 수 있다.

이에 더해 월드랩스는 마블에 3D 월드를 직접 편집하는 AI 네이티브 툴인 Chisel도 발표했다. Chisel은 고급 사용자가 3D 월드를 생성하기 위한 새로운 실험적 편집 모드로 박스나 평면 등 거친 3D 형태를 사용하거나 기존 3D 에셋을 씬에 임포트해 3D 월드에 대한 대략적인 구조를 3D로 레이아웃할 수 있게 된다.

Chisel에서는 대략적인 3D 씬을 레이아웃한 뒤 씬의 비주얼 스타일을 설명하는 텍스트 프롬프트나 대략적인 레이아웃에는 존재하지 않는 추가 요소를 더할 수 있다. 마블은 이런 입력을 결합해 완전히 상세한 3D 월드를 생성할 수 있다.

더구나 마블에서 생성할 수 있는 3D 월드가 확장되어 지금까지보다 넓은 3D 월드를 생성할 수 있게 됐다. 또 3D 월드끼리 합성하는 컴포저 모드도 등장했으며 지금까지보다 광대한 3D 월드를 자유롭게 구축할 수 있게 됐다.

마블이 지원하는 내보내기 형식 중 하나인 가우시안 스플랫은 3D 씬을 반투명 파티클의 거대한 집합으로 표현하는 것으로 THREE.js에 통합된 오픈소스 크로스플랫폼 렌더러인 Spark를 사용해 브라우저상에서 렌더링하는 것도 가능하다. 관련 내용은 이곳에서 확인할 수 있다.