애플, 이미지 1장으로 조명 효과 갖춘 3D 오브젝트 재현

애플 연구팀이 반사, 하이라이트 등 다양한 효과를 여러 시점에서도 일관되게 유지하면서 이미지 단 1장으로 3D 오브젝트를 재구성할 수 있는 AI 모델 리토(LiTo)를 개발했다.

머신러닝(Machine Learning)에서 잠재 공간(Latent Space) 개념은 전혀 새로운 게 아니다. 하지만 트랜스포머(Transformer) 모델 기반 AI 모델과 월드 모델(World Model) 등장으로 잠재 공간은 그 어느 때보다 주목받고 있다.

잠재 공간이란 정보를 요약해 개념을 수치로 표현하고 이 수치를 다차원 공간에 배치해 각 차원에서의 수치 간 거리를 계산할 수 있도록 하는 것. 고전적인 예시로는 왕(King)이라는 토큰에서 남자(Man) 토큰을 빼고 여자(Woman) 토큰을 더하면 여왕(Queen) 토큰에 대한 일반적인 다차원 영역에 도달한다는 걸 들 수 있다.

정보를 잠재 공간에 수학적 표현으로 저장해 이들 간의 거리를 측정하거나 생성되어야 할 대상 확률을 추정하는 처리가 더 빠르고 낮은 연산 비용으로 수행 가능해진다.

애플이 진행한 새로운 연구에서는 오브젝트 형상과 시점에 따라 달라지는 외관을 동시에 모델링하는 3D 잠재 표현으로 리토를 제안한다. 이는 잠재 공간에서 3차원 오브젝트를 어떻게 재구성하는가뿐 아니라 오브젝트와 상호작용하는 빛이 다양한 각도에서 어떻게 보여야 하는지를 표현하는 방법을 개발했다고도 볼 수 있다.

연구팀에 따르면 기존 유사 연구 대부분은 3D 형상 재구성 또는 시점에 무관한 확산 반사(Diffuse Reflection) 예측 중 하나에 초점을 맞춰왔으며 현실적인 시점 의존 효과를 포착하는 데 어려움을 겪어왔다.

이에 반해 애플이 발표한 리토는 RGB 깊이 이미지가 표면 광장(Surface Light Field) 샘플을 제공한다는 점을 활용한다. 리토는 표면 광장 무작위 서브샘플을 압축된 잠재 벡터 세트로 인코딩해 통합된 3D 잠재 공간 내에서 형상과 외관 모두를 표현하는 방법을 학습한다. 이를 통해 복잡한 조명 환경에서의 경면 반사(Specular Reflection)나 프레넬 반사(Fresnel Reflection) 등 시점 의존 효과를 재현하는 게 가능해진다.

또 연구팀은 기존처럼 여러 각도에서 촬영한 이미지를 사용해 3D 재구성을 수행하는 게 아니라 이미지 단 1장만으로 이 모든 처리를 실행할 수 있도록 AI 모델을 학습시키는 데도 성공했다.

보도에선 리토가 지닌 혁신적인 점으로 2가지를 꼽는다. 첫째 인코더(Encoder)는 오브젝트에 관한 정보를 잠재 공간 내의 압축된 표현으로 축약한다. 다시 말해 눈에 보이는 모든 세부 정보를 저장하는 대신 오브젝트 형상과 빛이 그 표면과 어떻게 상호작용하는지에 대한 압축된 수학적 기술을 학습한다.

둘째 디코더(Decoder)는 그 역처리를 수행한다. 다시 말해 압축된 표현에서 완전한 3D 오브젝트를 재구성하며 형상과 반사·하이라이트 등 조명 효과가 다양한 시점에서 어떻게 보이는지를 함께 생성한다.

연구팀은 리토 학습에 150가지 서로 다른 시점과 3가지 조명 조건으로 렌더링된 수천 개에 이르는 오브젝트를 활용했다. 이들 정보를 모두 AI 모델에 직접 입력하는 대신 샘플에서 무작위로 작은 서브셋을 선택해 이를 잠재 표현으로 압축했다. 이후 디코더는 데이터 일부로부터 오브젝트 전체와 다양한 각도 및 조명 조건 하에서의 외관을 재구성하도록 학습된다.

학습 과정에서 시스템은 오브젝트 형상과 시점 방향에 따라 외관이 어떻게 변화하는지를 모두 포착하는 잠재 표현을 학습한다. 이 과정이 완료된 후에는 별도 AI 모델을 추가로 학습시켰다. 이 AI 모델은 오브젝트 단일 이미지를 입력으로 받아 그에 대응하는 잠재 표현을 예측한다. 이어 디코더는 시점 각도 변화에 따른 외관 변화를 포함한 완전한 3D 오브젝트를 재구성한다. 관련 내용은 이곳에서 확인할 수 있다.