AI로 안경 없이 3D 체험 가능한 디스플레이 시스템

지금까지 3D 영화나 TV 프로그램을 즐기려면 전용 안경이나 디스플레이를 준비해야 했다. 상하이인공지능연구소와 푸단대학교 연구팀이 AI를 활용해 특수 안경 없이도 전례 없이 넓은 시야각을 가진 3D 영상 체험을 실현하는 시스템 아이리얼(EyeReal)을 발표했다.

기존 나안 3D 디스플레이 개발에서 가장 큰 장벽은 광학 시스템의 공간 대역폭 곱(SBP)이다. 지금까지의 연구에서 화면 크기라는 공간적 넓이와 영상이 보이는 각도를 나타내는 대역폭 사이에 트레이드오프 관계가 있음이 밝혀졌다. 다시 말해 화면을 크게 하려고 하면 시야각이 좁아지고 반대로 넓은 범위에서 볼 수 있게 하면 화면 크기를 작게 할 수밖에 없다는 것이다.

예를 들어 나안 3D를 실현하는 홀로그래픽 디스플레이는 넓은 시야각을 갖지만 수 센티미터 정도 크기에 한정된다. 한편 진동이나 구조물로 빛을 확산시켜 복수 시선을 나타내는 타입 디스플레이는 화면을 크게 할 수 있지만 3D 영상을 볼 수 있는 각도가 상당히 제한된다는 문제가 있다.

이번에 개발된 아이리얼은 물리적 한계를 돌파하려 하는 게 아니라 제한된 광학 정보를 인간 눈이 있는 위치에 집중시켜 이 문제를 해결한다는 접근법에 기반하고 있다. 연구팀은 시판되는 LCD를 여러 장 겹치고 백라이트와 편광판을 조합한 비교적 저렴한 하드웨어 구성을 채택했다. 특수한 렌즈 어레이나 고가의 광학 소자를 필요로 하지 않으며 일반적인 소비자용 부재로 구성되어 있다는 점이 특징이다.

시스템 핵심은 물리적으로 정확한 양안시 모델과 딥러닝을 결합한 알고리즘이다. 아이리얼은 깊이 센서가 달린 카메라(RGB-D)를 사용해 관찰자 동공 위치를 실시간으로 추적하고 그 순간의 눈 위치와 그 주변 영역에 대해서만 최적의 광장을 생성한다.

구체적으로는 신경망이 망막 위 이미지를 분석하고 다층 액정 패널이 어떻게 빛의 위상을 변조해야 하는지를 물리 법칙에 기반해 계산한다. 이 처리는 50Hz 이상 주사율로 실행되기 때문에 관찰자가 머리를 움직여도 지연 없이 추종하며 항상 올바른 3D 영상을 전달할 수 있다.

이 기술로 아이리얼은 100도를 넘는 초광각 시야와 해상도 1920×1080 픽셀 양립에 성공했다고 한다. 실험에서는 복잡한 도시 경관이나 일상적인 물체 등의 3D 콘텐츠를 사용해 검증이 이뤄졌으며 관찰자는 수평·수직·전후 어느 방향으로 움직여도 끊김 없는 부드러운 운동 시차를 체험할 수 있었다고 한다. 더구나 초점 거리에 따른 흐림을 재현하는 초점 조절에도 대응하고 있어 기존 VR/AR 기기에서 문제가 됐던 눈의 초점 조절이나 방향의 불일치로 인한 불쾌감을 경감하는 효과도 나타났다.

상하이인공지능연구소는 이 기술이 AI for Science 맥락에서도 중요한 의미를 갖는다고 밝혔다. 또 아이리얼이 천체물리학에서 은하 입체 구조 가시화나 생물의학 분야에서 세포의 동적 변화 관찰 등 연구자가 직관적이고 몰입적으로 데이터를 다루기 위한 새로운 도구가 될 것으로 기대하고 있다. 나아가 광장 정보 이용 효율을 높이는 이 접근법은 AI 모델이 현실 세계의 복잡한 물리 현상을 더 정확하게 이해하고 시뮬레이션하기 위한 데이터 기반이 될 수 있다고 논했다.

또 연구팀은 향후 전망으로 AI 시스템 추가 개선과 복수 사람이 동시에 시청할 수 있는 멀티 유저 대응으로의 업그레이드를 목표로 하고 있다. 아이리얼은 현재 단일 관찰자에 최적화되어 있지만 동시 분할 표시나 지향성 백라이트 기술 등을 통합해 미래에는 복수 사용자가 동시에 각자의 위치에서 자연스러운 3D 영상을 즐길 수 있게 될 것으로 기대된다. 관련 내용은 이곳에서 확인할 수 있다.