휴머노이드 로봇이 VR 드라이브 체험을…

VR로 자동차를 운전할 때 커브나 가속에 맞춰 몸이 흔들리면 보다 실감 나는 드라이브 체험이 가능해진다. 광주과학기술원(GIST)과 콜로라도대학교 볼더캠퍼스(University of Colorado Boulder) 공동 연구팀은 휴머노이드 로봇이 사용자 의자를 잡고 물리적으로 흔드는 VR 드라이브용 햅틱 피드백 시스템 휴머노이드터크(HumanoidTurk)를 개발했다.

연구팀은 휴머노이드 로봇을 대화 상대나 작업 보조 로봇으로 활용하는 데 그치지 않고 VR 체험에 촉각을 부여하는 장치로 사용하는 방안을 구상했다. VR에서 전신에 동작을 전달하는 모션 플랫폼은 장치 규모가 커지기 쉽고 컨트롤러나 웨어러블 기기를 통한 진동은 손이나 신체 일부에만 자극이 국한된다. 이에 연구팀은 인간과 유사한 크기와 팔을 갖춘 휴머노이드 로봇이라면 대형 전용 장치 없이도 전신 피드백을 제공할 수 있다고 판단했다. 이렇게 탄생한 것이 바로 휴머노이드터크.

휴머노이드터크에서는 휴머노이드 로봇인 유니트리 G1(Unitree G1)이 VR 헤드셋을 착용한 사용자 등 뒤에 앉아 의자를 양손으로 잡는다. 연구에는 유니트리 G1에 인스파이어 로보틱스(Inspire Robots) RH56DFTP 핸드를 장착한 구성이 사용됐다. 게임 내 차량이 코너를 돌 때 발생하는 G포스 다시 말해 가속 및 커브에 따른 가속도 정보를 읽어 이를 로봇 팔 움직임으로 변환해 사용자 신체에 게임 속 움직임과 동기화된 피드백을 전달한다.

유니트리 G1이 의자 위치를 파악하는 데 활용하는 건 의자에 부착된 구형 마커다. 유니트리 G1에 탑재된 인텔 리얼센스 D435i(RealSense D435i) 깊이 카메라가 이 마커를 추적해 의자 3D 위치를 추정한다.

마커 추적 방식을 채택해 의자에 대규모 개조를 가하지 않고도 휴머노이드 로봇이 의자를 잡고 움직일 수 있게 됐으며 다양한 종류 의자에도 손쉽게 대응할 수 있다고 연구팀은 설명했다.

연구에는 VR 헤드셋으로 메타 퀘스트 3(Meta Quest 3), 조작용 컨트롤러로 듀얼센스(DualSense), 레이싱 시뮬레이터 게임으로 아세토 코르사(Assetto Corsa)가 사용됐다. 휴머노이드터크는 아세토 코르사로부터 실시간으로 G포스 데이터를 수집해 좌우 방향 G포스는 의자 좌우 흔들림으로 전후 방향 G포스는 기울기·충격·진동으로 변환한다. 유니트리 G1은 이 변환 결과에 맞춰 의자를 움직인다.

연구팀은 참가자 16명을 대상으로 영상과 음향만 제공하는 피드백 없음(No-Feedback), 컨트롤러 진동을 사용하는 컨트롤러(Controller), 컨트롤러 진동에 더해 휴머노이드 로봇이 의자를 움직이는 컨트롤러+휴머노이드(Controller+Humanoid), 컨트롤러 진동에 더해 사람이 직접 뒤에서 의자를 움직이는 컨트롤러+휴먼(Controller+Human) 4가지 조건을 비교했다.

그 결과 휴머노이드 로봇 또는 사람이 의자를 움직이는 조건이 영상·음향만 제공하거나 컨트롤러 진동만 사용하는 경우보다 몰입감·사실감·재미·게임 적합성 항목에서 높은 평가를 받았다고 연구팀은 보고했다. 다만 휴머노이드 로봇이 의자를 움직이는 조건에서는 편안함과 시뮬레이터 멀미 측면에서 과제가 남았으며 참가자 사이에서는 로봇의 의자 조작 타이밍을 긍정적으로 평가하는 의견과 흔들림 강도 및 연속적인 진동으로 피로감을 느꼈다는 의견이 함께 제기됐다.

연구팀은 휴머노이드터크를 인간형 로봇을 VR 공간의 사건을 인체에 전달하는 햅틱 미디어로 활용하는 초기적 시도로 자리매김하고 있다. 향후 응용 사례로는 VR 내에서 무거운 물체를 들 때 느끼는 저항감, 줄다리기와 같이 힘이 실리는 동작, 조이스틱의 뻑뻑함, 문이나 나뭇잎 등에 닿는 감촉, 호러 체험에서 사용자를 놀라게 하는 동작 등이 거론된다.

다만 이번 연구는 1분간 짧은 VR 드라이브에 한정된 것으로 장시간 사용 시 피로도, 로봇 동작음, 과열, 토크 저하, 예기치 않은 고장 발생 시 안전성 등은 향후 해결해야 할 과제로 지적됐다. 관련 내용은 이곳에서 확인할 수 있다.