구글 딥마인드, 제미나이 로보틱스2 발표했다

구글 딥마인드(Google DeepMind)가 7월 30일 로봇 보행과 자세 제어, 물체 조작 등을 통합 실행할 수 있는 AI 모델군인 제미나이 로보틱스 2(Gemini Robotics 2)를 발표했다. 휴머노이드 로봇을 발끝부터 손끝까지 움직일 수 있을 뿐 아니라 복수 로봇 공동 작업이나 서로 다른 기체로의 단시간 적응에도 대응한다.

기존 산업용 로봇 대부분은 미리 설정된 제한적인 동작을 반복하도록 설계되어 있다. 또 한 로봇에서 학습한 동작을 형상이나 센서 구성이 다른 다른 로봇으로 옮기는 것도 쉽지 않다.

제미나이 로보틱스 2는 카메라 영상과 언어 지시를 받아 로봇 동작으로 변환하는 VLA 그러니까 시각·언어·행동 모델이다. 구글 딥마인드는 탁상형 로봇 암부터 전신형 휴머노이드 로봇까지 다양한 형상과 크기 기체를 같은 모델로 제어할 수 있다고 설명했다.

제미나이 로보틱스 2는 휴머노이드 로봇에 팔 뿐 아니라 걷기, 쪼그려 앉기, 몸 펴기, 무게중심 이동 등 전신 움직임을 조합할 수 있다. 아폴로(Apollo)와 인스파이어(Inspire) 제조 로봇 핸드를 사용한 평가에서는 테이블 위 물체를 들어 올리는 작업 성공률이 68.4%, 바닥에서 들어 올리는 작업이 45.7%, 선반에서 들어 올리는 작업이 76.3%였다.

또 제미나이 로보틱스 2는 2개 손가락 그리퍼를 사용한 정밀 물체 조작에도 대응한다. 프랑카 듀오(Franka Duo)를 사용한 평가에서는 일반 물체 이동 작업에서 74.2%, 다양한 공구를 상자에 넣는 작업에서 78.9%, 정밀 부품 삽입에서 89.6% 성공률을 기록했다.

나아가 22자유도를 갖춘 5개 손가락인 샤르파(Sharpa) 로봇 핸드에서는 전구를 빼는 작업에서 92% 성공률을 기록했다. 반면 전구를 끼우는 작업은 36%, 쓰레기봉투를 묶는 작업은 44%, 쓰레받기를 다루는 작업은 32%, 지퍼백을 닫는 작업은 40%로, 다지 핸드에 의한 복잡한 조작에는 여전히 과제가 남아 있다.

로봇이 긴 작업 절차를 이해하기 위한 상위 모델로 제미나이 로보틱스 ER 2(Gemini Robotics ER 2)도 발표됐다. ER 2는 주변 상황을 관찰해 작업 절차를 수립하고 VLA 모델에 동작을 지시하면서 진행 상황을 확인하는 역할을 담당하며 수 분에 걸친 작업에서 수백 회 판단을 수행할 수 있다.

제미나이 로보틱스 ER 2는 실기 VLA 모델, 시뮬레이션상 VLA 모델, 인간 원격 조작이라는 3가지 제어 방식 모두에서 기존 제미나이 로보틱스 ER 1.6(Gemini Robotics ER 1.6)을 웃도는 태스크 총괄 성능을 보였다. 영상에서 작업 진행 상황을 5단계로 분류하는 평가에서는 정답률 57.4%, 중요한 사건이 발생한 순간을 특정하는 평가에서는 정답률 91.3%, 정답 프레임과의 평균 오차는 0.96초를 기록했으며 더 대규모 모델에 근접하는 정밀도를 연산 부하를 억제하면서 4배 실행 속도로 구현했다고 한다. 구글은 또 영상으로부터의 성패 판정, 계기 판독, 공간 관련 질의응답, 안전 지시 준수, 인간 접근 감지에서도 ER 1.6 및 기타 최첨단 모델을 상회했다고 설명했다.

작업 도중 실패가 발생한 경우에는 상황을 확인하고 절차를 수정하는 것도 가능하다. 나아가 서로 다른 종류 로봇끼리 정보를 주고받으며 한 대로는 완료할 수 없는 작업을 분담하는 멀티 로봇 협업(Multi-robot collaboration)에도 대응한다.

안전 측면에서는 위험한 동작 지시를 거부할 수 있는지, 불가능한 작업을 인식할 수 있는지, 판단이 어려울 때 인간에게 도움을 요청할 수 있는지를 평가하는 새로운 벤치마크인 아시모프 에이전틱(ASIMOV-Agentic)이 도입됐다. 제미나이 로보틱스 ER 2는 주변에 있는 인간을 감지하고 사람이 너무 가까이 접근한 경우 안전 기능을 호출해 로봇을 정지시킬 수도 있다.

나아가 구글 딥마인드는 인터넷 접속 없이 로봇 본체에서 동작하는 경량 모델인 제미나이 로보틱스 온디바이스 2(Gemini Robotics On-Device 2)도 발표했다. 이 모델은 형상, 센서, 관절 수가 다른 새로운 쌍완 로봇에도 통상 200건 미만 실례와 수 시간의 추가 학습으로 적응할 수 있다고 한다.

제미나이 로보틱스 ER 2는 구글 AI 스튜디오에서 제공되며 제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)에서는 프라이빗 프리뷰로 이용할 수 있다. 제미나이 로보틱스 2와 제미나이 로보틱스 온디바이스 2는 로봇 제조사 등 조기 액세스 파트너를 대상으로 제공된다.

구글 딥마인드는 제미나이 로보틱스 2를 단일 작업에 특화된 자동화에서 현실 세계에서 폭넓은 업무를 수행할 수 있는 범용적인 피지컬 AI로 이행하기 위한 중요한 단계로 자리매김하고 있다. 한편 이동 속도나 다지 핸드의 정밀도 등에는 개선의 여지가 있으며 인간과 동등한 수준의 기민함을 실현하기 위한 개발을 향후에도 계속해 나갈 것이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.