씽킹머신스랩, 실시간 협업 AI 발표했다

오픈AI 전 최고기술책임자(CTO) 미라 무라티(Mira Murati)가 설립한 AI 스타트업 씽킹머신스랩(Thinking Machines Lab)이 실시간 협업 AI인 인터랙션 모델스(Interaction Models) 연구 프리뷰를 발표했다.

기존 AI 연구에서는 AI가 자율 동작하는 능력을 AI 모델에서 가장 중요한 기능으로 다루는 경우가 많았다. 그 결과 기존 AI 모델과 인터페이스는 인간이 의사결정 프로세스에 지속적으로 관여하는 걸 전제로 한 최적화가 이뤄지지 않았다.

자율형 인터페이스는 나름의 가치가 있지만 실제 업무에서 사용자가 요구사항을 사전에 완전히 지정하고 AI에 모든 걸 맡기는 방식은 현실적으로 불가능하다. 좋은 결과를 얻으려면 인간이 항상 프로세스에 관여하고 중간에 명확한 피드백을 주고받는 협력적 과정이 필수적. 하지만 AI를 활용하는 워크플로에서 인간은 점점 배제되고 있다. 이는 업무에 인간이 필요 없기 때문이 아니라 인터페이스가 인간을 받아들일 여지를 갖추지 못했기 때문이다.

인간은 다른 사람과 협력하는 것처럼 AI와도 협력할 수 있어야 한다. 다시 말해 필요에 따라 메시지를 보내거나 말하거나 듣거나 보거나 보여주거나 의견을 끼워 넣을 수 있어야 한다는 뜻이다.

이런 문제를 해결하기 위해 탄생한 게 AI와 인간 협업을 목표로 한 AI 모델 인터랙션 모델스다. 인터랙션 모델스는 외부 프레임워크를 거치지 않고 인터랙션을 네이티브로 처리할 수 있다. 음성·영상·텍스트를 지속적으로 받아들이면서 실시간으로 사고·응답·행동하는 게 가능하다.

기존 AI가 안고 있던 문제에 대해 씽킹머신스랩 측은 턴제 인터페이스에서 탈피할 필요가 있었다고 설명했다. 기존 AI 모델은 사용자가 입력 또는 발화를 마칠 때까지 사용자가 무엇을 하고 있는지·어떻게 하고 있는지 인식하지 못한 채 대기한다. 그리고 사용자 입력에 따라 AI 모델이 생성을 마칠 때까지 AI 모델의 인식은 멈추고 새로운 입력을 받지 않는다. 씽킹머신스랩 측은 이로 인해 인간과 AI 협업이 저해되고 인간 지식·의도·판단이 AI 모델에 제대로 전달되지 않게 됐다고 밝혔다.

씽킹머신스랩은 AI를 실시간으로 대화할 수 있도록 해 인간이 AI 인터페이스에 억지로 맞추는 게 아니라 AI가 인간에 맞춰 입출력할 수 있는 존재로 거듭날 것이라고 설명했다. 인터랙션 모델스 필요성에 대해 씽킹머신스랩 측은 기존 AI 모델 대부분은 하네스를 사용해 인터랙티브성을 사후에 덧붙이고 있다며 다시 말해 컴포넌트를 이어 붙여 중단·멀티모달성·병렬성을 모방하는 방식이라고 밝혔다. 이어 하지만 이처럼 수작업으로 구축된 시스템으로는 범용 기능 발전 속도를 따라가기 어려워지고 있다며 인터랙티비티가 지능에 맞게 확장되려면 인터랙티비티 자체가 AI 모델 일부여야 한다며 이 접근 방식을 통해 AI 모델을 확장하고 더 스마트하고 더 뛰어난 협력자로 만드는 게 가능하다고 밝혔다.

인터랙션 모델스가 지닌 가장 큰 특징은 원활한 대화 관리 기능. 인터랙션 모델스는 사용자가 생각 중인지, AI에 발언권을 넘긴 것인지, 응답을 요구하는 것인지 등을 추적할 수 있다.

또 인터랙션 모델스는 사용자가 말을 마친 시점뿐 아니라 상황에 따라 혹은 필요에 따라 대화에 개입할 수 있다. PC 앞에 앉은 사용자가 의자에 축 늘어져 있는 걸 시각적으로 감지하면 인터랙션 모델스가 반응하는 방식도 시연을 통해 확인됐다.

사용자가 인터랙션 모델스와 대화하면서 아이의 자전거 여행을 검토하는 상황에서는 사용자가 인터랙션 모델스의 발화 도중 말을 걸어도 인터랙션 모델스가 사용자 발화 내용을 검토해 출력을 조정하는 모습이 확인된다. 실시간 대화는 마치 사람끼리 대화하는 것과 같은 느낌을 준다.

서로 다른 언어를 사용하는 두 화자의 발화 내용을 실시간으로 번역하는 시연에서는 사용자가 협업에 적절하지 않은 거친 표현을 사용했을 때 인터랙션 모델스가 그 자리에 어울리는 형태로 실시간 번역을 제공하는 기능도 시연됐다.

사용자 3명이 인터랙션 모델스에 상식 문제를 테스트받는 시연에서는 인터랙션 모델스가 숫자 카운트다운을 진행하면서 사용자 답변을 정확히 검토하는 모습도 확인됐다.

인터랙션 모델스는 사용자와 대화하는 중에 인터넷에서 정보를 검색하면서 실시간으로 도표와 그래프를 생성해 필요에 따라 대화에 녹여내는 것도 가능하다. 또 사용자와 대화하면서 사고·처리·정보 검색을 동시에 수행할 수 있어 현재 상영 중인 영화에 대한 추천 정보를 제공하는 것과 같은 활용도 가능하다. 더 긴 세션에서는 모든 게 지속적으로 이뤄지기 때문에 AI에 지시를 내린다기보다 AI와 공동 작업한다는 감각을 얻을 수 있다.

인터랙션 모델스의 지능·지시 추종성과 응답 품질을 기존 AI 모델과 비교해보면 인터랙션 모델스(TML-Interaction-Small)는 특히 응답 품질에서 기존 AI 모델과 비교해 크게 뛰어난 성능을 보이는 것으로 나타났다. 또 기존 AI 모델 대비 응답 속도도 빠른 것으로 확인됐다.