구글딥마인드, 가상 우주를 지능을 비추는 거울로…

구글 딥마인드가 우주 MMORPG인 이브온라인(EVE Online) 개발사인 펜리스 크리에이션스(Fenris Creations)와 진행하고 있는 연구 제휴에 대해 이브 시리즈를 AI 연구에 활용하는 구체적인 대응을 밝혔다. 20년 넘게 플레이어가 경제나 전쟁, 외교를 만들어 온 이브온라인 세계를 이용해 AI가 장기간에 걸쳐 학습·기억·계획하면서 인간과 관계를 맺기 위한 기술을 연구한다고 한다.

딥마인드는 화면상 픽셀만을 보면서 Pong, Breakout, Space Invaders 등 49종류 아타리 2600(Atari 2600)용 게임을 학습하는 DQN(Deep Q-Network)를 개발하는 등 2010년 설립 이래 게임을 AI 연구에 이용해 왔다. 그 후에도 바둑에서 세계 톱클래스 기사를 이긴 알파고(AlphaGo)나 체스·쇼기·바둑을 동일한 구조로 학습한 알파제로(AlphaZero), 실시간 전략 게임 StarCraft II에서 그랜드마스터 레벨에 도달한 알파스타(AlphaStar) 등 게임을 플레이할 수 있는 AI를 다수 개발하고 있다.

기존 게임 AI 연구에서는 시합에 이긴다, 점수를 높게 한다 같은 명확한 목표를 설정하기 쉬운 반면 현실 세계에는 알기 쉬운 득점이나 리셋 버튼이 존재하지 않는다. 따라서 구글 딥마인드는 정해진 게임을 공략하는 것 뿐 아니라 인간과 마찬가지로 주위 상황을 이해하면서 행동할 수 있는 AI 연구를 진행하고 있다.

연구 성과 중 하나가 SIMA(Scalable Instructable Multiworld Agent)다. SIMA는 게임 전용 API나 소스 코드에 접근하는 게 아니라 인간 플레이어와 마찬가지로 화면을 보고 자연어에 의한 지시를 이해하며 키보드나 마우스를 조작한다. 제미나이를 이용한 SIMA 2에서는 실시간 추론이나 대화에도 대응해 No Mans Sky, Valheim, Hydroneer 등 여러 3D 게임 환경에서 연구가 진행되고 있다.

다만 AI 연구에 이용되어 온 많은 게임에는 한 번 시합이 끝나면 상황이 리셋되고 승패 등 목표도 비교적 명확하다는 특징이 있다. 한편 2003년에 서비스가 시작된 이브온라인에서는 다수 플레이어가 공유하는 단일 우주가 장기간에 걸쳐 유지되고 있어 플레이어 간 거래에 의한 경제나 자원 부족, 기업이나 동맹에 의한 협력과 대립, 외교 등이 끊임없이 변화하고 있다. 게임 세계 그 자체가 쉽게는 리셋되지 않는 점이 AI 연구에 있어 큰 차이가 된다는 것이다.

이브온라인 게임플레이에서는 우주선끼리의 전투에서 이기는 것 뿐 아니라 한정된 정보로부터 다른 플레이어 의도를 추측하고 배신이나 시장 변동까지 생각하면서 판단할 필요가 있다. 구글 딥마인드는 이브온라인에서 연구하고 싶은 능력으로 환경이 변화해도 이전 지식을 잃지 않고 계속 학습하는 지속 학습, 장기간에 걸쳐 정보를 축적해 필요한 장면에서 꺼내는 기억, 수 주에서 수 년 단위로 앞을 생각하는 장기적인 계획, 나아가 다수 상대와의 협력·경쟁·교섭을 다루는 능력을 들고 있다.

펜리스 크리에이션스에 따르면 처음에는 로컬 서버상에서 동작하는 오프라인판 이브온라인을 사용해 과거 정보나 시뮬레이션을 이용한 통제된 환경에서 연구를 진행한다고 한다. 펜리스 크리에이션스는 플레이어를 대신해 게임을 진행하거나 리스크나 결과를 제거하거나 하는 AI를 만드는 건 목적이 아니라고 설명하고 있다.

연구 제휴에서는 이브온라인뿐만 아니라 이브 시리즈 다른 작품도 연구 환경으로 활용하는 게 검토되고 있다. 이브뱅가드(EVE Vanguard)에서는 1인칭 시점으로 재빠른 전술 판단이 요구되기 때문에 단시간에서의 의사결정을 연구할 수 있다. 한편 이브프런티어(EVE Frontier)에는 플레이어가 프로그래밍할 수 있는 스마트 어셈블리스(Smart Assemblies)가 마련되어 있어 세계 구조 그 자체가 변화하는 환경으로의 적응을 연구하는 장으로 활용할 수 있다고 한다. 구글 딥마인드는 여러 이브 작품을 사용해 순간적인 조작에서 은하 규모의 장기 전략까지 서로 다른 시간축의 판단을 다룰 수 있다고 한다.

양사 협력은 연구 환경에만 머무르지 않고 플레이어용 기능에도 일부 반영되어 있다고 한다. 예를 들어 초보자용 지원 기능으로 실제 루키 헬프(Rookie Help)에서 오간 질문과 답변 등을 바탕으로 신규 플레이어가 게임 내에서 의문을 해결할 수 있도록 하는 구조 오라 가이던스(Aura Guidance)가 프로토타입으로 시험 제공되고 있다. 답변에 충분한 확신을 가질 수 없는 경우는 인간이 참가하는 루키 헬프로 유도하는 등 인간 커뮤니티를 대체하는 게 아니라 보조하는 설계로 되어 있다.

구글 딥마인드는 게임은 항상 지능을 비추어 내는 거울이었다고 표현하고 있으며 게임 세계가 복잡하고 장기간 지속될수록 그곳에서 행동하는 AI에게도 고도의 능력이 요구된다고 설명하고 있다. 장기적으로는 게임에서 얻은 연구 성과를 새로운 게임 체험이나 접근성 향상에 활용할 뿐 아니라 게임 연구에서 쌓은 기술이나 사고방식이 알파폴드(AlphaFold)로도 이어진 예를 들며 현실 세계 문제나 과학 연구에 응용하는 것도 목표로 하고 있다고 한다. 관련 내용은 이곳에서 확인할 수 있다.