7종류 실행 환경 재현…큐웬-에이전트월드 나왔다

중국 기술 기업 알리바바(Alibaba) AI 연구팀 큐웬(Qwen)이 6월 23일 큐웬-에이전트월드(Qwen-AgentWorld)를 출시했다. 큐웬에 따르면 큐웬-에이전트월드는 언어 모델을 기반으로 구축된 월드 모델로 이 접근법이 범용 에이전트 능력의 한계를 끌어올리는 방법이 될 가능성이 있다고 한다.

큐웬-에이전트월드는 단일 모델 내에서 7가지 에이전트 환경을 시뮬레이션하는 네이티브 언어 월드 모델. 7가지 에이전트 환경에는 AI 애플리케이션을 외부에 연결하기 위한 표준 프로토콜인 MCP, 검색 엔진 환경, 리눅스 등 커맨드라인 환경(터미널,), 소프트웨어 개발 환경(SWE), 웹 브라우저 환경, 데스크톱 OS 환경, 안드로이드 스마트폰 환경이 포함된다. 이 7종류 에이전트 실행 환경을 단일 모델 내에서 재현할 수 있는 첫 모델이라고 한다.

큐웬에 따르면 언어 에이전트는 대화형 환경에서 작동하도록 훈련되지만 현재 상태와 에이전트 행동을 바탕으로 다음에 무엇이 일어날지를 예측하는 등 환경 자체를 모델링하도록 명시적으로 훈련된 언어 모델은 존재하지 않았다고 한다. 큐웬-에이전트월드는 1,000만 건 이상 실제 에이전트 조작 로그를 기반으로 지속 사전학습(CPT)·지도 파인튜닝(SFT)·강화학습(RL) 3단계로 학습한 언어 월드 모델이다. 시뮬레이터 내에서 환경을 자유롭게 변경하거나 실제 환경에서는 재현하기 어려운 상황을 구축할 수 있기 때문에 실제 환경에서는 어려운 조건에서 대량 시뮬레이션을 실행할 수 있어 더 효율적으로 에이전트를 훈련할 수 있다고 한다.

큐웬은 언어 월드 모델 유효성을 2가지 방법으로 검증했다. 첫 번째는 실제 환경 대신 월드 모델을 시뮬레이터로 활용해 AI 에이전트를 강화학습시키는 방법. 이 방법에서는 환경을 자유롭게 제어할 수 있어 실제 환경만으로 학습한 경우보다 높은 성능을 달성했다.

2번째는 언어 월드 모델을 에이전트 사전학습 모델로 활용하는 방법이다. 이 경우 각 에이전트별 추가 강화학습을 수행하지 않아도 7종류 벤치마크로 능력을 전이할 수 있어 언어 월드 모델이 고성능 AI 에이전트 기반이 될 수 있다는 게 입증됐다.

큐웬은 실제 환경과의 인터랙션이 여전히 AI 에이전트를 학습시키는 데 가장 중요한 수법이며 언어 월드 모델은 이를 대체하는 것도 단순한 비용 절감을 위한 것도 아니라고 설명했다. 대신 실제 환경을 보완하는 새로운 수법으로 언어 월드 모델에는 2가지 이점이 있다고 한다. 첫 번째는 실제 환경에서는 어려운 대규모이면서 제어 가능한 학습이 가능해진다는 점이다. 2번째로 기존 AI 에이전트가 현재 상태에서 다음 행동을 결정하는 것에 중점을 뒀던 데 반해 언어 월드 모델에서는 세계를 예측하는 능력 자체를 에이전트에 습득시켜 먼저 예측한 뒤 행동하도록 할 수 있다.

큐웬은 범용적인 언어 월드 모델을 실현하려면 다양한 환경에서 학습하는 것, 서로 다른 분야 간에 능력이 전이되는 것, 지속 사전학습(CPT)으로 현실 세계 지식을 획득하는 것이라는 3가지가 중요하다고 설명했다. 법률, 의료, 금융, 사이버 보안 등 전문 분야 지식을 지속 사전학습으로 통합해 실제 환경에 가까운 시뮬레이션을 가능하게 했다고 한다.

큐웬은 아울러 실제 환경에서 취득한 응답을 정답 데이터로 삼아 시뮬레이션 품질을 평가하는 7개 도메인 대응 벤치마크 에이전트월드벤치(AgentWorldBench)도 공개했다. 에이전트월드벤치 기준으로 큐웬-에이전트월드-397B-A17B(Qwen-AgentWorld-397B-A17B)는 GPT-5.4, 클로드 오퍼스 4.8, 제미나이 3.1 프로를 상회하는 종합 시뮬레이션 품질을 달성했다.

이번에 공개된 것은 전체 파라미터 수 350억·추론 시 활성화되는 파라미터 수 30억인 큐웬-에이전트월드-35B-A3B(Qwen-AgentWorld-35B-A3B)와, 총 파라미터 수 3970억·추론 시 활성화되는 파라미터 수 170억인 큐웬-에이전트월드-397B-A17B 2종류로 허깅 페이스와 모델스코프에서 공개됐다. 일반 추론 프레임워크 API를 통해 이용할 수 있으며 허깅 페이스에서는 오픈AI 호환 API 서버를 구동하기 위한 커맨드 예시도 제시되어 있다. 관련 내용은 이곳에서 확인할 수 있다.