엔비디아 AI 에이전트, 벤치마크서 100% 점수 달성했다

엔비디아가 개발하는 AI 에이전트 시스템인 AVO(Agentic Variation Operators)가 AI가 미지의 환경과 상호작용하며 추론하는 능력을 측정하는 벤치마크인 ARC-AGI-3 공개 세트에서 100% 점수를 달성했다. 베이스로 사용된 클로드 오퍼스 5에 대해 ARC-AGI-3를 개발한 아크 프라이즈(ARC Prize)가 다른 조건 모델 평가에서의 점수를 30%로 보고하고 있어 장시간 태스크에서는 AI 모델 단독뿐만 아니라 기억이나 도구 활용 등을 담당하는 주변 시스템의 중요성이 드러났다.

ARC-AGI-3는 문제문을 읽고 답하는 일반적인 벤치마크와는 달리 규칙도 목적도 알 수 없는 게임과 같은 환경을 AI 스스로 조작하게 한다. AI는 실제로 행동하고 결과를 관찰하면서 뭘 하면 목표에 가까워지는지를 추측해야 한다. 공개 세트에는 25종류 환경과 합계 183레벨이 마련되어 있다.

ARC-AGI-3 평가에는 RHAE(Relative Human Action Efficiency)이라고 불리는 지표가 사용된다. 단순히 게임을 클리어할 수 있는지뿐 아니라 처음 게임을 하는 인간으로부터 산출한 기준과 비교해 몇 번의 조작으로 클리어했는지도 평가 대상이 되기 때문에 RHAE에서 100%를 얻으려면 모든 게임·모든 레벨을 클리어하면서 인간과 동등 이상 조작 효율을 유지해야 한다.

장시간에 걸쳐 시행착오를 겪는 과제에서는 고성능 AI 모델을 호출하는 것만으로는 과거 실패나 발견을 충분히 살리지 못하는 경우가 있다. 이때 중요해지는 게 AI 모델 주위에서 기억, 도구 활용, 상태 관리, 실패로부터의 복귀 등을 담당하는 실행 기반이다.

AVO는 장시간 자율 작업을 이어가기 위해 과거 시행이나 평가 결과를 남기는 영속적인 메모리와, 작업이 막혔을 때 다른 방침으로 유도하는 감독 기능을 갖추고 있다. 메인 에이전트는 상황 확인, 계획, 실행, 평가를 반복하면서 작업을 진행한다.

엔비디아는 GPU 커널 최적화용으로 개발하던 AVO 기본 구조를 유지한 채 ARC-AGI-3를 조작하기 위한 인터페이스를 추가했다. AVO 베이스 AI 모델로 클로드 오퍼스 5를 사용한 경우 공개 세트 합계 183레벨을 모두 클리어하고 RHAE에서 100%를 기록했다고 한다.

ARC-AGI-3 개발사인 아크 프라이즈가 실시한 다른 조건에서의 클로드 오퍼스 5 평가에서는 RHAE가 30%였다. AVO가 동일한 모델을 베이스로 사용하면서 RHAE 100%를 기록했다는 결과는 AI 모델 평가만으로는 에이전트 시스템 전체 성능을 나타낼 수 없다는 걸 보여주는 사례가 되고 있다.

엔비디아는 ARC-AGI-3에서 중요한 건 100%라는 숫자만이 아니라 GPU 코드 최적화용으로 만들어진 동일한 에이전트 구조가 미지의 게임 공략에도 응용될 수 있었다는 점이라고 설명한다. 나아가 AI 모델 자체 성능 뿐 아니라 기억이나 도구, 피드백, 실패로부터의 복귀를 포함한 시스템 전체가 장시간 자율 작업을 좌우한다며 이런 경향이 다른 모델에서도 나타나는지에 대해서는 더 폭넓은 모델을 사용한 검증이 필요하다고 밝히고 있다. 관련 내용은 이곳에서 확인할 수 있다.