AI 에이전트, 일반 생성형 AI보다 에너지 소비 최대 136배

카이스트(KAIST) 연구팀은 실제 서비스 환경에서 AI 에이전트가 얼마나 많은 컴퓨팅 리소스와 전력을 사용하는지에 대해 세계 최초의 체계적 분석을 실시했다. 분석 결과 AI 에이전트는 통상의 생성 AI에 비해 쿼리 1건당 최대 136.5배에 이르는 에너지를 소비하는 것으로 밝혀졌다.

챗GPT 같은 대규모 언어 모델(LLM)은 사용자 질문에 답변하는 걸 주요 역할로 한다. 반면 AI 에이전트는 계획을 수립하거나 외부 도구를 활용하면서 복잡한 태스크를 자율적으로 수행해 소프트웨어 개발, 연구 지원, 태스크 자동화 등 다양한 분야에서 보다 복잡한 문제를 해결할 수 있다.

연구팀은 이런 AI 에이전트 실행 중 발생하는 연산량과 에너지 소비량을 분석했다. 연구팀에 따르면 AI 에이전트의 이용이 확대되는 한편 AI 에이전트를 실제 서비스로 운용하는 데 필요한 처리 능력과 비용에 대해서는 아직 충분히 이해되지 않고 있으며 AI 에이전트 연산 비용과 전력 소비를 정량적으로 분석한 건 이번이 처음이라고 한다.

분석 결과 AI 에이전트는 일반 단계적 추론을 수행하는 생성 AI에 비해 평균 9.2배 더 많이 LLM을 호출하는 것으로 나타났다. 응답 시간은 최대 153.7배까지 증가했으며 외부 도구를 이용하는 동안 GPU가 대기 상태로 있는 시간이 전체 실행 시간 54.5%를 차지해 AI 에이전트에서는 GPU가 연산보다 대기하는 시간이 늘어나 하드웨어를 충분히 활용하지 못하고 있다는 점도 확인됐다.

전력 소비 증가는 더 현저했다. 상용 AI 서비스에서도 사용되는 규모인 700억 파라미터 LLM을 이용한 AI 에이전트는 쿼리 1건을 처리하는 데 평균 348.41Wh 전력을 소비했다. 연구팀에 따르면 이는 일반 생성 AI와 비교하면 최대 136.5배에 이르는 전력 소비에 해당한다고 한다.

연구팀은 나아가 데이터센터 전체에서 운용될 경우의 전력 수요도 추산했다. 미래 AI 에이전트에 대한 리퀘스트가 하루 137억 건에 달한다고 가정할 경우 데이터센터에 필요한 전력은 198.9GW가 된다. 이는 미국 전체 평균 소비전력 절반에 해당한다고 추산했다.

연구팀은 이번 연구는 AI가 더 똑똑해진다는 수준을 넘어 그 지능을 실현·유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 첫 연구라며 AI 에이전트가 보편화되는 시대에는 AI 데이터센터뿐 아니라 AI 에이전트 모델과 전력 인프라도 통합·최적화하는 접근이 중요해질 것이라고 밝혔다.

주의할 점으로 최대 136.5배 에너지 소비라는 추산은 생성 AI의 단순한 질의응답과 AI 에이전트의 복잡한 태스크 처리를 비교한 것이며 136.5배라는 수치는 해석의 여지가 있다. 관련 내용은 이곳에서 확인할 수 있다.