조직 83%는 AI 인프라 쇄신 필요‧마이크로소프트 AI 비용 절감 나서

구글 클라우드(Google Cloud)가 AI 인프라 실태를 조사한 결과 조직 83%가 기존 환경에서 에이전트형 AI를 활용하려면 인프라 쇄신이 필요하다고 판단하고 있는 것으로 나타났다.

구글 클라우드에 따르면 기업용 AI는 단순히 대화하는 AI에서 스스로 작업을 수행하는 에이전트형 AI로 이행하는 추세다. 요구되는 처리가 비교적 단순한 챗봇형 AI와 달리 에이전트형 AI에서는 지시 하나로부터 이메일을 읽는다, 사내 데이터베이스를 조회한다, 필요한 신청서를 작성한다, 다른 시스템에 입력한다는 등 다수 처리가 연쇄 발생한다.

하지만 기존 인프라는 대량 추론 처리를 장시간 지속적으로 수행하는 걸 전제로 설계된 게 아니다. AI가 여러 차례 재고하면서 처리를 이어가면 데이터 전송 비용이나 스토리지 비용, 사용되지 않는 전용 하드웨어 유지비가 누적된다. 조사에서는 리더 62%가 상당한 추론세를 인식하고 있었으며 81%가 AI 확장에 따른 운영 복잡성을 숨겨진 비용으로 꼽았다.

이런 부담을 줄이기 위해 구글 클라우드가 제시하는 개념이 처리 내용에 따라 최적의 컴퓨팅 자원을 구분해 사용하는 플루이드 컴퓨트(fluid compute)다. 대규모 학습에는 TPU 8t 같은 가속기를, 저지연 추론에는 칩 내 메모리를 중시한 TPU 8i를, AI 제어 기반이나 에이전트 처리 조율에는 Arm 기반 구글 액시온(Google Axion)을 사용하는 식으로 용도별로 하드웨어를 전환하는 방식이다.

AI 에이전트가 늘어나면 비용뿐 아니라 관리 문제도 커진다. AI가 이메일을 읽거나 데이터베이스에 접근하거나 워크플로를 실행하는 경우 어떤 AI가 어떤 정보를 읽고 쓸 수 있는지를 관리하지 못하면 기업은 보안 및 감사 측면에서 큰 리스크를 떠안게 된다. 조사에서는 기술 리더 79%가 보안·거버넌스·MLOps를 추론 처리 확장 최대 과제로 꼽았다.

AI 에이전트 관리가 복잡해지는 문제에 대한 대응 체계로 구글 클라우드에는 에이전트 게이트웨이(Agent Gateway)가 존재한다. 에이전트 게이트웨이는 AI 에이전트 권한, ID, 작업 내용을 일원적으로 관리하기 위한 체계로 AI가 어떤 데이터를 공유하고 있는지 파악하거나 읽기·쓰기 범위를 세밀하게 지정할 수 있다. 또 중요한 작업을 수행하기 전에 인간 승인을 거치도록 설정하는 것도 가능하다.

AI가 사내 데이터를 올바르게 다루려면 데이터 저장 위치도 과제가 된다. 중요한 정보가 정리되지 않은 채 흩어져 저장돼 있으면 AI가 필요한 정보를 찾기 어려워진다. 구글 클라우드는 비정형 데이터를 검색하기 쉽게 만드는 스마트 스토리지(Smart Storage)와 복수 클라우드상의 데이터를 다루는 크로스클라우드 레이크하우스(Cross-Cloud Lakehouse)를 통해 AI가 필요로 하는 데이터를 개별적인 데이터 연동 처리나 중복 데이터를 늘리지 않고 다룰 수 있도록 한다고 설명했다.

또 AI 처리를 모두 원격 데이터센터로 보내는 방식도 만능은 아니다. 공장·매장·병원·금융 거래 등에서는 통신 지연이나 네트워크 장애가 업무에 직결된다. 비용 측면에서도 유리하다는 점이 있어 조사에서는 90% 조직이 AI 시책에서의 엣지 배포를 중요시하고 있었으며 72%가 매우 중요 또는 상당히 중요하다고 응답했다.

아울러 AI용 하드웨어는 높은 연산 능력을 필요로 하기 때문에 전력 및 냉각 설비 부담도 커진다. 구글 클라우드에 따르면 리더 91%가 하드웨어 선정 시 소비전력을 고려하고 있으며 61%가 주요 또는 중요한 판단 기준으로 삼고 있다. 구글 클라우드는 TPU 8t가 전세대 대비 약 3배의 성능을 발휘하며 최대 2배 에너지 효율을 실현한다고 설명했다.

최종적으로 구글 클라우드는 에이전트형 AI를 실험 단계에서 기존 환경으로 진전시키려면 저비용으로 운영할 수 있고 엣지에서도 안정적으로 작동하며 처음부터 통제할 수 있는 통합 기반이 필요하다고 밝혔다. 실제로 구글 클라우드의 AI 하이퍼컴퓨터(AI Hypercomputer)는 컴퓨팅·네트워크·스토리지·소프트웨어를 통합적으로 최적화하는 사고방식에 기반해 설계됐다. 관련 내용은 이곳에서 확인할 수 있다.

한편 AI 비용이 계속 상승하는 가운데 기업마다 비용 절감책을 모색하고 있다. 최신 사례로 마이크로소프트(Microsoft)의 자사 AI 모델 적극 도입이 보도되어 눈길을 끈다.

마이크로소프트는 생성 AI가 보급되기 전인 2019년 오픈AI에 10억 달러를 투자했다. 이후 2020년 9월에는 오픈AI 대규모 언어모델(LLM)인 GPT-3에 대한 독점 라이선스를 취득했다. 나아가 2023년 1월에는 오픈AI에 수십억 달러 규모 출자를 단행하며 장기적 파트너십을 체결했다.

마이크로소프트는 오픈AI와의 파트너십을 활용해 독자적인 챗 AI인 코파일럿(Copilot)을 전개하는 등 한발 앞서 AI 기능을 사용자에게 제공해왔다. 하지만 마이크로소프트는 AI 개발에서 오픈AI에 의존하는 상황을 탈피하기 위해 독자적인 AI 연구팀 MAI 슈퍼인텔리전스 팀(MAI Super Intelligence Team)을 결성했다.

이후 지난 4월 마이크로소프트는 오픈AI와의 독점 계약을 해소했다. 그리고 마이크로소프트가 오픈AI 및 앤트로픽 AI에 대한 의존도를 줄이기 위해 자체 개발 AI 모델 도입을 적극적으로 추진하고 있는 것으로 밝혀졌다. 보도에 따르면 마이크로소프트가 개발하는 인기 소프트웨어인 엑셀과 워드에서 자체 개발 AI 모델 MAI를 적극적으로 도입하기 시작했다. 그동안 마이크로소프트는 마이크로소프트 365 대부분이 오픈AI와 앤트로픽 AI 모델에 의해 지원되고 있다고 홍보해왔다.

마이크로소프트는 여전히 오픈AI나 앤트로픽 같은 서드파티 AI 모델을 활용하고 있지만 자사 AI 모델인 MAI로의 전환을 적극적으로 진행하고 있는 셈이다. 또 마이크로소프트는 자체 AI 에이전트 개발에도 힘을 쏟고 있으며 마이크로소프트 365용 상시 가동형 AI 에이전트 마이크로소프트 스카우트(Microsoft Scout)와 AI 에이전트 전용 디바이스 플랫폼 프로젝트 솔라라(Project Solara) 등을 발표했다.

마이크로소프트처럼 자사 AI 모델 활용을 통해 AI 비용 절감에 나서고 있는 기업은 여럿 있다. 아마존, 우버, 메타, 액센추어 등 대기업에서도 동일한 비용 절감책이 채택되고 있다. 관련 내용은 이곳에서 확인할 수 있다.