아마존, 3nm AI 칩 트레이니엄3 발표했다

AWS(Amazon Web Services)가 최신 세대 트레이니엄(Trainium) 칩인 트레이니엄3를 울트라서버 서비스를 통해 제공 개시했다. 트레이니엄3는 동사 첫 3nm라는 프로세스 노드로 제조된 AI칩이며 이전 세대와 비교해 다양한 성능이 향상됐다.

트레이니엄3 울트라서버는 차세대 AI 워크로드 향으로 특별히 설계된 시스템으로 최대 144개에 이르는 트레이니엄3 칩을 탑재할 수 있다. 전 세대 트레이니엄2 울트라서버와 비교해 최대 4.4배 컴퓨팅 성능, 에너지 효율 4배, 메모리 대역폭 3.9배를 제공한다. 이를 통해 모델 트레이닝을 고속화하고 수개월 걸리던 시간을 수주로 단축하며 사용자로부터의 추론 리퀘스트에 동시 대응해 지금까지 실현 불가능하거나 고비용이었던 AI 프로젝트에 착수하는 게 가능해진다고 한다.

오픈AI 오픈 웨이트 모델 GPT-OSS를 사용한 테스트에서는 트레이니엄2 울트라서버와 비교해 칩당 처리량이 3배 향상되고 응답 시간이 4배 고속화됐다고 한다.

고객은 울트라서버 수천 대를 연결해 트레이니엄3 최대 100만 개에 접속하는 것도 가능하다. 이는 전 세대보다 10배다. AWS에 따르면 Anthropic, Karakuri, Metagenomics, Neto.ai, Ricoh, Splashmusic 등이 이미 트레이니엄 울트라서버를 사용하고 있다고 한다. 한편 소셜 사이트에는 AWS는 핵심 서비스를 제외하면 베타 버전 투성이고 큰 결함을 안고 있는 서비스도 다수 있다는 비판도 있다.

또 같은 날 AWS는 기존 인프라스트럭처를 고성능 AI 환경으로 변혁한다는 프로젝트 AWS AI Factories도 발표했다. 이는 고객 데이터센터에 전용 AWS AI 인프라스트럭처를 배포하고 고객 전용으로 운용해 컴퓨팅, 스토리지, 데이터베이스, AI 서비스에의 안전하고 저지연 액세스를 제공하는 것으로 고객은 기존 데이터센터 공간과 전력 용량을 활용해 AWS AI 인프라스트럭처와 서비스에 액세스할 수 있게 된다. 이 AWS AI Factories에도 트레이니엄가 도입됐다.

더불어 아마존은 이미 차세대 칩인 트레이니엄4에도 착수하고 있음을 밝혔다. 트레이니엄4는 트레이니엄3와 비교해 FP4 처리 성능이 최소 6배, FP8 처리 성능이 3배, 메모리 대역폭이 4배가 되며 근본적인 퍼포먼스 비약과 트레이닝 속도 향상을 기대할 수 있다고 한다.

이 밖에 아마존은 추론, 멀티모달 처리, 대화형 AI, 코드 생성, 에이전트 태스크 전체에서 비용 대비 성능이 우수한 AI 모델인 Nova 2 시리즈와 AI 모델 커스터마이징을 용이하게 하는 오픈 트레이닝을 실현하는 서비스인 Nova Forge가 발표됐다.

Nova 2는 Nova 2 Lite, Nova 2 Pro, Nova 2 Sonic, Nova 2 Omni라는 4개 모델로 나뉘며 각각 고성능과 비용 대비 효과가 특징이다.

AI 평가 플랫폼 Artificial Analysis에 따르면, Nova 2.0 Pro Preview 토큰 사용량은 동업 모델과 비교해 낮고 Nova 2.0 Lite와 Omni는 다른 대부분 추론 모델보다 저렴하다고 한다.

Nova Forge는 사전 트레이닝 완료, 중간 트레이닝 완료, 및 사후 트레이닝 완료 Nova 모델에의 액세스를 개별로 제공해 고객이 이른 단계부터 모델을 독자적으로 트레이닝할 수 있게 하는 서비스다. 이를 통해 원래 트레이닝 데이터에 액세스할 수 없는 모델 트레이닝을 계속함으로써 의도하지 않은 결과를 초래할 리스크나 막대한 비용을 들여 모델을 제로부터 구축하는 장벽을 회피할 수 있다고 한다.

더구나 UI 기반 워크플로로 신뢰성 높은 AI 에이전트를 구축 및 관리하기 위한 신규 AWS 서비스 Nova Act도 제공 개시되어, 고객 관계 관리(CRM) 시스템 데이터 갱신, 웹사이트 기능 테스트, 건강보험 청구 송신과 같은 UI 기반 워크플로에서 뛰어난 성능을 이용할 수 있게 된다.

다음으로 신규 AI 에이전트로 아마존이 발표된 게 Kiro 자율 에이전트, AWS 시큐리티 에이전트, AWS DevOps 에이전트다.

Kiro 자율 에이전트는 소프트웨어 개발 에이전트로, 태스크를 전환할 때 컨텍스트를 재구축하거나 리포지터리 간 변경을 수동 조정하거나 티켓, 풀 리퀘스트, 채팅 스레드에 산재한 정보를 이어 맞추는 등 인간 작업을 정리하는 역할을 한다. 깃허브에서 직접 Kiro에 질문하거나 태스크를 설명하거나 백로그에 태스크를 할당하는 게 가능하다.

AWS 시큐리티 에이전트는 안전한 앱을 실현하는 에이전트로 개발 전체를 통해 리스크를 적극적으로 특정하는 동시에 문제가 발생했을 때는 빠르게 대응하다는 역할을 담당한다. 깊은 시큐리티 전문 지식을 내장하고 설계 문서를 프로액티브하게 리뷰하며 풀 리퀘스트를 조직의 시큐리티 요구사항과 일반 취약성에 비춰 스캔할 수 있다.

AWS DevOps 에이전트는 운용 효율을 높이는 에이전트로 장애 발생 시 문제를 절연하고, 시스템 동작을 이해한 뒤 근본 원인을 정확히 특정해 평균 해결 시간을 단축하는 접근을 한다. 가관측성, 인프라스트럭처 최적화, 배포 파이프라인 강화, 애플리케이션 내장애성이라는 4개 주요 영역을 강화하기 위한 권장 사항을 제공헤 복구 시간을 줄인다고 한다.

더구나 AI 에이전트 개발을 위한 플랫폼 Amazon Bedrock AgentCore를 혁신해 대규모이며 안전하게 에이전트를 구축·배포하는 환경, 에이전트가 실제 환경에서 어떻게 퍼포먼스를 발휘하는지를 파악하기 위한 진단, 명확한 정의를 설정해 에이전트 행동 범위를 한정시켜 정확한 에이전트를 구축하기 위한 환경이 정비됐다. 관련 내용은 이곳에서 확인할 수 있다.