“GPU보다 비싸다” AI 칩 비용 63%는 메모리

AI 발전과 인프라를 조사하는 에포크 AI(Epoch AI)가 엔비디아, AMD, 구글, 아마존이 설계한 AI 칩을 분석한 결과, AI 칩 부품 비용에서 메모리가 차지하는 비중이 2024년 1분기 52%에서 2025년 4분기에는 63%까지 상승했다고 보고했다.

AI용 반도체에서는 연산을 담당하는 GPU나 가속기 본체뿐 아니라 대량 데이터를 고속으로 입출력하는 메모리가 중요하다. AI 모델 학습 및 추론 과정에서는 방대한 행렬 연산이 이뤄지기 때문에 연산 칩이 아무리 고성능이라도 데이터 공급이 느리면 성능을 온전히 발휘하지 못한다. 이 때문에 AI 칩에서는 고대역폭 메모리(HBM)라고 불리는 고속 메모리가 대량으로 사용되고 있다.

에포크 AI는 AI 칩 부품 비용을 메모리, 로직, 패키징, 보조 부품 4가지로 분류했다. 메모리는 HBM3, HBM3e 등의 HBM 스택, 로직은 3~5nm 세대 첨단 공정으로 제조되는 연산용 반도체 본체, 패키징은 TSMC CoWoS처럼 여러 칩을 하나로 묶어 실장하는 기술, 보조 부품은 기판 및 전력 공급 부품 등을 가리킨다.

2024년 1분기 부품 비용 비율은 메모리 52%, 로직 14%, 패키징 19%, 보조 부품 15%였다. 반면 2025년 4분기에는 메모리가 63%까지 늘어난 반면 로직은 13% 내외로 거의 변동이 없었고, 패키징은 15%, 보조 부품은 10%로 낮아졌다. AI 칩이라는 이름만 보면 연산용 로직이 가장 고가일 것 같지만 실제로 부품 비용 과반을 차지하는 건 메모리인 셈이다.

금액 기준으로도 메모리의 증가세는 두드러진다. 에포크 AI에 따르면 엔비디아·AMD·구글·아마존 4개사가 설계한 AI 칩에 투입된 메모리 관련 지출은 2024년 120억 달러에서 2025년 320억 달러로 증가했다. AI 칩 전체 부품 지출도 2024년 220억 달러에서 2025년 520억 달러로 확대됐으며 증가분 가운데 200억 달러가 메모리 관련 지출인 것으로 나타났다.

메모리 비중이 높아지는 배경으로는 AI 칩이 메모리 대역폭을 크게 필요로 한다는 점이 꼽힌다. AI 칩에 사용되는 고대역폭 메모리는 일반 D램 모듈과 달리 여러 메모리 칩을 수직으로 적층해 넓은 데이터 경로로 연결함으로써 대량의 데이터를 고속으로 읽고 쓸 수 있다. 대규모 언어 모델이나 이미지 생성 AI 처리 과정에서는 파라미터와 중간 데이터를 빈번히 주고받기 때문에 메모리 용량과 대역폭이 성능과 비용 모두를 좌우하는 핵심 부품이 됐다.

다만 에포크 AI 수치는 완전한 실측값이 아닌 추정치다. 부품 단가는 계약 내용, 공급 업체, 구매 시기에 따라 달라지며, 칩별 생산량과 제품 구성에도 불확실성이 존재한다. 에포크 AI는 90% 신뢰구간을 적용해 부품 비용의 범위를 모델링했으며 2025년 4분기 메모리 비중 63%에 대해서도 메모리 단독 비용 불확실성만 고려할 경우 60~67%, 모든 부품의 불확실성을 동시에 고려할 경우 54~73% 범위가 된다고 설명했다.

에포크 AI는 메모리 공급이 빡빡해지고 가격이 상승함에 따라 2026년에는 메모리가 AI 칩 부품 비용에서 차지하는 비중이 더 커질 가능성이 있다고 밝혔다. 마이크로소프트의 2026 회계연도 설비 투자 전망과 메타의 2026년 설비 투자 범위 상향 조정에도 부품 가격 상승이 영향을 미쳤다고 덧붙였다.

AI 칩 비용을 논할 때 GPU나 가속기 연산 성능뿐 아니라 메모리 공급량과 가격이 중요한 변수로 부각되고 있다. 에포크 AI는 2024년부터 2025년에 걸쳐 AI 칩 부품 지출 증가를 가장 크게 견인한 부품은 메모리이며 AI 인프라 투자 비용 구조를 이해하는 데 있어 메모리 가격의 중요성이 갈수록 높아지고 있다고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.