샘 올트먼 “램은 개인 PC보다 데이터센터에 두는 게 효율적”

오픈AI(OpenAI) 샘 올트먼(Sam Altman) 최고경영자(CEO)가 한 인터뷰에서 전 세계적으로 공급이 부족한 D램을 개인 PC에 대량으로 탑재하는 건 자원 배분 측면에서 매우 비효율적이라고 지적했다. 각자 PC에서 AI를 돌리기보다 클라우드에서 메모리를 효율적으로 쓰는 게 바람직하다는 게 그의 생각이다.

올트먼 CEO는 결제 서비스 기업 스트라이프(Stripe) 공동창업자 존 콜리슨(John Collison)과 나눈 인터뷰에서 AI 발전과 연산 자원 부족, 반도체 공급 문제 등을 이야기했다. 이 자리에서 D램 가격 급등과 공급 부족이 화제에 올랐다.

올트먼 CEO는 D램 제조사들이 오랫동안 막대한 설비 투자를 하면서도 충분한 이익을 내기 어려웠다고 설명했다. 200억 달러를 투자해 190억 달러밖에 회수하지 못하는 상황을 예로 들며 메모리 업계가 호황과 불황을 되풀이해 왔다고 말했다.

그는 AI 수요가 급증하면서 D램 제조사들이 막대한 이익을 거둘 수 있는 상황이 됐다고 짚었다. 그런데도 각 사가 설비 투자에 신중한 건 과거 공장을 지나치게 늘렸다가 경영 위기를 겪은 경험 때문이라고 분석했다.

◇ 가동률 5%짜리 D램은 비효율=이어 이야기는 AI를 클라우드가 아닌 개인 PC에서 실행하는 로컬 추론으로 넘어갔다. 올트먼 CEO는 많은 사람이 로컬 추론을 원하며 오픈소스 AI 모델을 자기 PC에서 돌릴 수 있게 되면 데이터센터 설비에 기댈 필요가 없어진다고 생각한다는 점을 인정했다. 다만 세계 전체 자원 배분 관점에서 보면 공급이 제한된 D램을 모두가 자기 컴퓨터에 잔뜩 달아 두고 가동 시간의 5%만 쓰는 상황은 실제로 매우 비효율적이라고 말했다.

그는 이처럼 공급이 빠듯한 환경에 대응하려면 클라우드 가동률을 최대한 끌어올려야 한다고 강조했다. 많은 사람이 이와 반대되는 직관을 갖고 있다는 견해도 덧붙였다.

개인이 저마다 D램을 대량으로 확보해도 AI를 돌리지 않는 시간에는 메모리가 제대로 활용되지 않는다는 얘기다. 한정된 D램을 데이터센터에 모아 많은 이용자가 함께 쓰는 쪽이 자원을 더 효율적으로 활용한다는 게 올트먼 CEO 주장이다. 다만 인터뷰에서 5%라는 수치에 대한 구체적인 조사 결과나 산출 근거는 제시하지 않았다.

로컬 AI는 인터넷에 연결하지 않아도 쓸 수 있고 데이터를 외부 서버로 보내지 않고 처리할 수 있다는 특징이 있다. 개인 PC와 데이터센터는 이용 목적과 운영 방식도 달라 메모리 가동률만으로 둘의 우열을 가릴 수는 없다.

오픈AI는 데이터센터에서 돌아가는 AI 모델을 주력 서비스로 제공하고 있다. 올트먼 CEO는 이번 인터뷰에서 오픈AI가 자체 칩 개발과 데이터센터 건설 자동화를 추진하고 있다는 사실도 공개했다.

AI 확산으로 메모리 수요가 커지는 가운데 올트먼 CEO는 연산 자원을 클라우드에 집중하는 쪽에 무게를 실었다. 다만 이번 인터뷰에서는 개인 PC와 클라우드의 실제 메모리 이용 효율을 비교한 데이터가 나오지 않았고 그의 주장을 뒷받침할 정량적 검증도 이뤄지지 않았다. 관련 내용은 이곳에서 확인할 수 있다.