구글 머신러닝용 데이터센터 속 액체냉각시스템

컴퓨터를 장시간 구동할 때 문제가 되는 것이 배열로 공기나 냉각액을 사용해 칩을 냉각하는 게 보통이다. 구글이 운영하는 거대한 데이터센터에서는 대규모 액체냉각시스템이 채택되고 있으며 지난 8월 24~26일 캘리포니아에서 개최된 핫칩스 2025(Hot Chips 2025) 기간 중 구글이 해당 액체냉각시스템에 대해 설명했다.

최근 최신 칩 소비전력 증가와 그에 따른 발열 증가에 따라 데이터센터에서 액냉 역할은 점점 중요해지고 있으며 그 중에서도 AI 머신러닝에 사용되는 데이터센터에서는 막대한 전력 소비와 충분한 냉각시스템이 요구된다. 구글에 따르면 물의 열전도율은 공기 4,000배이며 액냉시스템은 AI 붐에 따른 냉각 수요에 대처하는 매력적인 솔루션이라고 한다.

구글은 액냉시스템이 몇 가지 실험과 반복을 거쳐 2018년 형태를 갖췄다고 밝혔다. 현재 사용되는 액냉시스템은 데이터센터 규모를 상정해 설계됐으며 냉각액 순환 파이프는 TPU 서버 내부에 수납되는 게 아니라 랙 전체에 확산되어 있다고 한다. 또 냉각액 순환을 포함한 냉각시스템 전체의 제어는 AI에 의해 최적화되어 있으며 냉각 효율이 최대한이 되도록 고안되어 있다.

구글 데이터센터에서는 냉각액분배유닛(CDU) 6대를 랙 하나에 탑재한다. 라디에이터와 펌프 역할을 담당하는 CDU는 플렉시블 호스와 퀵디스커넥트 커플링을 채택하고 있어 유지보수를 용이하게 하고 허용오차 요구사항을 완화한다. CDU 랙에서는 CDU 6대 중 5대가 활성화되어 있어 유닛 1대를 다운타임 없이 유지보수할 수 있도록 되어 있다고 한다.

CDU에서 보내진 냉각액은 각 서버에서 분배되어 서버 내부에서 칩 위에 설치된 구리제 냉각플레이트로 흘러간다. 이 액체플레이트에서 열을 흡수한 냉각액은 CDU 내 열교환기를 거쳐 데이터센터 전체의 냉각수 배출경로로 흘러간다. CDU는 냉각액과 시설 전체 냉각수 사이에서 열교환을 수행하지만 이 두 액체가 섞이는 일은 없다.

칩은 루프 내에서 직렬로 연결되어 있기 때문에 후단에 위치한 칩은 이미 다른 칩을 통과해 데워진 냉각액으로 냉각되게 된다. 다시 말해 후단에 위치한 칩일수록 냉각 효율이 떨어지기 때문에 냉각시스템은 각 루프의 마지막 칩 요구사항에 기반해 설계되어 있다고 한다.

구글은 냉각 성능을 더 높이기 위해 냉각플레이트 설계에도 공을 들이고 있다. 열저항을 저감하기 위해 기존의 단방향류 구성보다 성능이 높은 스플릿플로우 방식 구리제 냉각플레이트를 채택했다. TPU 세대별로도 개량이 가해지고 있다.

3세대 TPU에서는 냉각플레이트가 직렬로 배치되고 리드 그러니까 뚜껑 부착 칩패키지가 사용됐다. 한편 3세대 TPU와 비교해 소비전력이 1.6배로 증가한 4세대 TPU에서는 더 높은 열전달 효율을 얻기 위해 칩이 노출된 패키지로 변경됐다. 또 4세대 TPU에서는 냉각플레이트를 병렬로 배치해 균일한 흐름을 최적화하고 전기기계식 밸브로 유량을 능동적으로 제어하는 구조도 도입되어 있다고 한다.

액체냉각은 칩에서 열을 제거할 뿐 아니라 냉각 관련 전력 요구사항을 줄이는 데도 효과적이라고 하며 구글에 따르면 액체냉각펌프 소비전력은 공냉시스템에서 필요한 팬 전력 5% 미만이었다고 한다.

이런 대규모 시스템에서는 신뢰성과 유지보수성이 극히 중요하다. 구글의 액체냉각시스템은 2020년 이후 일관되게 99.999%라는 높은 가동률을 유지하고 있다고 한다. 이는 설계, 도입, 운용 각 단계에서 업타임을 고려한 게 주효했다.

설계 면에서는 CDU를 6대 운용해 중복성을 갖추고 있으며 도입 시에는 누수테스트, 냉각액 충전과 공기빼기, 펌프나 원격감시시스템의 기능테스트 등 엄격한 절차가 이뤄진다.

운용 면에서는 예방보수, 원격감시시스템과 알람, 부식이나 생물증식 감지, 안전프로토콜을 동반한 누수 감지와 대응, 비상시 조작절차, 압력 목표 유지, 그리고 여과 등 다방면에 걸친 대책이 강구되고 있다.

구글은 컴포넌트의 광범위한 누수테스트와 경보시스템, 정기유지보수 등 예방조치를 강구함과 동시에 문제 발생 시 직원 다수가 일관된 방법으로 대응할 수 있도록 명확한 프로토콜을 정비하고 있다며 냉각시스템 설계 단계부터 운용과 보수성을 염두에 둘 필요가 있다고 강조했다. 관련 내용은 이곳에서 확인할 수 있다.