엔비디아 AI 칩 없이…中 AI 모델 롱캣-2.0 등장

중국 기업 메이퇀(Meituan)이 1.6조 파라미터·100만 토큰 컨텍스트 길이를 가진 AI 모델인 롱캣-2.0(LongCat-2.0)을 공개했다. 사전 학습부터 추론까지의 전 과정을 국내 5만 기 이상 칩으로 실행한 모델이라고 한다.

롱캣-2.0은 전체 파라미터 수 1.6조, 토큰당 480억 파라미터가 활성화되는 대규모 MoE 언어 모델. 최대 컨텍스트 길이는 100만 토큰으로 이런 스펙은 딥시크 최첨단 모델인 딥시크-V4-프로(DeepSeek-V4-Pro)와 거의 동일한 수준이다.

기반이 되는 모델은 총 파라미터 수 5600억인 롱캣-플래시(LongCat-Flash)로 파라미터 효율 향상과 장문 컨텍스트에서의 학습 및 추론 속도 개선이 이뤄졌다.

메이퇀에 따르면 AI 에이전트 앱 보급으로 대규모 언어 모델에는 긴 입력을 효율적으로 처리하는 능력이 요구되고 있지만 입력 어디에 가중치를 둘지 결정하는 기술인 어텐션(Attention)에 병목이 있었다고 한다. 이에 메이퇀은 기존 딥시크 스파스 어텐션을 발전시킨 LSA(LongCat Sparse Attention)을 개발·도입했다. 이를 통해 모델 품질을 훼손하지 않으면서 장대한 컨텍스트 처리를 고속화했다고 한다.

롱캣-2.0은 학습부터 배포까지 전부 국산 ASIC 슈퍼포드에서 실행된 것이 특징이다. 기존 최첨단 AI 모델 대부분은 엔비디아 칩으로 학습·추론되고 있지만 중국은 미국 규제로 인해 최고 성능 엔비디아 칩을 입수할 수 없어 AI 개발에서 미국에 뒤처지고 있다. 딥시크나 Z.AI 같은 기업은 화웨이를 비롯한 중국 제조사 칩에서 추론 작업을 실행하고 있지만 대규모 모델 학습에서는 여전히 과제를 안고 있는 게 현실이다.

메이퇀은 어떤 칩을 사용했는지 공식 발표에서는 명시하지 않았지만 이후 위챗을 통해 화웨이 HCCL(Huawei Collective Communication Library)를 사용했다고 밝혔다. 이는 엔비디아 컬렉티브 커뮤니케이션 라이브러리(NVIDIA Collective Communication Library)와 동일한 칩 간 통신 시스템이다.

메이퇀이 사용한 액셀러레이터는 중국용 엔비디아 칩 H800(80GB)보다 기기당 메모리 용량이 대폭 적기 때문에 병렬화 전략과 메모리 관리 2가지 관점에서 대응했다고 한다.

코드 에이전트, 범용 에이전트, 기반 기능 3개 항목에서 롱캣-2.0을 타사 모델과 비교한 표도 공개됐는데 성능은 제미나이 3.1 프로에 필적한다. 롱캣-2.0은 조만간 오픈 모델로 공개될 예정이며 이미 허깅 페이스에 모델 페이지가 마련되어 있다. 또 관련 코드가 깃허브에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.