화웨이, 中 AI 생태계로 훈련한 언어 모델 출시했다

화웨이가 매개변수 720억 개를 가진 대규모 언어모델인 Pangu Pro MoE 72B를 6월 30일 출시했다. Pangu Pro MoE 72B는 화웨이 어센드(Ascend) 생태계를 사용해 훈련됐으며 매개변수 수 1,000억 미만 모델 중에서는 최고 수준 성능을 갖추고 있다고 한다. 또 화웨이는 AI 모델 개발과 관련된 복수 기술을 오픈소스화했다.

고성능 AI 개발에는 대량 GPU 등을 갖춘 대규모 AI 인프라가 필요하지만 미국은 고성능 반도체에 대한 중국 수출을 엄격히 제한하고 있어 중국에서는 엔비디아 등 AI 칩을 입수하기 어려워지고 있다. 이런 상황에서 화웨이가 엔비디아 AI 칩에 필적하는 성능을 갖춘 어센드 시리즈 개발에 성공하면서 미국 기업에 의존하지 않는 AI 개발 체제 구축이 현실적이 됐다.

6월 30일 화웨이는 어센드 생태계를 사용해 훈련한 대규모 언어모델 Pangu Pro MoE 72B를 출시했다. Pangu Pro MoE 72B 각종 벤치마크 결과를 Qwen3-32B, GLM-Z1-32B, Gemma3-27B, Llama4-Scout과 비교한 결과를 보면 Pangu Pro MoE 72B는 복수 벤치마크에서 최고 점수를 기록했으며 매개변수 수가 더 많은 Llama4-Scout에 대해서도 복수 테스트에서 승리했다.

요즘 LLM 대부분은 복수 전문가 모델을 결합하는 MoE(Mixture of Experts)라고 불리는 구조를 채택하고 있다. 하지만 MoE에는 일부 전문가 모델이 빈번하게 활성화되어 병렬 실행 시 비효율성이 발생한다는 문제가 있다고 한다. 이 문제를 해결하기 위해 화웨이는 전문가 모델 워크로드를 적절히 균형화할 수 있는 MoGE(Mixture of Grouped Experts)를 개발해 Pangu Pro MoE 72B 훈련에 적용했다. 이를 통해 어센드 800I A2 NPU에서 Pangu Pro MoE 72B를 실행할 때 초당 1148 토큰이라는 고속 처리 속도를 실현했다.

Pangu Pro MoE 72B 모델 데이터는 공개된 상태다. 또 Pangu Pro MoE 72B 훈련에 사용된 각종 기술도 오픈소스화되어 공개됐다. 관련 내용은 이곳에서 확인할 수 있다.

한편 화웨이가 미국 경쟁 기업으로부터 기업 기밀을 훔치려 한 것과 제재 대상이 된 이란에 감시 장비를 판매한 것 등 16건에 이르는 혐의로 2019년 기소된 사건에서 뉴욕 동부지구 연방지방법원은 혐의 대부분을 인정하며 화웨이 측 기소 취하 신청을 기각했다. 신청 기각으로 화웨이는 미국에서 재판에 직면하게 됐다.

화웨이는 기밀 절취와 협박, 전신·은행 사기, 기타 범죄에 관여했다고 제기된 16건에 이르는 혐의에 대해 기소 취하를 신청했었다. 혐의 중에는 화웨이와 자회사가 미국 경쟁 기업 기밀을 훔치려 기도한 것과 이란이 미국의 경제 제재 대상임에도 불구하고 감시 장치를 판매해 사업을 진행한 것 등이 포함되어 있다.

이란으로의 장비 판매를 둘러싸고는 메가뱅크 HSBC 판단을 오도한 사기 혐의로 화웨이 멍완저우 CFO가 2018년 말 캐나다에서 체포됐고 2021년 9월 중국에서 붙잡힌 캐나다인 2명과의 신병 교환으로 석방됐다.

뉴욕 동부지구 연방지방법원 판사는 기소장 중 정보 절취 6건과 은행 사기, 브랜드 확대를 위해 행한 협박에 대해 충분한 혐의가 있다고 인정했다. 화웨이 신청을 기각했다. 판사는 이란으로의 장비 판매에 관여한 스카이컴이라는 기업이 화웨이 이란 자회사로 운영됐으며 최종적으로 미국 금융 시스템을 통해 이뤄지는 1억 달러 이상 송금에서 이익을 얻는 위치에 있었다는 점에 대해 검찰 측 주장이 충분했다고 밝혔다. 재판은 2026년 5월 4일부터 수개월간 진행될 예정이다.

한편 신청 기각에 대해 화웨이 및 화웨이 측 변호사는 논평을 발표하지 않았다. 또 정부 측 조세프 노세라 변호사도 논평하지 않았다. 관련 내용은 이곳에서 확인할 수 있다.