中 AI 개발, 중국어 훈련 데이터 부족 직면?

고도화된 AI 모델 성능을 향상시키려면 양질의 대량 훈련 데이터가 필요하다. 중국 AI 개발을 가로막는 문제로는 미국 첨단 AI 칩 수출 규제가 주목받아 왔지만 중국 AI 전문가는 중국어 훈련 데이터 부족이 다음 큰 병목이 될 수 있다고 경고하고 있다.

AI 훈련 데이터 부족은 중국만의 문제가 아니며 AI 발전이 고품질 데이터 부족으로 둔화될 가능성은 이전부터 지적되어 왔다. AI 연구기관 에포크 AI(Epoch AI)는 인간이 작성해 공개한 문장에 대해 품질이나 동일한 데이터를 반복 학습할 수 있는 효과를 고려한 실질적인 양을 300조 토큰으로 추산했으며 현재 추세가 이어질 경우 언어 모델은 2026년부터 2032년 사이 이 문장 데이터를 다 써버릴 가능성이 있다고 밝혔다.

중국에서 문제가 그 중에서도 심각하다고 보이는 이유 중 하나가 인터넷상에서 중국어를 사용하는 웹사이트가 적다는 것이다. 웹 기술 조사 서비스 W3테크스(W3Techs)에 따르면 지난 8월 10일 시점 사용 언어를 판정할 수 있었던 웹사이트 중 중국어를 사용하는 사이트는 1.3%였다. 참고로 영어는 49.5%다.

전문가는 중국에서는 AI 모델 훈련이나 평가에 사용하는 문장 데이터를 대량으로 모은 코퍼스(corpus) 정비가 대규모 언어 모델 시대에 대응하기에는 아직 초기 단계에 있다고 지적했다. 대규모 웹 아카이브 커먼 크롤(Common Crawl)에 포함된 중국어 데이터는 4.8%에 그치며 중국어 백과사전·과학서·학술지·사전 같은 지식 밀도가 높은 자료도 기존 중국어 코퍼스에는 적다고 한다.

전문가는 중국어 데이터를 늘리는 방법으로 출판물·고전 서적·지방지·역사 자료 등 디지털화를 추진하고 사전·영상·방언·소수민족 언어도 코퍼스에 포함시킬 걸 제안하고 있다. 또 저작권자로부터 사용 허가를 얻는 체계도 필요하다고 지적했으며 실제로 중국 화샤출판사(華夏出版社)는 서적에 대한 AI 훈련 사용을 금지하고 있다.

중국 정부도 중국어에 국한되지 않는 AI용 데이터 전반의 정비를 추진하고 있다. 중국 국가데이터국은 지난 6월 8일 2028년 말까지 과학 연구·공업 제조·의료 위생 같은 분야에서 실제 용도에 의한 검증을 거친 고품질 데이터셋을 구축할 계획을 발표했다. 수집이 어려운 데이터는 시뮬레이션이나 합성 기술로 보완할 방침.

중국정보통신연구원 위샤오후이(余暁暉) 원장은 국가데이터국 웹사이트에 게재된 기고에서 AI 시대 경쟁은 모델과 계산 능력 뿐 아니라 고품질 데이터 공급 시스템 경쟁이기도 하다고 언급한 뒤 데이터 생성·관리·유통·이용·가치 창출까지를 일체화한 체계를 가장 먼저 갖춘 국가가 다음 AI 개발 경쟁에서 주도권을 쥘 것이라고 주장하고 있다. 관련 내용은 이곳에서 확인할 수 있다.