바이트댄스, 클로드 미토스5 이상 AI 모델 개발중?

중국 기업 바이트댄스(ByteDance)가 최대 10조 개 파라미터 AI 모델을 개발하고 있다는 보도가 나왔다.

관계자에 따르면 바이트댄스는 최대 10조 개 파라미터를 가진 모델 훈련을 초기 단계에서 진행하고 있으며 이 단계에는 통상 3~6개월이 소요된다. 이후 모든 게 순조롭게 진행되면 파인튜닝을 거쳐 공개될 예정이라고 한다.

파라미터 수는 AI 모델 규모를 나타내는 수치로 클수록 더 많은 지식을 보유하고 있다고 볼 수 있다. 다만 단순히 파라미터 수가 많다고 해서 처리 능력이 곧바로 높아지는 건 아니다. 그럼에도 최근 중국에서 2.4조 파라미터 모델이 등장한 상황에서 10조 파라미터라는 규모는 상상을 초월하는 수준임을 알 수 있다.

보도에선 취약점 발견 능력이 뛰어나 전 세계적으로 화제가 되고 있는 클로드 미토스 5(Claude Mythos 5)를 비교 대상으로 제시하며 파라미터 수는 공개되지 않았지만 업계 추정치로는 8조 파라미터라고 지적했다. 바이트댄스 모델은 이를 상회한다는 것.

관계자에 따르면 다수 중국 AI 연구소가 미국산 모델에 필적하는 모델을 훈련 중이며 그중에서도 바이트댄스가 최대 규모를 목표로 하고 있다고 한다. 바이트댄스 개발팀은 다른 모델을 증류(distillation)해 재학습하는 방식이 아닌 독자적인 접근법을 채택하고 있어 다른 기업에 비해 개발이 다소 뒤처져 있다고 전해졌다.

미중간 AI 개발 경쟁이 격화되는 가운데 최근에는 일부 벤치마크 테스트에서 개인용 최첨단 모델인 GPT-5.6 솔(GPT-5.6 Sol)과 클로드 페이블 5(Claude Fable 5)를 넘어서는 점수를 기록한 키미 K3(Kimi K3)가 공개된 바 있다. 관련 내용은 이곳에서 확인할 수 있다.