씽킹머신스랩, 1조 파라미터 오픈 웨이트 모델 발표했다

AI 기업 씽킹머신스랩(Thinking Machines Lab)이 용도에 맞춘 추가 학습을 중시하는 새로운 AI 모델인 잉클링(Inkling)을 발표했다. 모델 가중치가 공개되는 오픈 웨이트 모델로 텍스트 뿐 아니라 이미지와 음성도 다룰 수 있으며 사고에 사용하는 연산량 조정도 가능하다고 한다.

문의 대응 AI에 자사의 반품 규정을 학습시키거나 프로그래밍 지원 AI에 사내 고유 설계 규칙을 준수시키려 할 경우 범용 AI 모델을 도입하는 것만으로는 기대대로 작동하지 않을 수 있다. 기업이나 개발자가 필요로 하는 지식과 행동 양식은 용도마다 다르기 때문에 기존 모델에 추가 학습을 시행하는 파인튜닝이 필요해지는 것.

잉클링은 종합 성능만을 내세우는 모델이 아니라 이용자가 목적에 맞게 재구성하기 위한 토대로서 개발됐다. 씽킹머신스랩은 뛰어난 범용 모델만으로는 해결하기 어려운 실무상 문제가 있으며 조직 고유 지식을 활용한 파인튜닝이 성능 차이를 메운다고 설명하고 있다.

잉클링은 전체 파라미터 수 9,750억, 처리 시 사용되는 유효 파라미터 수 410억인 MoE(Mixture-of-Experts) 방식 트랜스포머 모델이다. MoE는 입력에 따라 일부 전문 영역만을 가동하는 구조로 전체 파라미터를 매번 사용하는 경우보다 연산량을 억제할 수 있다. 최대 100만 토큰 문맥을 처리하며 텍스트·이미지·음성·동영상을 포함한 45조 토큰으로 사전 학습했다고 한다.

잉클링에서는 특정 분야에만 성능을 집중시키는 대신 추론, 프로그래밍, 도구 조작, 지시 대응, 사실성, 이미지 인식, 음성 이해 등이 폭넓게 학습되어 있다. 씽킹머신스랩은 다양한 업무에 추가 학습할 수 있는 모델에는 출발점이 되는 폭넓은 능력이 중요하다고 밝혔다.

AI에게 깊이 생각하게 하면 어려운 문제를 풀 수 있는 가능성은 높아지지만 생성하는 토큰이 늘어날수록 처리 시간과 비용도 증가한다. 일상 대화에 대한 답변은 즉시 원하는 반면 복잡한 코드 수정에는 시간을 들여 검토하게 하고 싶은 등 적절한 연산량은 용도에 따라 다르다.

잉클링에서는 사고의 노력을 조정할 수 있어 속도를 우선하는 설정부터 성능을 우선하는 설정까지 전환이 가능하다. 터미널 벤치 2.1 테스트에서는 지난 6월 등장 당시 미국 최강 오픈 모델로 불렸던 네모트론 3 울트라(Nemotron 3 Ultra)와 동등한 수준 점수를 3분의 1 생성 토큰으로 달성했다고 보고하고 있다.

프로그래밍 및 도구 조작 관련으로는 지시로부터 구직 지원용 웹앱을 한 번에 작성하고 별도 AI 에이전트가 저장된 프로필을 사용해 입력란을 채우는 데모가 공개됐다. 나아가 웹 검색으로 정보와 사진을 조사하며 9페이지 분량 여행 잡지 스타일 PDF를 작성하거나 GPT 코덱스로부터 40차례에 걸쳐 지적을 받으며 대전형 게임을 개선하는 실험도 진행됐다. 단발적인 코드 생성뿐 아니라 도구를 활용하면서 긴 작업 공정을 진행하는 용도도 상정하고 있다고 한다.

잉클링 학습에서는 지도 학습 파인튜닝을 출발점으로 3,000만 회를 넘는 강화학습 시행이 실시됐다. 수학과 추론에 관한 복수의 평가를 종합한 지표는 0.264에서 0.356까지 상승했으며 시행 횟수를 늘릴수록 안정적으로 개선됐다고 한다. 지도 학습 파인튜닝은 정답 예시를 본보기로 학습시키는 방법이고 강화학습은 답변에 대한 평가를 단서로 바람직한 행동을 습득시키는 방법이다.

씽킹머신스랩은 잉클링을 오픈코드(OpenCode) 위에서 구동하고 자사 제공 추가 학습 서비스 팅커(Tinker)를 사용해 잉클링 자체를 파인튜닝시키는 데모도 공개했다. 잉클링 자신에게 답변에서 영문자 e를 일절 사용하지 않는 모델로 스스로를 파인튜닝하라고 지시하자 잉클링은 학습용 데이터와 평가 방법을 작성하고 팅커로 학습 처리를 실행한 뒤 결과를 검증하여 새로운 가중치로 전환했다. 소요 시간은 합계 27분이었다.

잉클링은 팅커에서 64K 또는 256K 토큰 문맥 길이로 이용할 수 있으며 채팅이나 웹 검색을 시험해볼 수 있는 잉클링 플레이그라운드(Inkling Playground)도 제공된다. 전체 가중치는 허깅 페이스에서 공개되어 있으며 엔비디아 블랙웰용으로 경량화한 NVFP4 버전도 준비되어 있다.

또 더 소형인 잉클링-스몰(Inkling-Small) 공개도 예정되어 있다고 한다. 잉클링-스몰은 전체 파라미터 수 2760억, 유효 파라미터 수 120억으로 테스트가 끝나는 대로 가중치가 공개될 예정이다. 씽킹머신스랩은 잉클링을 향후 확장해 나갈 모델군 첫 공개 버전으로 자리매김하고 멀티모달 성능과 학습 기반을 지속적으로 개선해 나가겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.