수학자 반발 “AI 벤치마크에 수학 쓰는 건 해롭다”

대규모언어모델(LLM) 수학 능력은 눈에 띄게 발전해 여러 난제를 푸는 수준에 이르렀다. 하지만 AI 기업이 수학 문제 해결을 벤치마크로 내세우는 움직임이 수학이라는 학문과 수학계 자체에 해롭다는 지적이 나왔다. 필즈상 수상자 25명을 포함한 수학자들이 공개서한을 통해 경종을 울렸다.

수학자들은 공개서한에서 AI 기업과 수학계 목표 사이에 심각한 불일치가 있다고 지적했다. 이런 문제가 다른 과학·창작 분야에도 공통되며 사회 전체에 영향을 주는 넓은 문제의 일부일 수 있다고 봤다.

계기는 오픈AI(OpenAI)가 2026년 9월 8일 나비에-스토크스 문제를 해결했다고 발표한 일이다. 이 문제는 2000년 클레이수학연구소(Clay Mathematics Institute)가 가장 어렵고 중요한 문제로 고른 밀레니엄 문제 7개 가운데 하나다. 오픈AI는 공개하지 않은 모델로 진행한 연구 내용을 담은 166쪽짜리 논문을 발표했다. 하지만 수학자가 새 발견을 공유할 때 보통 제시하는 설명이 논문에 거의 없다는 점이 문제로 꼽혔다. AI 기업이 자사 모델 성능을 재는 지표로 수학 문제를 푸는 방식에 수학자가 반발한 이유다.

수학계는 형태와 수, 자연현상의 근본 구조를 이해하는 데 초점을 맞추고 여러 세대에 걸쳐 정교한 아이디어와 방법론, 추상화 같은 도구를 쌓아왔다. 수학 도구는 현대 과학기술 기반이다. 역사적으로 유명한 문제는 수학적 이해가 얼마나 나아갔는지 보여주는 지표이자 목표로 기능했다. 문제 해결은 새 통찰과 흥미로운 기법이 나왔다는 증거로 여겨졌고 수학자 사회의 오랜 논의와 단순화를 거쳐 교과서에 실릴 수준까지 이해가 깊어졌다. 지금의 수학적 아이디어 가운데 일부는 수 세기 뒤 누구나 이해하고 쓰는 도구가 될 수도 있다.

수학계는 서로 다른 접근법을 지닌 개인이 모여 공통 가치관을 나누는 인간 사회 축소판이다. 가장 귀한 자원은 학생과 아이디어라는 생각 아래 이들을 소중히 길러왔다. 학생에게는 연구나 다른 분야에서 활약할 기술을 기를 문제가 주어진다. 아이디어는 강연과 개인적 논의, 신중한 논문 집필을 거쳐 선행 연구와 관계를 분명히 밝히며 공유된다. 여기서 중요한 건 학생과 아이디어를 기르는 데 시간과 인간적 교류가 반드시 필요하다는 점이다.

AI가 주요 수학 문제를 증명한 사례는 수학계 울타리를 넘어 주목받는다. 하지만 문제 해결은 개념적 이해와 통찰이라는 주요 목표를 이루기 위한 도구이자 대리 지표에 지나지 않는다. AI 쪽에서 문제 해결만을 수학 본질로 받아들이면 도구 부분에만 눈이 쏠려 수학 본래 목표를 해칠 수 있다. 무엇보다 참과 거짓을 가리는 명제를 빠르게 대량 생산하는 일은 새 아이디어가 자랄 비옥한 토양을 무너뜨릴 위험이 있다.

AI가 수학 명제를 증명하면 성급하게 발표되는 일이 잦다. 그러면 논문 집필과 새 기법·아이디어 추출, 선행 연구 인용에 쓸 시간이 충분히 확보되지 않아 심각한 귀속과 표절 문제로 이어질 수 있다. AI가 내놓은 아이디어를 발전시켜 수학적 유산에 통합할 의욕 있는 수학자가 없으면 아이디어는 결코 온전히 뿌리내리지 못한다. 그런 상태가 당연해지면 수학자 사이 소통이 사라질 수 있다는 우려도 나온다.

지적 노동 전반을 겨냥한 위협도 거론됐다. AI를 쓴 결과가 애초 목적에서 멀어지는 상황이 눈앞에 나타나고 있다는 것이다. 여러 분야에서 오랜 훈련은 최종 성과를 얻는 데만 목적이 있지 않았다. 분야에 대한 이해를 깊이 하고 새 문제를 제기하며 아이디어를 만드는 능력을 기르는 것도 목적이었다. 하지만 AI 시스템은 방대한 인간 선행 연구를 바탕으로 성과를 곧바로 만들어내는 능력을 키우고 있어 본래 목적과 정합성이 흐트러지고 있다.

AI가 진짜 수학 연구와 이해를 강화하고 앞당길 가능성은 의심할 여지가 없고 수학계도 AI 진화에 적응해야 한다. 다만 AI 부상이 결국 수학계에 이익이 될지 파괴적 영향을 줄지는 AI를 통제하는 인간의 의사결정에 크게 좌우된다. 공개서한은 이 문제를 수학계와 AI 기업만이 아니라 같은 문제에 직면한 사회 전체가 시급히 다뤄야 한다고 맺었다.

오픈AI는 공개서한이 제기한 우려를 고려해 칼텍 매서톤(Caltech Mathathon) 후원을 철회하기로 했다고 한다. 매서톤도 우려 일부가 타당하다고 인정해 공식 설명을 갱신하고 2차 응모 요건에 아카이브(arXiv) 논문 게재를 필수 항목으로 추가했다. 관련 내용은 이곳에서 확인할 수 있다.