수학 연구에도 AI 혁명이…“아직 시작에 불과하다”

AI 발전은 비즈니스와 엔터테인먼트 뿐 아니라 다양한 연구 분야에도 혜택을 가져오고 있다. 최근 수학 연구에서도 AI가 활용되는 사례가 늘고 있으며 수학자도 기대를 나타내고 있다.

지난 2025년 7월 구글이 개발하는 AI인 제미나이 딥 씽크(Gemini Deep Think) 강화 버전을 비롯한 복수 AI가 세계 최고 수준의 고교생이 겨루는 국제수학올림피아드에서 출제된 문제에 도전해 6문제 중 5문제를 완벽히 풀었다. 이는 인간이라면 수학올림피아드에서 금메달을 획득할 수 있는 수준으로 많은 수학자가 AI에 주목하게 됐다.

과거에는 AI가 오류를 일으키기 쉬워 수학 연구에는 도움이 되지 않는다고 여겨졌지만 2025년에는 AI를 활용해 미해결 수학 문제에 도전하고 새로운 풀이법을 단시간에 발견하거나 증명하는 사례도 늘었다. 캘리포니아대학 수학자 테런스 타오(Terence Tao)는 2025년은 AI가 다양한 과제에서 진정으로 도움이 되기 시작한 해였다고 말했다.

2025년 여름은 AI의 수학 능력에서 전환점이 됐지만 AI 개발 기업과 일부 수학자는 이전부터 AI를 활용해 수학 문제를 해결하는 데 힘써왔다. 구글 딥마인드는 2018년부터 AI로 수학 문제를 풀기 위한 연구를 진행해왔으며 2025년 1월에는 타오를 비롯한 수학자가 구글 딥마인드와 협력해 알파이볼브(AlphaEvolve)라는 AI 시스템 개발에 착수했다.

알파이볼브는 제미나이를 활용해 수백 줄에 달하는 파이썬 코드로 프로그램을 작성하고 유전 알고리즘(genetic algorithm)이라 불리는 기법을 사용해 이 프로그램을 진화시켜 수학 문제에 대한 최적의 해를 찾아낸다.

수학자 4명이 수개월에 걸쳐 1~2일 간격으로 알파이볼브를 새로운 수학 문제에 적용했다. 그 결과 다양한 수학 분야에 걸친 67개 문제 가운데 알파이볼브는 23개 문제에서 기존에 있던 최선의 풀이를 소폭 개선했고 36개 문제에서는 기존과 동등한 결과를 얻었다. 연구팀은 이 결과를 대규모 수학적 탐구와 발견(Mathematical exploration and discovery at scale)이라는 논문으로 발표했다.

타오 교수는 현행 AI 모델에 대해 방대한 문제 목록 가운데 단순히 해결 가능한 걸 찾아내는 데 매우 뛰어나다며 이는 지루하고 보람 없는 작업으로 인간이 하고 싶어 하는 일이 아니라고 말했다. 또 산발적인 성공 사례 이면에는 보고되지 않은 실패도 다수 있지만 그럼에도 수학 분야에서 AI 성과는 괄목할 만하다고 밝혔다.

그와 함께 알파이볼브 개발에 참여한 수학자 하비에르 고메스세라노(Javier Gómez-Serrano)는 자신이 쓸 수 있는 시간 중 3분의 2를 AI에 할애하고 있다고 밝혔다. 그는 AI는 유용하고 실용적인 단계에 도달하고 있다며 이는 우리가 수학을 하는 새로운 방식의 시작이라고 말했다.

취리히 연방 공과대 수학자인 요하네스 슈미트(Johannes Schmidt)도 AI와의 대화가 연구에 유익하다고 밝혔다. 그는 AI가 많은 실수와 허황된 말을 한다고 인정하면서도 이 대화에서 얻을 건 있다며 모든 아이디어가 좋다고는 할 수 없지만 나쁜 건 무시하고 좋은 것만 받아들이면 된다고 말했다.

UCLA 캠퍼스 수학자인 어니스트 리우(Ernest Ryu)는 주로 최적화 이론이라 불리는 응용수학 분야에서 연구를 진행하고 있다. AI가 수학올림피아드 문제를 풀었다는 발표를 계기로 실제로 사용하기 시작한 그는 AI의 수학 능력이 이전보다 크게 향상됐다는 걸 체감했다. 이후 그는 AI를 강의 노트 작성 등에 활용하게 됐다.

그는 지난해 10월 과거 여러 차례 시도했던 최적화 이론의 미해결 문제에 챗GPT를 활용해 도전하기 시작했다. 1983년 러시아 수학자 유리 네스테로프(Yuri Nesterov)가 제기한 이 문제를 챗GPT에 물어보자 틀린 증명만 돌아왔다. 하지만 오류에 이르는 과정 속에서도 흥미로운 단계가 있었고 부분적으로는 잠재적으로 유용해 보이는 지점도 있었다. 그는 검증자로 챗GPT 답변을 살펴보며 옳은 부분만 남겨 피드백을 이어간 끝에 3일 후 간략한 증명에 도달했다.

그는 연구 결과를 논문으로 정리해 발표한 수개월 후 대학을 휴직하고 오픈AI에 기술 스태프로 입사했다. 그는 이건 가장 독창적인 것도 가장 복잡한 것도 아니었지만 결코 쉬운 일도 아니었다며 챗GPT 활용으로 발견이 실제로 가속화된 구체적인 사례라고 말했다.

AI가 다양한 수학 연구를 가속화할 것으로 기대되는 한편 수학을 배우는 학생 교육 방식에 악영향을 미칠 가능성도 지적된다. 버지니아대를 휴직하고 AI 개발 기업 액시옴(Axiom)에 입사한 켄 오노(Ken Ono)는 AI가 수학 연구에 도움이 될 가능성에 대해서는 밝은 전망을 갖고 있지만 모든 수준 업무와 교육에서 AI 역할에 대해서는 깊이 우려하고 있다고 밝혔다.

노터데임대 수학자 조엘 데이비드 햄킨스(Joel David Hamkins)는 학생이 제출하는 과제 상당 부분이 AI에 의해 생성되고 있어 숙제를 내는 걸 포기했다고 밝혔다. AI가 처리한 과제를 읽고 싶지 않다며 모든 걸 수업 내 쪽지 시험 등으로 해결해야 하는 상황은 학계 전체 문제라고 지적했다. 다른 유수 대학 소속 수학자도 AI는 진지한 수학 연구자 발전을 가속화하는 동시에 더 많은 수학 연구자를 육성하는 걸 저해하는 심각한 위험이 있다고 말했다.

타오 교수도 AI가 학생 사고력을 빼앗을 가능성에 우려를 나타내면서도 AI가 수학 연구에 가져올 변화에 기대를 걸고 있다. 그는 AI 도구를 활용하면 한 번에 수천 개에 달하는 문제를 해결하고 통계적 연구를 시작할 수 있다며 기존 수학 방식과는 외관도 느낌도 전혀 다른 게 될 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.