오픈AI, 80년 미해결 수학 반증 성공했다

오픈AI(OpenAI)는 5월 20일 자사 내부 AI 모델이 이산 기하학 핵심 미해결 문제인 단위 거리 문제에 관한 오랜 예상을 반증하는 데 성공했다고 발표했다. 단위 거리 문제란 평면 위에 n개 점을 놨을 때 거리가 정확히 1이 되는 점 쌍을 최대 몇 개 만들 수 있느냐는 문제다.

오픈AI 모델을 활용한 수학 연구 사례는 이전에도 보도된 바 있으며 지난 4월 23일 출시된 챗GPT 5.5 프로가 박사 과정 수준의 연구를 1시간 만에 수행한 것이 화제가 됐다. 이번에는 오픈AI 내부 모델을 사용해 한층 더 높은 수준 연구를 수행하는 데 성공한 것이다.

이번에 AI가 다룬 단위 거리 문제는 수학자 폴 에르되시(Paul Erdős)가 1946년에 제기한 문제로 오픈AI는 이를 조합 기하학에서 가장 잘 알려져 있고 설명하기 쉬운 문제 중 하나로 소개했다. 단위 거리 문제는 문제 자체는 짧은 반면 풀기는 극히 어렵다.

단위 거리 문제에서 가장 단순한 형태로 n개의 점을 한 직선 위에 늘어놓으면 인접한 점끼리 n−1개 단위 거리 쌍을 만들 수 있다. 또 모눈종이 격자점처럼 정사각 격자 위에 점을 배치하면 단위 거리 쌍의 수는 2n개가 된다. 나아가 정사각 격자를 크기 조정해 맞추는 기존 구성 방식으로는 n보다 조금 빠르게 증가하는 결과를 낼 수 있다.

기존 크기 조정된 정사각 격자 구성에서는 단위 거리 쌍의 수가 적어도 n의 (1＋C/loglog(n))승이 됨이 알려져 있었다. 여기서 C는 n의 크기에 무관한 고정된 양의 상수로 정수론적 구성에서 얻어지는 보정 항의 강도를 나타낸다. loglog(n)은 n이 커질수록 천천히 증가하므로 지수 부분 C/loglog(n)은 점차 0에 가까워진다. 다시 말해 정사각 격자 계열 구성은 n보다 조금 빠르게 증가하기는 하지만 n을 고정된 비율로 넘어설 만큼 강한 증가세는 아니었다.

그 때문에 수학자 사이에서는 오랫동안 단위 거리 쌍의 최댓값 u(n)의 상계가 n의 1＋o(1)승 정도로 제한될 것이라고 예상되어 왔다. o(1)은 n이 커질수록 0에 가까워지는 양을 나타내는 란다우(Landau) 기호의 소문자 o로 n의 1＋o(1)승은 n보다 약간 클 뿐이라는 의미다.

오픈AI 내부 AI 모델은 무한히 많은 n에 대해 적어도 n의 (1＋δ)승 개의 단위 거리 쌍을 갖는 점 배치를 구성할 수 있다는 걸 보여줬다. 이는 단위 거리 쌍의 최댓값이 n의 (1＋o(1))승 정도로 억제된다는 기존 상계 예상을 뛰어넘는 구성 예이며 해당 예상을 반증한 것이다. δ는 0보다 큰 고정값으로, n이 커져도 사라지지 않는 개선 폭을 의미한다.

오픈AI에 따르면 AI 모델이 처음 생성한 증명에서는 δ의 구체적인 값이 제시되지 않았지만 프린스턴대학 수학자 윌 소윈(Will Sawin)의 개량을 통해 δ=0.014로 설정할 수 있다는 게 밝혀졌다. 지금까지 단위 거리 문제의 하계는 에르되시가 내놓은 1946년 구성 이래 거의 변하지 않았으며, 이번 발견으로 80년 만에 하계가 갱신됐다. 상계에 대해서는 1984년 스펜서(Spencer), 세메레디(Szemerédi), 트로터(Trotter)에 의한 O(n의 4/3승)이라는 결과가 본질적으로 그대로 남아 있다.

이번 발견은 오픈AI가 내부에서 테스트하던 범용 추론 모델에 의해 도출됐다. 해당 모델은 일반 문제에 대처하도록 설계된 모델이며 수학 전용 AI가 아니다. 오픈AI는 발견 경위를 고도의 범용 추론 모델이 최첨단 연구에 기여할 수 있는지 조사하는 작업의 일환으로 에르되시 문제 세트를 평가하던 중 단위 거리 문제 미해결 예상을 반증하는 증명이 출력됐다고 설명했다. 증명은 외부 수학자 그룹에 의해 검증됐으며 배경과 의의를 설명하는 부속 논문도 작성됐다.

증명 내용에는 초등적으로 보이는 기하 문제에 대수적 정수론 고급 도구가 활용됐다. 오픈AI는 에르되시의 기존 하계 구성이 허수 단위 i를 사용해 a＋bi 형태로 표현되는 가우스 정수(Gaussian integer)로 이해할 수 있다고 설명했다.

새로운 증명에서는 가우스 정수보다 복잡한 대수적 수체를 활용해 단위 길이 차이를 더 많이 만들어낼 수 있는 풍부한 대칭성을 이끌어냈다. 또 대수적 수체의 구조와 존재를 탐구하는 전문 이론인 무한 유체탑(infinite class field tower)과 고로드-샤파레비치(Golod-Shafarevich) 이론 같은 도구를 사용해 증명에 필요한 수체가 실제로 존재함을 보였다. 오픈AI는 대수적 정수론에서 알려진 개념이 유클리드 평면 위 기하 문제에 영향을 미친다는 사실이 놀라웠다고 밝혔다.

외부 수학자 반응도 이어졌다. 프린스턴대학 조합수학자 노가 알론(Noga Alon)은 단위 거리 문제를 에르되시가 즐겨 다루던 문제 중 하나로 표현하면서 오픈AI 내부 AI 모델에 의한 해결을 오랜 미해결 문제를 매듭짓는 탁월한 성과라고 평했다. 또 필즈상 수상자 팀 가워스(Tim Gowers)는 부속 논문에서 AI 수학의 이정표라고 평가했다. 정수론 연구자 아룰 샨카르(Arul Shankar)는 현재 AI 모델이 인간 수학자 보조 역할을 넘어 독창적인 아이디어를 생성하고 실행할 수 있다는 걸 보여준다고 말했다.

오픈AI는 수학 문제는 정식화가 정확하고 증명은 검증 가능하며 긴 논증은 처음부터 끝까지 논리가 이어져야 성립하기 때문에 수학이 AI 추론 능력을 측정하는 명확한 시험장이 된다고도 밝혔다. 오픈AI는 이번 성과에 대해 AI가 단순히 답을 내놓은 게 아니라 서로 멀리 떨어진 분야의 아이디어를 연결해 수학적 발견을 이뤄낸 사례라고 설명했다.

오픈AI는 더 강한 수학적 추론 능력을 갖춘 AI가 연구자에게 강력한 파트너가 될 수 있다고 밝혔다. 복잡한 논증을 일관되게 다루고 멀리 떨어진 지식 분야를 연결하며 전문가가 우선시하지 않았던 유망한 방향을 제시하는 능력은 수학뿐 아니라 생물학, 물리학, 재료과학, 공학, 의학 등에도 관련된다고 했다. 한편 오픈AI는 인간 판단의 중요성도 강조하며 AI는 탐색·제안·검증을 지원할 수 있지만 중요한 문제를 선택하고 결과를 해석하며 다음에 추구할 질문을 결정하는 역할은 인간에게 남는다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.