지난 며칠 사이 수학계에서 꽤 조용하지 않은 글 하나가 퍼졌다. 영국 케임브리지 대학교의 수학자이자 필즈상(수학계의 노벨상이라 불리는 최고 권위의 상) 수상자인 Timothy Gowers가 자신의 블로그에 ChatGPT 5.5 Pro와 함께 진행한 수학 연구 실험을 상세히 기록했다. 그 결과는, 솔직히 말하면, 꽤 불편한 느낌을 주는 수준이었다.
Gowers가 AI에게 던진 문제는 아무 문제나가 아니었다. 이스라엘 수학자 Mel Nathanson이 최근 논문에서 제기한 합집합(sumset) 크기에 관한 미해결 문제였다. 정수론의 한 분야에서 등장하는 이 문제는, 일반적인 수학 전공자라면 손도 대기 어려운 박사 과정 이상의 수준이다. Gowers는 단순히 “이 문제 풀어봐”라고 입력한 게 아니라, 단계별로 난이도를 높이며 총 네 차례에 걸쳐 AI와 상호작용했다.
첫 번째 과제에서 ChatGPT 5.5 Pro는 17분 5초 만에 지수적 상한(exponential bound)을 이차적 상한(quadratic bound)으로 개선하는 증명을 내놓았다. 두 번째 문제도 거의 막힘 없이 처리했다. 세 번째 과제, 즉 일반화된 h-fold sumset에서의 상한 개선 문제는 16분 41초가 걸렸다. 그리고 마지막 네 번째 과제에서 다항식 경계(polynomial bound) 달성에 성공했다. 총 소요 시간은 약 77분. 박사 과정 학생이 몇 주를 붙잡고 있어도 풀기 어려웠을 문제들이었다.
MIT에서 이 분야를 연구하는 대학원생 Isaac Rajagopal은 ChatGPT가 사용한 핵심 아이디어를 검토한 뒤, “h²-dissociated sets를 활용해 기하급수 대신 다항식 크기의 집합을 구성한 발상이 창의적이고 영리하다”고 평가했다. 단순한 계산 능력이 아니라, 구조적 통찰이 있었다는 뜻이다. N(h,k) ≤ O(k^(10h³))라는 상한을 이끌어낸 이 접근 방식은 전문가가 봐도 “이 방향이 있었구나”라는 반응이 나오는 수준이었다.
이미지 출처: Unsplash
수학 교육의 방정식이 달라진다
Gowers는 이 경험이 개인적으로 꽤 혼란스러웠다고 솔직하게 썼다. 가장 직접적인 문제는 수학 교육이다. 그는 오랫동안 박사 학생들에게 “온순한 문제(tame problems)”를 줘서 연구 방법론을 익히게 했다. 풀 수 있을 것 같지만 쉽지는 않은, 적당히 도전적인 문제들 말이다. 그런데 이제 그런 문제들 다수가 AI에 의해 몇십 분 안에 해결될 수 있다면, 그 교육 방식은 근본적으로 재검토해야 한다.
그가 내린 잠정적 결론은, 새로운 기준은 “LLM이 증명할 수 없는 것”이어야 한다는 것이다. 다만 그 경계가 어디인지는 아직 아무도 모른다. ChatGPT 5.5 Pro가 이번에 해결한 문제들도 불과 6개월 전의 모델이라면 못 풀었을 가능성이 높다.
한편으로는 이런 질문도 자연스럽게 따라온다. AI가 도구로서 수학자를 강화한다면, 그래서 한 명의 수학자가 AI와 협력해 이전의 열 명 몫을 해낸다면, 이건 좋은 일인가? Gowers 본인은 “숙련된 사람을 더욱 강화할 수 있다”는 가능성에 긍정적이지만, 그 혜택이 모두에게 평등하지는 않다는 점도 언급한다. ChatGPT 5.5 Pro는 월 200달러짜리 구독 상품이다. 이전까지는 수학 연구에서 거의 유일한 진입 장벽이 교육의 질이었다면, 이제는 경제적 접근성이라는 새로운 장벽이 생겨났다.
또 하나의 실용적인 문제가 있다. AI가 생성한 수학적 결과물을 어디에 발표할 것인가. arXiv는 현재 AI 생성 콘텐츠의 단독 제출을 허용하지 않는다. 인간 저자가 검증하고 책임지는 형태여야 한다는 기준이 남아 있다. 이 기준이 얼마나 오래 유지될 수 있을지는 별개의 문제다.
수학자 John Baez는 이 맥락에서 가치의 원천이 “희소성”에서 “효용성”으로 이동할 것이라는 해석을 내놓았다. 증명이 어렵기 때문에 가치 있는 게 아니라, 그 증명이 다른 문제들을 푸는 데 어떤 레버리지를 제공하느냐가 중요해진다는 뜻이다. 이건 수학만의 이야기가 아니다.
Gowers는 글 말미에서 “2027년에 박사 과정을 시작하는 사람이라면, 2029년 논문을 마칠 시점에 수학 연구의 의미가 지금과는 인식 불가능한 정도로 달라져 있을 것”이라고 썼다. 과장처럼 들리지 않는다는 게 문제다. 77분이라는 숫자가 자꾸 머릿속에 남는다.
출처