“AI 과외도 인간 전문가만큼 효과있다”

공부하다 모르는 부분을 편하게 물어볼 과외 교사가 있으면 든든하지만 사람 전문가에게 1대1로 배우려면 비싼 수업료를 내야 한다. 핸드셰이크 AI 리서치(Handshake AI Research) 커티스 노스컷(Curtis Northcutt) 연구팀은 AI 과외로도 똑같이 배울 수 있는지 알아보려고 미국 대학원 입학시험 GRE 대비 과정에서 학습 효과와 비용을 비교했다.

AI 개인 지도 연구는 이전에도 이뤄졌다. 2025년 대학 물리학 수업을 대상으로 한 연구에서는 AI 개인 지도를 받은 학생이 교실 수업을 들은 학생보다 짧은 시간에 높은 학습 성과를 냈고 학습 의욕도 높았다. 이 연구가 사람이 하는 집단 수업과 AI 개인 지도를 비교했다면 노스컷 연구팀은 AI 과외와 사람 전문가 개인 지도를 맞비교했다.

◇ 성인 2,383명 대상 실험=실험 참가자 성인 2,383명은 먼저 수학이나 언어 영역 GRE 문제 27개를 풀고 틀린 문제를 5분 동안 다시 봤다. 이어 AI 13종 가운데 하나와 대화하며 배우는 그룹과 사람 전문가에게 화상통화로 배우는 그룹, GRE와 무관한 교육 영상을 보는 그룹으로 나뉘어 1시간을 보냈다. 각 참가자를 맡은 AI나 사람 전문가에게는 참가자가 첫 시험에서 틀린 문제를 미리 알려줬다.

1시간이 지나자 참가자 전원이 같은 영역의 다른 문제 27개를 풀었다. 연구팀은 첫 시험보다 정답률이 얼마나 올랐는지 비교했다.

수학과 언어 결과를 합치면 AI 지도 2,139회에서는 정답률이 평균 13.9%포인트 올랐다. 사람 전문가 지도 140회에서는 15.6%포인트, 영상 시청 190회에서는 7.1%포인트 상승했다.

단순 평균으로는 사람 지도가 정답률을 더 끌어올렸다. 사전 시험 정답률 등을 고려하면 AI 지도에 따른 정답률 상승 폭은 사람 지도보다 0.58%포인트 작은 것으로 추정됐다. 하지만 이 차이가 연구팀이 미리 정한 동등 범위인 ±4.09%포인트 안에 들어 수학과 언어를 합친 학습 효과는 동등하다고 판정했다. 영역별로 보면 수학만 동등 판정을 받았고 언어는 사람 지도가 정답률을 더 많이 올렸다.

수학과 언어에서 각각 AI 13종을 시험했는데 두 영역 모두에 쓰인 12종을 사람 전문가 지도와 하나씩 비교하자 6종이 동등한 학습 효과를 보였다. 6종 가운데 가장 저렴한 젬마 4 31B(Gemma 4 31B)는 학습 계획과 연습 문제 작성부터 1시간 대화까지 드는 AI 모델 이용료가 지도 1회당 평균 0.067달러였다.

◇ 1%포인트 올리는 데 0.0052달러=연구팀은 지도 비용을 비교하려고 공개된 요금을 참고해 사람 전문가 수업료를 시간당 10만5,000원대(75달러)로 가정했다. 이어 AI와 사람 각각 지도 1회 비용을 평균 정답률 상승 폭으로 나눴다. 그 결과 정답률 1%포인트를 올리는 데 드는 비용은 젬마 4 31B가 0.0052달러이고 사람 전문가가 4.81달러로 나타났다. 젬마 4 31B 비용이 사람의 918분의 1인 셈이다.

젬마 4 31B 외 다른 AI 모델도 정답률 1%포인트당 비용이 0.024~1.40달러로 사람 전문가 수업료보다 낮았다.

다만 918분의 1이라는 수치는 AI 모델 이용료와 사람 수업료 참고 가격으로 구한 값이며 지도 1회 요금을 그대로 비교한 결과가 아니다. 연구팀은 이번 실험이 GRE 대비 직후 학습 효과만 확인한 것이라며 몇 달 뒤에도 배운 내용이 남아 있는지는 앞으로 조사해야 한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.