“AI 사용자는 본인 성과를 과대평가하는 경향”

현대에는 누구나 쉽게 챗봇 AI나 검색 엔진의 AI 도구를 이용해 다양한 의문에 대한 답을 얻을 수 있게 됐지만 AI 답변이 틀린 경우도 많다는 점에 주의가 필요하다. 하지만 그 중에는 AI 답변을 그대로 믿어버려 SNS 등에서 전문가를 상대로 엉뚱한 말을 해버리는 사람도 있다. 새로운 연구에서는 AI를 사용하는 사람은 자신의 성과를 과대평가하기 쉬우며 그 중에서도 AI 리터러시가 높은 사람일수록 경향이 두드러진다는 게 밝혀졌다.

자신의 능력을 정확하게 평가하는 건 중요하지만 인간은 보통 자신을 평균보다 위라고 평가하기 쉽다. 특정 분야에서 높은 능력을 가진 사람일수록 자신을 과소평가하고 능력이 낮은 사람일수록 자신을 과대평가하는 더닝-크루거 효과도 잘 알려져 있다.

AI 도구 사용이 일반화된 현대에는 AI를 사용했을 때의 성과를 적절히 평가하는 게 인간과 AI 상호작용을 최적화하는 데 있어 중요하다. 이에 핀란드 알토대학교 연구팀은 피험자 500명을 대상으로 미국 로스쿨 입학시험(LSAT)의 논리적 추론 과제를 풀게 하는 실험을 진행했다.

피험자 절반은 오픈AI의 챗봇 AI인 챗GPT를 사용했고 나머지 절반은 AI를 사용하지 않고 문제를 풀었다. 그 후 두 그룹 모두 AI 리터러시 및 자신의 성과에 대해 질문을 받았다. 이때 성과를 정확하게 평가한 경우 추가 보상이 약속됐으며 피험자에게는 자신의 성과를 정확하게 평가할 인센티브가 있었다고 한다.

연구팀은 이런 과제에는 막대한 인지적 노력이 필요하다며 사람이 AI를 일상적으로 사용하게 된 지금 이런 과제를 AI에 해결하게 하는 건 흔한 일이라며 이유는 너무 어렵기 때문이라고 말했다.

실험 데이터를 분석한 결과 AI 사용자는 보통 한 가지 문제에 대해 2번 이상 질문하는 경우가 거의 없었고 질문 하나나 지시만으로 만족하고 있었다는 것을 알 수 있었다. 대부분의 경우 AI 사용자는 질문을 복사해 그대로 챗GPT 입력창에 붙여 넣고 얻은 답변을 더 이상 검토하거나 재질문하지 않은 채 그대로 받아들였다고 한다.

연구팀은 단순히 AI가 문제를 해결해줄 것이라고 믿고 있었다는 게 밝혀졌다며 통상 결과를 얻기 위한 상호작용은 단 한 번뿐이며 이는 사용자가 시스템을 맹목적으로 신뢰하고 있다는 걸 의미한다면서 이는 인지적 오프로드라고 불리는 현상으로 모든 처리를 AI에 맡기고 있는 상태라고 지적했다.

또 챗GPT를 사용한 피험자는 자신의 성과를 정확하게 평가하는 능력이 현저히 낮았고 능력을 과대평가하기 쉬운 것으로 나타났다. 특징적이었던 건 자신의 능력을 과대평가하기 쉬운 경향이 AI 리터러시가 높은 사용자에게서 두드러졌다는 점이다.

연구팀은 AI에 관해서는 더닝-크루거 효과가 사라진다는 걸 발견했다. 실제로 놀랍게도 AI 리터러시가 높을수록 과대평가가 증가했다. AI 리터러시가 높은 사람은 AI 시스템과의 상호작용이 우수할 뿐 아니라 그 시스템에서의 자신의 성과를 판단하는 능력도 뛰어날 것으로 예상되지만 실제로는 그렇지 않았다고 말했다.

AI에 과제를 모두 맡기는 인지적 오프로드가 증가하면 결과나 답에 대해 다각적으로 검토하는 비판적 사고 능력이 손상된다. 그 결과 자신의 성과를 올바르게 평가하는 능력이 저하되고 신뢰할 수 있는 정보를 입수하기 어려워지거나 노동자 스킬이 쇠퇴하는 리스크가 발생한다고 한다.

연구팀은 현재의 AI 도구는 불충분하다며 메타인지를 기를 수 없고 자신의 실수로부터 배울 수도 없다며 내성의 과정을 촉진하는 플랫폼을 구축할 필요가 있다고 주장했다. 관련 내용은 이곳에서 확인할 수 있다.