AI ‘아는 척’ 계속 지켜보면…

생성형 AI는 종종 질문받은 것에 대해 모른다고 답하지 않고 적당히 지어낸 답을 되돌려주는 경우가 있다. 생성형 AI를 사용하는 인간도 여기에 영향을 받아 모른다고 말할 수 없게 되어 버렸을 가능성이 보이기 시작했다.

파리 고등사범학교에선 AI 덕분에 거의 모든 질문에 간단한 답을 얻을 수 있게 된 시대에 AI가 인간의 모른다고 말하는 능력 그러니까 판단을 유보하는 능력에 영향을 주는 건 아닌가 생각해 어떤 실험을 실시했다.

연구팀은 오픈소스 AI 모델 스텝 3.5 플래시(Step 3.5 Flash)를 채용해, 이 모델이 잘 못하는 분야 질문을 고안했다. 질문은 주로 영화에 관한 것으로 ‘슈팅 라이크 베컴(2002)에서 주인공 팀이 입고 있던 유니폼의 색은 뭐냐는 것이나 ‘Come un gatto in tangenziale에서 주인공이 운전하던 차종은 뭐냐는 것 등 상당히 마니악한 부류였다.

스텝 3.5 플래시가 이런 질문에 올바르게 답할 수 없다는 걸 확인한 연구팀은 인간에게도 같은 질문을 하기로 했다. 인간은 두 그룹으로 나뉘었고 한쪽은 스텝 3.5 플래시를 사용하는 것이 허가됐다.

그 결과 AI를 사용하지 않은 그룹에서는 44%의 사람이 답을 모르겠다고 답해 판단을 유보한 것에 비해 AI를 사용한 그룹에서는 모른다고 답한 사람이 3%로까지 줄어들어 버렸다고 한다.

나아가 AI를 이용할 수 있는 환경에서는 정답률도 크게 저하된 것으로 나타났다. AI를 사용하지 않은 사람 정답률이 27%였던 질문에서 AI를 사용한 사람 정답률이 9%밖에 되지 않았기 때문에 이는 인간이 자기 자신의 판단보다도 AI의 답을 믿은 결과라고 지적하고 있다.

게다가 AI를 사용한 사람은 자신의 답에 대한 자신감도 높아져 있었다. AI를 사용하지 않은 사람 중 자신의 답에 자신을 가지고 있던 사람은 30%였지만 AI를 사용한 사람은 76%였다. 인간 정답률은 AI를 사용해 3분의 1로 저하된 한편 자신감은 2배 이상이 된 것이다.

연구팀은 금전적인 보수를 마련한 조건에서도 실험을 실시했다. 그 결과 AI를 사용하면서 모른다고 답하는 사람 비율은 3%에서 8%로, 정답률은 9%에서 16%로 개선됐지만 그래도 AI 없이 그룹 기준값에는 미치지 못했다.

프리프린트 서버인 아카이브(arXiv)에 투고한 논문에서 연구팀은 이번 연구에서는 영화 잡학을 소재로 했지만 이 결과는 다른 분야에도 일반화할 수 있다고 생각한다고 지적했다. AI가 있는 게 당연한 환경에서 자라는 아이들에게 비판적 사고를 익히게 하는 게 중요하다고 덧붙이며 AI 이용 문제는 리터러시나 교육 정책을 통해 사회 전체가 대처해야 할 과제라고 언급했다. 관련 내용은 이곳에서 확인할 수 있다.