GPT-5가 생성한 단편소설, 작가 작품과 비교해도…

생성AI 성능이 급속히 성장하는 가운데 언젠가 인간 창작자가 AI에 의해 대체되는 건 아닐까 우려도 커지고 있다. 판타지 소설가이자 AI 분야 연구자이기도 한 마크 로렌스가 오픈AI GPT-5로 생성한 초단편소설과 경험 풍부한 전문 작가가 쓴 초단편소설을 8편 준비해 어떤 게 AI 생성이라고 생각하는지 투표하게 하는 테스트 결과를 발표했다.

그는 2023년 작가 4명과 GPT-4에게 각각 단편 픽션 소설을 쓰게 해서 사람이 구별할 수 있는지 테스트하는 시도를 진행했다. 당시 시점 독자는 인간 소설가와 AI를 구별하는 데 실패하는 경우가 있었으며 10작품 중 상위 3위 고평가를 받은 작품 가운데 2작이 AI가 생성한 소설이었다.

이번에 그는 오픈AI가 GPT-5를 출시한 걸 계기로 당시 테스트를 재현해 독자가 AI와 인간 소설가를 구별할 수 있는지 조사했다. 다만 이들은 정식 과학적 연구가 아니며 조사 범위도 제한되어 있다.

테스트에서는 영어로 350단어 초단편소설이 8편 준비됐으며 블로그 독자가 단편소설을 읽고 어떤 게 AI 생성이고 어떤 게 인간 전문 작가에 의한 것인지를 판단했다.

단편소설의 테마는 악마였으며 AI에게는 악마를 테마로 한 픽션을 써달라는 지시와 함께 다양성을 만들어내기 위해 톤이나 설정에 관한 간결한 제안도 주어졌다고 한다. 한편 전문 작가는 로렌스와 로빈 홉, 재니 워츠, 크리스천 캐머런 등 모두 경험 풍부한 판타지 소설가들이었다.

로렌스는 일반적으로 전문 작가는 플래시 픽션 같은 초단편소설을 쓰는 경우는 없으며 수만 자를 넘는 중편이나 장편소설을 전문으로 집필한다고 지적했다. 반대로 챗GPT 같은 생성AI는 긴 소설을 쓰면 성능이 저하되기 쉬워지는 반면 초단편소설은 유리할 수 있다. 그럼에도 전문 작가는 모두 이야기 집필 경험이 풍부하며 작품도 경솔하게 쓰여진 건 아니라고 주장했다.

블로그에는 초단편소설 8편 게시되었으며 독자는 작품마다 평가했다. 그 결과 첫 번째 작품에는 964표 응답이 있었고 마지막 작품이 되어서도 474표 응답을 얻었다고 한다.

투표 결과 독자 전체 중 정답은 Story 2·6·7 3편뿐이며 나머지는 오답이거나 어느 쪽에나 비슷하게 표가 들어간 결과가 나타났다.

또 작품별로 얼마나 재미있었는지를 점수화한 결과 로렌스는 안타깝게도 AI 점수가 작가보다 높았다며 가장 높은 평가를 받은 스토리가 AI 작품이었을 뿐 아니라 평균 점수도 AI 쪽이 높았다고 말했다.

이번 테스트 결과로부터 로렌스는 초단편 판타지 소설이라는 작품에 관해서는 평균적인 독자는 AI와 인간 구별이 붙지 않는 것 같다고 결론지었다. 한편으로는 만일 출제된 게 초단편소설이 아니라 2만 단어 중편소설이었다면 100% 전문 작가에게 유리한 결과를 얻었을 것이라고도 주장했다.

로렌스는 AI가 생성한 콘텐츠가 인간 아티스트와 경쟁하거나 대중을 속여서 판매되는 세상이 되어서는 안 되지만 이미 일부는 AI에게 쓰게 한 책을 팔려고 한다고 지적했다. 로렌스는 미래가 무서운 것처럼 느껴지지만 창조적인 예술 분야에서는 AI가 곧 벽에 부딪혀 인류에게 이익을 가져다주는 과제에 노력이 향해지기를 바란다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.