앤트로픽, AI 의존도 실태 조사 결과는?

생성형 AI는 인간이 깊이 생각하지 않아도 올바른 것처럼 보이는 답을 제시하기 때문에 인간 사고력이 길러지지 않는 것이 아니냐는 우려가 제기되곤 한다. 클로드를 개발하는 앤트로픽(Anthropic) 연구에서 AI와 인간 스킬 연관성이 조사됐다.

선행 연구에서는 AI 지원을 받은 인간은 업무 열의가 저하되고 업무에 쏟는 노력이 줄어드는 것으로 나타났다고 한다. 앤트로픽 측은 인간이 자신의 인지적 부하를 경감하려는 시도가 업무에 어떤 악영향을 미치는지 알아보기 위해 스킬 습득 속도 및 스킬 이해도가 AI 유무에 따라 변화하는지를 실험했다.

앤트로픽은 1년 이상 주 1회 이상 파이썬을 사용한 경험을 보유하고 AI 코딩 지원 도구에 어느 정도 익숙하지만 파이썬 라이브러리 트리오(Trio)는 습득하지 않은 초급 소프트웨어 개발자 52명을 모집했다.

조사는 3개 파트로 나뉘었다. 처음은 트리오를 습득하는 워밍업, 다음은 트리오를 사용해 2가지 서로 다른 기능을 코딩하는 메인 태스크, 그리고 이해도를 측정하는 퀴즈였다. 참가자에게는 태스크 종료 후 퀴즈를 실시한다는 사실이 미리 전달됐다. 참가자는 2개 그룹으로 나뉘어 한쪽은 메인 태스크 시에만 AI 사용이 허용됐고 다른 쪽은 실험 전체에 걸쳐 AI 사용이 금지됐다.

이 실험에서 AI를 사용한 그룹은 평균 2분 빨리 메인 태스크를 완료했지만 이 차이는 통계적으로 유의하지 않았다. 퀴즈 성적에서는 유의미한 차이가 인정되어 AI 미사용 그룹 평균 점수가 67%였던 반면 AI 사용 그룹은 50%였다. 양 그룹 간 점수 차이가 가장 컸던 것은 디버깅 문제였으며 코드 오류를 인식하고 실패 원인을 이해하는 능력에 현저한 차이가 발생할 가능성이 시사됐다.

다만 AI 사용 그룹 중에는 AI를 사용하면서도 높은 점수를 획득한 사람도 있었다. 이런 이들은 코드 생성 후 이해를 심화하기 위해 AI에 질문했으며 자신의 이해도를 높이려 시도했다고 한다. 반면 처음부터 끝까지 AI에 전적으로 맡기거나 처음 1~2회 질문한 후에는 모두 AI에 일임한 이들 점수는 낮았으며 이들만으로 한정하면 평균 점수는 40% 정도에 불과했다고 한다.

앤트로픽은 직장, 그 중에서도 소프트웨어 개발에서 AI를 적극적으로 도입하는 것에는 트레이드오프가 수반됨을 시사한다며 중요한 건 AI를 사용하는 게 반드시 낮은 점수를 의미하지 않는다는 점이며 효율성을 추구하면서 AI와 어떻게 관계를 맺는지가 학습량에 영향을 미친다고 생각한다고 밝혔다. 이어 시간적 제약 또는 조직적 압력 하에서는 숙련도가 낮은 개발자가 스킬 습득이나 디버깅 능력을 희생하더라도 태스크를 가능한 한 빠르게 완료하기 위해 AI에 의존할 가능성이 있다면서 관리자는 AI 도구의 대규모 도입을 의도적으로 설계하고 엔지니어가 업무를 통해 계속 학습할 수 있는 시스템이나 설계 선택을 검토해야 한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.