“AI 벤치마크, 인간 업무 10%만 다룬다”

AI 성능을 재는 벤치마크 가운데는 사람 업무를 얼마나 정확히 해내는지 측정하는 것이 많다. 하지만 이런 벤치마크가 일부 업무만 다루고 있어 AI가 노동을 대신할 수 있다는 결과가 나오더라도 이는 노동 전체 중 극히 일부일 수 있다는 분석이 나왔다.

AI 연구 기관 머코(Mercor)는 지금까지 공개된 노동 관련 벤치마크 대부분이 AI가 수행하기 쉬운 업무 위주로 검증해 AI 능력이 과대평가됐을 수 있다고 지적했다. 임금이 높은 직종은 폭넓게 다뤄지는 반면 임금이 낮은 직종은 거의 다뤄지지 않았다. 노동자 수 비중으로 보면 상당수 일자리가 벤치마크 검증 밖에 놓여 있다는 게 머코의 설명이다.

◇ 29개 벤치마크를 직종별 업무에 대응=머코는 미국 노동부가 공개한 직업 분류 체계 오넷(O*NET)을 활용해 대표적인 기존 벤치마크 29종이 얼마나 많은 직종을 다루는지 조사했다. 오넷은 미국 노동 인구를 923개 직종으로 나누고 각 직종에서 흔히 하는 업무 1만8,797개를 정리한 데이터베이스다. 변호사에게는 업무 22개가 배정돼 있다. 대표적인 6가지는 유언장과 증서 특허 출원 서류 저당권 설정 서류 임대차 계약서 같은 법률 문서를 작성하고 심사하는 일과 상거래와 청구 책임 소송 제기 법적 권리·의무에 관해 의뢰인에게 조언하는 일이다. 또 개인과 기업을 위해 법률과 판결 규정을 해석하고 선례 지식을 바탕으로 소송 결과를 예측하며 형사나 민사 재판에서 증거를 제시하고 법률 보조원을 감독하는 일이 포함된다.

머코는 벤치마크별 테스트 항목을 이런 기존 업무에 연결한 뒤 어떤 업무에 테스트 항목이 5건 이상 연결되면 그 업무가 벤치마크에서 충분히 다뤄진 것으로 판단했다.

◇ 923개 직종 중 208개만 해당=분석 결과 업무 일부라도 테스트 항목 5건 이상이 연결된 직종은 923개 중 208개에 그쳤다. 소프트웨어 엔지니어링과 법률 회계 같은 직종은 AI 벤치마크에서 비교적 많이 다뤄졌지만 트럭 운전이나 가스 플랜트 운영 같은 직종은 드물었다. 이런 직종은 현재 AI가 다루기 어렵고 AI 연구자가 테스트를 만들기도 힘들어 벤치마크에 채택되지 않았을 가능성이 있다는 게 머코의 분석이다.

AI 영향을 받을 수 있는 직종에서도 격차가 나타났다. 법률 비서와 법원 서기관 업무는 변호사 업무보다 다뤄진 비율이 낮았다. 머코는 기존 벤치마크가 다루는 업무가 그 업무의 경제 규모에 좌우된다며 규모가 큰 직종일수록 AI 벤치마크에 잘 담기고 나머지는 놓친다고 주장했다.

◇ 노동 시간 90% 이상은 사각지대=머코에 따르면 미국에서 이뤄지는 일 가운데 완전히 재택으로 할 수 있는 건 37%에 불과하다. 나머지 63%에는 벤치마크에 넣기 어려운 물리 세계 업무가 포함됐을 수 있다. 머코는 노동 시간 기준으로 90% 이상이 기존 벤치마크에서 거의 또는 전혀 다뤄지지 않는다고 결론 내렸다. 기존 벤치마크 결과만으로는 AI가 실제 경제에 미치는 영향을 다 가늠할 수 없다는 지적이다. 관련 내용은 이곳에서 확인할 수 있다.