“배점 방식이 성능 차이 지웠다” 모티프 이의 제기가 말해주는 것

모티프테크놀로지스가 8월 27일 독자 인공지능 파운데이션 모델(독파모) 사업 2차 단계 선정 결과에 정식으로 이의를 제기했다. 회사 측은 같은 날 입장문을 내면서 평가 항목별 상세 점수와 기준 공개를 요구했다.

◇ 벤치마크 1위인데 최하점 “배점 방식이 성능 차이 지운다”=문제의 발단은 과학기술정보통신부가 지난 18일 독파모 2차 평가 결과를 발표하면 시작됐다. 모티프테크놀로지스는 참여 기업 중 가장 낮은 점수로 탈락했다. 그런데 이 회사의 모티프3은 글로벌 종합 성능 지표 AAII(Artificial Analysis Intelligence Index)에서 47점을 받았다. 모델 업체 기준으로 따지면 글로벌 10위로 미국과 중국을 빼면 1위다. 반면 독파모 2차에 제출된 다른 모델 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이다. 자연스레 “글로벌 벤치마크 10위인데 왜 떨어졌냐”는 말이 나오기 시작했다.

회사 측은 당초 평가 결과 자체는 받아들인다고 밝혔다. 하지만 과기정통부는 모티프3이 벤치마크 점수만 높고 전문가 평가와 사용자 평가에서 문제가 있었다고 설명하고 3차 평가에서 벤치마크 비중을 낮추겠다는 방향을 제시하면서다. 일부 보도에선 과기정통부 고위 관계자가 모티프3 실제 추론 성능이 벤치마크 점수에 못 미치고 사용성과 활용성이 떨어진다고 언급하기도 했다.

회사 측은 “이 같은 설명이 특정 업체 선정 여부를 넘어 독파모 사업에 대한 본질과 방향에 근본적인 의문을 제기하는 것”이라고 밝혔다.

당초 회사가 이해한 100점 만점 배점은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점이다. 벤치마크는 앞서 밝힌 AAII 25점과 NIA 15점으로 나뉜다. 전문가 평가는 개발 전략과 기술 10점, 개발 성과와 계획 10점, 파급 효과와 기여계획 15점으로 이뤄져 있다. 사용자 평가는 전문 사용자 15점, 일반 사용자 10점이다.

회사 측은 “이 같은 배점 산정 방식이 최고점과 최저점 차이를 상당 부분 축소한다”고 지적했다. 글로벌 1위 모델 AAII 점수인 63점을 25점 만점으로 환산하면 15.75점에 그친다. 독파모 참여 모델 중 1위인 47점과 4위인 31점 간 차이도 최종 배점에선 4점으로 줄어든다. 회사 측은 벤치마크 비중을 낮출 게 아니라 배점 산정에서 실제 성능 차이가 더 반영되어야 한다고 주장했다.

모티프테크놀로지스 측은 또 전문가 평가에 대해 가장 성능이 낮은 모델이 1위를 차지한 근거를 이해하기 어렵다고 밝혔다. 회사 측에 따르면 LG AI연구원은 1차 대비 모델 규모를 2배 이상 키웠지만 벤치마크 점수 개선이 미미했고 참여 모델 중 최하점을 기록했다. 모티프 측은 “파급효과와 기여 가능성을 높게 봤다면 판단 근거를 설명해야 한다”고 밝혔다.

모티프테크놀로지스는 또 전문가 평가 과정 중 컨소시엄 주관사와 참여 기업 가운데 외국계 자본이나 해외 법인이 의결권 있는 주요 주주로 참여한 곳이 있는지를 서면 요청 받았다고 공개했다. 회사 측은 이에 대해 평가 기준에 비춰보면 목적을 이해하기 어려운 질문이었다며 어떤 기준으로 활용됐는지에 대한 설명을 요구했다.

또 사용자 평가에선 블라인드 평가를 요청했었다고 밝혔다. 아무래도 대기업보다 인지도가 떨어지는 스타트업 모델을 일반 사용자가 평가할 때 브랜드 인지도가 결과에 영향을 미칠 수 있기 때문. 벤치마크에서 나타난 성능 차이가 사용자 평가로 크게 달라졌다면 방식과 조건이 결과에 어떤 영향을 미쳤는지 근거가 필요하다는 설명이다.

모티프테크놀로지스 측은 정부가 제시한 성능 목표가 글로벌 모델 대비 95% 수준이었다는 점을 들며 AAII 기준 글로벌 프론티어 모델은 63점, 모티프3은 75% 수준에 불과하고 31점 모델은 49% 수준으로 이 상태를 두고 성능이 이미 충분하다고 판단한 기준에는 동의하기 어렵다고 밝혔다.

다만 회사 측은 이번 이의 제기가 선정을 요구하기 위한 게 아니라는 점은 분명히 했다. 이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다고 밝혔다. 모티프테크놀로지스 임정환 대표는 선정된 3개사에 축하 인사를 전하면서 선의의 경쟁을 이어가기를 기대한다고 밝혔다.

모티프 측 주요 주장만 요약해보면

• 모티프3는 참여 모델 중 벤치마크 1위였지만 배점 방식이 성능 차이를 지웠다. 벤치마크 비중 낮출 게 아니라 실제 격차를 반영해야 한다.
• 최하 성능 모델이 전문가 평가 1위 받은 근거 설명해달라.
• 사용자 평가 블라인드로 해달라고 요청했는데 반영 안됐다.
• 항목별‧업체별 상세 점수와 평가 기준, 평가 내용 공개와 재심의 요구다.

◇ 독파모만의 문제로 안 보이는 이유=이번 사안은 27일 정부가 발표한 신성장 분야 혁신기업 육성방안 중 일부와 묘하게 겹친다. 신성장 분야 혁신기업 육성방안 중 신성장 혁신기업 선발 역시 민관합동평가단 평가와 관계부처 심층 토론이라는 정성 평가가 사실상 마지막 관문을 맡는 구조다. 중기부가 진행하는 모두의창업 역시 2기는 다면 평가나 심의위원회 신설, 심사평 하한제 등으로 보완했지만 1기 당시 일부에서 멘토 1인이 혼자 심사를 하거나 부실한 심사평, 기관별 평가 기준 모호성 등에 대한 비판을 받기도 했다. 구성에 따라서는 정성 평가 기준이 지나치게 높다는 지적이 얼마든지 나올 수도 있다.

물론 단순하게 정성 평가 기준이 높냐 낮냐의 문제를 말하는 건 아니다. 가장 큰 문제는 이번에 모티프 측이 요구한 핵심 사항 그러니까 항목별 점수 공개 그러니까 투명성 확보다. 점수 공개와 이의제기 절차는 다른 정부 사업에서도 곱씹어봐야 할 대목이다. 정부가 각종 사업을 진행하면서 가장 신경을 써서 설계해야 할 부분은 실제 일을 해야 할 공무원을 위한 성과 지표, 참여자를 위한 평가 지표 등 지표와 사업 전체 과정에 적용할 투명성 확보다. 더구나 국내 스타트업 생태계는 양적 성장을 지나 질적 성장으로의 전환기를 맞고 있는 상황이다. 이에 맞는 근본적인 지표 설계 보완이 필요하다. 이번 사안은 독파모 뿐 아니라 다른 지원‧육성 사업에서 뭐가 중요한지를 다시 떠올리게 만든다.