1‧2차 평가 결과가 되묻는 독파모의 존재 이유

과학기술정보통신부가 지난 8월 18일 독자 AI 파운데이션 모델(독파모) 프로젝트에 대한 2차 단계 평가 결과를 발표했다. 정예팀 4곳 가운데 업스테이지, SK텔레콤, LG AI연구원 3개팀이 다음 단계로 진출하고 모티프테크놀로지스가 탈락했다.

2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합쳐 100점으로 구성했다. 벤치마크는 아티피셜 애널리시스 인텔리전스 인덱스(AAII) 25점과 NIA 벤치마크 15점. 사용자 평가는 AI 전문 사용자 15점, 일반 국민 10점으로 나뉜다. 1차 평가보다 고난도 글로벌 벤치마크를 도입하고 현장 확산 비중을 높이는 한편 국민 참여형 사용성 평가를 새로 추가했다.

논란의 시작은 발표 방식에서 비롯됐다. 과기정통부는 항목별 4개팀 평균과 1‧4위간 격차만 밝혔다. 벤치마크 평균은 22.5점에 격차는 4점, 전문가 평가 평균은 28.8점에 격차는 2.4점, 사용자 평가 평균은 17.6점에 격차는 5점이었다. 기업별 점수나 항목별 1위는 빠졌다.

문제는 같은 발표 자료에 실린 성과를 다룬 내용과 결과가 어긋나 보였다는 것. 모티프테크놀로지스가 개발한 모티프3은 AAII 47점으로 국내 4개 모델 가운데 가장 높았다. 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점을 앞선 것. 글로벌 기업별 최고 득점 모델 기준으로는 10위에 올라 미국과 중국 빅테크 다음 자리를 꿰찼다. 결국 글로벌 지표에서 가장 앞선 팀이 탈락하면서 어느 항목에서 뒤쳐졌는지 확인할 수 없다는 지적이 이어졌다.

과기정통부는 결국 이틀이 지난 20일 항목별 1위 기업과 점수를 공개했다. 공개 내용을 보면 AAII 벤치마크에서 모티프테크놀로지스는 25점 만점에 11.9점으로 1위를 차지했고 전체 평균은 9.48점이었다. NIA 벤치마크는 SK텔레콤이 15점 만점에 13.4점으로 1위였고 평균은 13.05점. 외부 전문가 10명이 참여한 전문가 평가에선 LG AI연구원이 35점 만점에 29.5점으로 1위였고 평균은 29.75점이다. 사용자 평가를 보면 AI 스타트업 대표 등 49명이 참여한 전문 사용자 평가는 SK텔레콤 11.6점, 일반 국민 185명이 참여한 평가는 LG AI연구원이 7.6점을 기록했다. 평균은 각각 10.53점과 7.03점이다. 이들 세부 항목 5개 가운데 업스테이지가 1위를 기록한 항목은 없었다.

이렇게 과기정통부가 추가 공개를 했지만 논란은 여전하다. 팀별 총점과 종합 순위가 빠져 있기 때문. 항목별 1위 점수와 평균만으로 모티프가 어느 대목에서 얼마나 밀려서 탈락했는지는 계산할 수 없다. 또 평가위원 구성이 산업계 3명, 학계 5명, 연구계 2명이라는 건 밝혀졌지만 위원 명단이나 세부 채점 기준은 공개되지 않았다. 사용자 평가에 쓰인 프롬프트 가이드라인과 전문가이원회 질의응답 내역도 마찬가지다. 1위와 4위 격차가 5점으로 가장 크게 벌어져 당락에 영향이 컸을 것으로 보이는 사용자 평가 역시 채점 근거가 드러나지 않았다.

그 뿐 아니라 후발주자인 모티프의 생태계 파급 효과를 평가하면서 새 모델이 아니라 기존 기존 AI 모델과 현장 확산 실적, 계획까지 더해 본 방식이 결과에 어떤 영향을 줬는지도 쟁점이다. 당연하지만 이 부분은 정량 지표가 아니다. 전문가 평가 내에 있는 세부 항목인 파급 효과와 기여 계획(15점)은 국민 AI 접근성 증진 실적이나 전분야 AX 지원 등 생태계 파급 실적, 모델 공개를 통한 생태계 확장 실적, 대학이나 스타트업, 국산 AI 반도체 생태계 지원 실적으로 나와 있다. 사용자 수나 다운로드, 배포 건수 같은 수치 기준은 어디에도 없다. 외부 전문가 10인이 서면으로 읽고 질의응답을 거쳐 채점한 정성 평가라는 것.

이들이 어떤 걸 실적으로 인정했는지는 보도자료에 실은 전문가위원회 의견으로 짐작 가능하다. 업스테이지는 다음, 타임리 플랫폼 연계와 퓨리오사AI NPU 협업 실증, SK텔레콤은 대규모 상용 서비스 탑재와 국방, 제조, 법무, 세무 분야 적용 사례를 언급했다. 보급 규모보다는 사례 중심인 것.

이 항목 자체는 사실 이미 서비스 채널과 고객을 보유한 대기업에 유리한 구조다. 물론 과기정통부는 신규로 합류한 모티프에 한해 이번 독자 모델이 아니라 기존 모델 확산 실적까지 인정해 이를 보정했다고 밝히고 경쟁팀간 합의 사항이라고 덧붙였다. 다만 이 같은 보정이 충분했는지는 항목별 세부 점수가 공개되지 않아 확인할 수 없다는 얘기다.

과기정통부는 독파모가 단순한 순위 경쟁이나 탈락팀 선정이 목적이 아니라고 말한다. 국내 AI 생태계에 대한 질적 성장과 확장 견인이 목적이라는 것이다. 이를 위해 평가 결과 공개로 일부 기업이 생각하지 못하던 직간접 피해를 입는 상황을 최소화하면서 공정성과 투명성도 균형 있게 고려해 1차 평가와 같은 수준으로 결과를 공개했다는 설명이다.

이번 논란은 모티프3가 글로벌 10위 벤치마크 결과를 쥐고도 탈락하면서 비롯됐지만 독파모 자체의 목적이나 본질에 대한 지적으로 이어지고 있다. 과기정통부는 독파모가 해외 거대 AI 모델에 대한 의존도를 낮추고 국가 AI 주권을 확보하는 걸 목적으로 한다고 밝히고 있다. 한 사용자는 “애초부터 관점이 잘못 설계된 게 아니냐”면서 “국가 차원의 독자적 AI 기초 체력을 모으는 사업인지, 당장 산업 현장에 투입할 에이전트 솔루션을 뽑는 사업인지” 되묻기도 했다. 또 점수를 구성하는 요소가 서로 다른데 합산을 해서 점수를 내는 게 타당하냐는 지적도 나왔다.

독파모는 이미 지난 1차 평가에서도 업계 내에서 공방을 불러오기도 했다. 당시에는 해외 모델 라이선스 제약이나 타사 오픈소스 가중치 차용 여부 등을 따져 탈락 기업을 선정했다고 밝혔지만 AI 생태계에서 어디까지를 독자성 범주로 인정할 것인지에 대한 기준 문제나 서바이벌 형태 진행으로 생태계 내 갈등을 키우고 있다는 지적이 이미 나온 바 있다. 또 프로젝트를 처음 출범할 당시만 해도 톱티어 성능 경쟁을 공언했지만 지금은 단순 성능 경쟁이 아니라 실사용성이나 현장 확산 중심이라고 기조를 바꿨다는 점이 혼란을 가중시켰다는 지적도 나온다. 1차와 2차 평가 이후에 나온 지적은 독파모가 앞으로 풀어야 할 숙제가 될 것으로 보인다.