소형 AI 모델이 중요한 이유

최근 AI 기술 발전은 눈부시다. 대형 테크놀로지 기업이 방대한 파라미터를 보유한 대규모 AI 모델을 잇달아 발표하고 있다. 한편으로 많은 생명과 식량 생산을 도울 가능성을 지닌 소형 AI 모델에 대한 관심도 높아지고 있다.

소형 AI 모델의 유용성을 보여주는 사례로 RxScanner라는 위조 의약품 스캐너를 들 수 있다. RxScanner는 나이지리아 출신 AI 스타트업 창업자인 아데바요 알롱게가 개발한 휴대형 분광계로 정제를 스캔해 분자 프로파일을 의약품 데이터베이스가 탑재된 AI 모델로 분석해 의약품이 진품인지 위조품인지를 판별할 수 있다.

아프리카에서는 위조 의약품이 매년 수천 명의 목숨을 앗아가는 것으로 알려져 있으며 가나, 케냐, 미얀마, 나이지리아 등 10개국 이상에서 사용된 실적을 보유하고 있다. 하지만 AI 모델을 데이터센터에서 실행하고 인터넷을 통해 데이터를 주고받는 방식을 채택하고 있었기 때문에 남아프리카 등 데이터센터에서 너무 멀고 네트워크 대역폭도 제한적인 지역에서는 1회 스캔에 5분이라는 긴 시간이 소요됐다.

이에 알롱게는 엔지니어와 협력해 AI 모델을 안드로이드 스마트폰에서 로컬 실행할 수 있는 규모로 축소했다. 이를 통해 고속 인터넷, 고성능 PC, 안정적인 전력 공급을 확보할 수 없는 장소에서도 RxScanner를 안정적으로 사용할 수 있게 됐다. 알롱게는 이 경험을 바탕으로 로컬에서 작동하는 소형 AI 모델의 중요성을 제창하고 있다.

AI 분야에서 화제가 되기 쉬운 건 수십억 달러 규모 투자와 거대한 데이터센터를 필요로 하는 최첨단 성능을 갖춘 대형 테크놀로지 기업의 대규모 언어모델이다. 하지만 전 세계 주로 저·중소득 국가에 거주하는 수십억 명은 이런 대규모 언어모델을 이용할 수 없으며 많은 경우 소형 AI 모델만이 이용 가능하다. 세계은행이 2025년 11월에 발표한 보고서에서도 세계에서 가장 가난한 국가 인터넷 이용자 중 챗GPT를 사용해본 적이 있는 비율은 불과 0.7%로 가장 발전한 국가 25%와는 큰 격차가 있다고 보고됐다.

세계은행 아제이 방가 총재는 지난 1월 개최된 세계경제포럼에서 대다수는 AI를 논리적·생성적 측면에서 논의하고 있다며 하지만 이를 위해서는 막대한 컴퓨팅 능력과 전력, 방대한 데이터, 이를 관리할 숙련된 인재가 필요하며 선진국 이외에서는 아마 인도와 중국을 제외하면 이런 조건을 모두 갖추고 있는 나라는 극소수라고 말했다.

이와 대조적으로 소형 AI는 이런 고도의 인프라가 전혀 없는 지역민에게 유용하고 경우에 따라서는 생명을 구하는 서비스를 제공할 수 있다. 예를 들어 인도 벨로르 공과대학 연구팀은 캐슈넛 나무 사진을 촬영해 병 징후인 반점이 있는 나무를 빠르게 식별하는 드론 시스템을 개발했다. 촬영이나 이미지 처리는 모두 드론 위에서 이뤄지기 때문에 현장에 컴퓨터를 설치하거나 인터넷으로 서버에 접속할 필요가 없다.

또 우루과이에서는 포도밭에서 해충인 개미 번식을 식별하는 소형 AI 시스템이 개발됐으며 말라리아를 매개하는 모기 존재를 감지하는 시스템이나 마이크로컨트롤러 보드인 아두이노를 활용한 심전도 시스템 등도 개발됐다. 이들은 충분한 인프라가 갖춰지지 않은 지역에서 농업과 의료에 큰 혜택을 가져다준다.

알롱게는 AI의 미래는 중심에 위치한 거대한 모델뿐 아니라 말단에 배치된 수백만 개에 이르는 소형 정밀 모델이 각각 특정 과제와 상황을 해결하는 것이라고 생각한다며 소형 AI 모델이 개발도상국과 선진국 일부 지역민에게 혜택을 가져다줄 것이라고 밝혔다.

소형 AI 모델에 명확한 정의는 없지만 보통 파라미터 수가 기껏해야 수십억 개 정도인 언어모델을 가리키는 말로 사용된다. 참고로 최첨단 대규모 언어모델 중에는 파라미터 수가 1조 개를 넘는 것도 존재한다. 소형 AI 모델은 대규모 언어모델에서 불필요한 파라미터를 삭제하거나 더 소규모 모델에 지식을 옮겨 담는 증류를 수행하거나 수치 정밀도를 낮춰 모델 크기를 줄이는 양자화를 적용해 만들어지지만 기술적으로는 대규모 언어모델과 다르지 않다.

파라미터 수가 수십억 개 정도인 소형 AI 모델이라면 스마트폰이나 라즈베리 파이 등 소형 컴퓨터에서 실행할 수 있다. 따라서 인터넷으로 데이터센터에 접속하지 않고 현장 디바이스 위에서 배터리나 태양광 패널로부터 공급되는 수 와트 정도 전력을 사용해 작동할 수 있다.

최근에는 AI 처리를 전문으로 수행하는 NPU 탑재 스마트폰이 증가하고 있는 데다 사용자가 필요에 맞춰 조정할 수 있는 오픈 웨이트 AI 모델이 잇달아 등장하고 있어 소형 AI 모델에 순풍이 되고 있다. 한편으로 소형 AI 모델 개발에는 대규모 언어모델 개발을 통한 지견과 데이터 처리 능력, 그리고 결과물이 필요하기 때문에 대규모 언어모델 발전 역시 중요하다.

또 소형 AI 모델은 대규모 언어모델을 이용할 수 없는 이들에게 유익하지만 근본적인 디지털 격차를 해소하는 건 아니다. 설령 소형 AI 모델을 도입하더라도 각국은 AI를 뒷받침하는 생태계 구축이라는 과제에서 벗어날 수 없다. 다시 말해 안정적인 전력 공급, 공급망, AI 도구 개발에 필요한 인재를 양성하는 교육 시스템 등의 기반 정비가 필요하다는 뜻이다.

알롱게가 개발한 RxScanner도 약제에 대한 새로운 화학 조성이나 분석 데이터 등 업데이트를 위해 인터넷을 통한 정기적인 동기화가 필요하다. 또 스마트폰을 충전하기 위해서는 안정적인 전력 공급도 빠뜨릴 수 없다. 알롱게는 소형 AI 모델은 작동하고 있으며 머지않아 많은 곳에서 필요하게 될 것이라며 문제는 정치 관계자가 이를 장기적으로 뒷받침할 인프라에 투자할 만큼 현명한가 하는 것이라고 말했다. 관련 내용은 이곳에서 확인할 수 있다.