브라우저상 AI 추론 3배 고속화…구글, LiteRT.js 출시

구글이 7월 9일 웹브라우저 내에서 AI 모델을 고속으로 실행하기 위한 자바스크립트용 런타임 라이트RT.js(LiteRT.js)를 발표했다.

웹캠 영상에서 물체를 실시간으로 검출하거나 녹음한 음성을 텍스트로 변환하거나 이미지를 고해상도화하려면 AI 모델에 의한 추론이 필요하다. 브라우저상에서 직접 추론을 수행하면 통신을 기다릴 필요가 없고 입력 데이터를 단말기 외부로 보내지 않아도 된다는 장점이 있다.

구글은 이전부터 브라우저용 머신러닝 라이브러리 텐서플로.js(TensorFlow.js)를 제공해 왔지만 텐서플로.js의 기존 방식에서는 자바스크립트 기반 처리 기구가 사용되고 있었다. 자바스크립트 기반 처리 기구에서는 CPU나 GPU 성능을 충분히 이끌어내기 어렵고 텐서플로.js에서는 네이티브 앱만큼 속도를 내기 어렵다는 문제가 있었다.

라이트RT.js에서는 스마트폰이나 데스크톱용으로 최적화되어 온 라이트RT 실행 환경을 웹어셈블리 경유로 브라우저에 가져와 단말기 처리 능력을 활용하기 쉽게 했다. CPU로 추론하는 경우에는 신경망 계산용 라이브러리 XNNPACK을 사용하며 복수 CPU 코어나 SIMD 명령을 이용할 수 있다. GPU를 사용하는 경우에는 브라우저에서 GPU를 조작하기 위한 규격인 웹GPU(WebGPU)와 구글 가속 기술 ML 드리프트(ML Drift)가 조합되어 있으며 AI 처리 전용 프로세서인 NPU에 대해서는 WebNN API(Web Neural Network API)를 이용하는 구조라고 한다.

개발자가 사용하는 AI 모델은 라이트RT와 동일한 .tflite 형식이다. 기존 라이트RT용 모델을 브라우저로 가져올 수 있을 뿐 아니라 파이토치(PyTorch)나 JAX, 텐서플로로 작성한 모델도 변환해 이용할 수 있다. 파이토치 모델은 라이트RT 토치(LiteRT Torch)로 변환할 수 있으며 모델 내 수치를 적은 비트 수로 표현해 모델 용량 절감이나 처리 고속화로 이어지는 양자화도 AI 엣지 퀀타이저(AI Edge Quantizer)를 사용해 층별로 조정할 수 있다.

또 텐서플로.js를 사용한 기존 앱을 모두 새로 만들 필요는 없으며 이미지 정형 등 추론 전 처리나 추론 결과를 가공하는 처리는 텐서플로.js 그대로 남기고 모델을 실행하는 부분만 라이트RT.js로 교체할 수 있다고 한다. 그 중에서도 파이토치 모델의 경우 파이토치에서 ONNX, 텐서플로, 텐서플로.js로 순차 변환하는 복잡한 경로를 피하고, 파이토치에서 라이트RT 형식으로 직접 변환할 수 있다는 설명이다.

구글이 2024년 모델 M4 탑재 맥북 프로를 사용해 실시한 테스트에서는 컴퓨터 비전이나 음성 처리 모델에서 라이트RT.js가 다른 웹용 런타임보다 최대 3배 빨랐다고 한다.

한편 라이트RT.js 실행 방식을 비교한 테스트에서는 웹GPU 또는 웹NN(WebNN)에 의한 추론이 표준적인 CPU 실행보다 5배~60배 빨랐다고 밝혔다. 공개된 데모에서는 욜로(YOLO)를 이용한 실시간 물체 검출, 웹캠 영상에서 깊이를 계산해 3D 공간으로 변환하는 심도 추정, 리얼-ESRGAN(Real-ESRGAN)에 의한 이미지 4배 고해상도화 등을 브라우저 내에서 실행할 수 있다. 라이트RT.js는 npm 패키지 @litertjs/core로 제공되고 있으며 자바스크립트 또는 타입스크립트로 모델 로딩부터 추론 결과 취득까지 수행할 수 있다.

구글은 앞으로 웹NN 대응을 추진해 NPU를 이용한 추론을 강화하는 동시에 단말기 내에서 동작하는 생성 AI용 최적화도 확충할 방침이라고 한다. 대규모 언어 모델을 브라우저에서 구동하는 라이트RT-LM.js(LiteRT-LM.js)도 안내되고 있으며 라이트RT.js 성능이나 대응 모델 범위, 개발자용 도구를 지속적으로 확충해 나가겠다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.