프라이버시나 보안을 중시하는 환경에서는 챗GPT 등 온라인 AI 서비스가 아닌 자신의 기기에서 처리할 수 있는 로컬 AI가 더 적합한 경우가 있다. 하지만 AI를 로컬에서 실행하려면 어느 정도 성능을 갖춘 PC가 필요하다. 새롭게 AI 관련 업계단체인 ML커먼즈(MLCommons)가 PC용 AI 벤치마크 앱 MLPerf Client를 7월 30일 출시했다.
MLPerf Client는 Llama 2 7B Chat, Llama 3.1 8B Instruct, Phi 3.5 Mini Instruct, Phi 4 Reasoning 14B 등 대규모 언어모델을 PC에서 실행했을 때의 처리 성능을 측정할 수 있는 벤치마크 앱이다. 벤치마크를 실행하면 코드 분석, 콘텐츠 생성, 창의적 글쓰기, 요약 등 AI 모델을 이용한 작업 처리 성능을 측정할 수 있다.
MLPerf Client 지원 OS는 윈도 11과 맥OS 15.5이며 모든 벤치마크를 실행하려면 400GB 이상 스토리지 여유 공간이 필요하다. VRAM 용량 8GB 이상 AMD 라데온 RX 7000 시리즈 또는 RX 9000 시리즈를 탑재한 PC, AMD 라이젠 AI 9 시리즈를 탑재한 PC, VRAM 용량 10GB 이상 인텔 Arc B 시리즈를 탑재한 PC, RAM 용량 16GB 이상 인텔 코어 울트라 시리즈 2(Lunar Lake, Arrow Lake)를 탑재한 PC, VRAM 용량 8GB 이상 엔비디아 지포스 RTX 2000 시리즈를 탑재한 PC, RAM 용량 32GB 이상 퀄컴 스냅드래곤 X 엘리트를 탑재한 PC다.
MLPerf Client는 이곳에서 무료로 내려받을 수 있으며 깃허브에 소스 코드가 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.
