
2013년 출시된 소니(Sony) 게임기 플레이스테이션4(PS4)에서 90억 파라미터 대규모언어모델을 로컬로 실행하는 오픈소스 앱 갈릭 LLM(Garlic LLM)이 나왔다. PS4에 들어간 GPU를 직접 다뤄 초당 최대 43토큰 생성 속도를 냈다. 인터넷에 연결하지 않고도 AI와 채팅하거나 음성으로 대화할 수 있다.
갈릭 LLM은 개발자 레오나르도 알레그리아(Leonardo Alegria)가 만들었다. 이름은 PS4에서 GPU가 직접 접근하는 메모리 영역을 갈릭이라고 부르는 데서 따왔다. 실행하려면 탈옥한 PS4에 비공식 앱 실행 소프트웨어 골드헨(GoldHEN)이 깔려 있어야 한다. 알레그리아는 펌웨어 11.52 버전 PS4에서 작동을 확인했다.
◇ 드라이버 건너뛰고 GPU에 직접 명령=PS4에는 AMD GCN 아키텍처 기반 GPU가 들어 있지만 비공식 앱이 GPU를 범용 연산에 쓸 수 있는 API나 머신러닝 라이브러리는 없다. 그래서 알레그리아는 보통 GPU 드라이버가 만드는 저수준 명령을 앱에서 직접 짜 넣어 GPU가 AI 모델 연산을 처리하게 했다.
갈릭 LLM이 쓰는 AI 모델은 알리바바(Alibaba) 큐원3.5-9B(Qwen3.5-9B)다. PS4의 제한된 메모리에 담으려고 모델 가중치를 3비트와 4비트로 양자화했고 모델 본체와 속도를 높이는 추가 데이터를 합쳐 4.5GiB로 압축했다. 문장을 만들 때 토큰 여러 개를 미리 예측해 한꺼번에 검증하는 추측 디코딩 기법도 적용했다.
이런 최적화로 일반 텍스트 생성에서는 초당 31~39토큰을, 코드 생성에서는 초당 최대 43토큰을 냈다. 컨텍스트 윈도는 1만6,000토큰이다. PS4 프로에서도 작동했다는 사용자 보고가 있으며 이때 생성 속도는 초당 25~45토큰이었다.
◇ 음성 대화·코드 실행도 지원=갈릭 LLM은 텍스트 채팅뿐 아니라 음성인식 모델 파라킷 TDT 0.6B v3(Parakeet TDT 0.6B v3)와 음성합성 모델 채터박스(Chatterbox)를 활용한 음성 입력과 음성 대화도 지원한다. AI가 만든 파이썬(Python) 코드를 PS4에서 실행하는 기능과 답변 전에 AI가 추론을 거치는 사고 모드도 갖췄다. 음성 대화 모드에서는 음성 모델이 메모리를 차지해 텍스트 생성 속도가 초당 22토큰으로 떨어진다.
갈릭 LLM 소스코드는 GPLv3 라이선스로 깃허브(GitHub)에 공개됐다. AI 모델을 포함한 5.7GB 설치 패키지도 허깅페이스(Hugging Face)에서 무료로 내려받을 수 있다. 관련 내용은 이곳에서 확인할 수 있다.
![[DailyRecipe] 막 오른 넥스트라이즈2026…올해 특징은?](https://i0.wp.com/startuprecipe.co.kr/wp-content/uploads/2026/06/260618_nextrise_ai_0023052050235235.jpg?resize=350%2C250&ssl=1)
![[AI서머리] 코딧, 신용보증기금 ‘퍼스트펭귄’ 선정‧윌로그, 2026 차세대 세계일류상품 선정](https://i0.wp.com/startuprecipe.co.kr/wp-content/uploads/2026/11/261118_startuprecipe_00032.jpg?resize=75%2C75&ssl=1)
![[AI서머리] 메디인테크, 338억원 시리즈C 투자 유치‧네오사피엔스, API 구독자 1년새 152배](https://i0.wp.com/startuprecipe.co.kr/wp-content/uploads/2026/11/261117_startuprecipe_00013.jpg?resize=350%2C250&ssl=1)
