맥에 탑재한 무료 AI를 간편하게 사용한다?

애플 인텔리전스(Apple Intelligence)에 내장된 애플 독자 온디바이스 로컬 AI 모델인 파운데이션 모델은 기본적으로 애플 인텔리전스를 통해서만 공개된다. apfel은 API 키나 구독 없이 사용할 수 있는 소프트웨어로 애플 인텔리전스에 포함된 파운데이션 모델을 실제로 활용할 수 있다.

맥OS 타호(macOS Tahoe)에서는 애플 인텔리전스 온디바이스 기반 모델로 30억 파라미터 규모 파운데이션 모델을 사용할 수 있다. apfel을 이용하면 모델 다운로드나 API 키, 별도 설정 없이 인터페이스에 접근해 모델을 직접 사용할 수 있다.

apfel이 지닌 특징은 맥OS 타호에 탑재된 LLM을 활용한다는 점으로 토큰 단위 과금이나 구독이 필요 없다. 또 모든 토큰이 애플 실리콘 상에서 로컬로 생성되기 때문에 데이터가 외부로 전송되지 않도록 설계되어 있다.

애플 머신 러닝 리서치(Apple Machine Learning Research)를 기반으로 정리된 파운데이션 모델 사양을 보면 파라미터는 최대 30억이며 모델이 한 번에 처리할 수 있는 토큰 수는 4,896이다. 지원 언어는 한국어를 비롯해 영어, 네덜란드어, 스페인어, 프랑스어, 이탈리아어, 일본어, 포르투갈어, 중국어다.

또 apfel은 MCP(Model Context Protocol)을 지원한다. 임의 MCP 서버에 연결하면 디바이스 상 모델이 수학, API, 데이터베이스 등 다양한 외부 도구를 활용할 수 있다. 개념 검증용으로 계산기 MCP 서버가 함께 제공된다.

그 밖에도 apfel은 오픈AI API를 지원한다. 오픈AI와 연동되는 클라이언트 라이브러리, 프레임워크, 도구라면 어떤 것이든 맥 AI와 연동할 수 있으며 베이스 URL을 변경하는 것만으로 도구 호출이나 함수 호출을 실행할 수 있다. 다시 말해 기존 오픈AI용 도구를 그대로 로컬 AI에서 구동하는 것도 가능하다.

apfel을 사용하려면 맥OS 26 이상이 필요하며 시스템 설정에서 애플 인텔리전스&시리를 활성화해야 한다. apfel 리포지토리는 깃허브에 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.