기존 AI 에이전트 연계해 PC 조작 자동화…홀로데스크톱 CLI

AI 기업 H 컴퍼니(H Company)가 인간용으로 만들어진 데스크톱 화면을 AI 에이전트에게 조작시키기 위한 클라이언트인 홀로데스크톱 CLI(HoloDesktop CLI)를 발표했다. 홀로데스크톱 CLI를 통해 AI 에이전트에 화면을 보는 능력과 PC를 조작하는 능력을 추가할 수 있다고 밝혔다.

지금까지의 AI 에이전트는 코드를 작성하거나 외부 도구를 호출하거나 검색 결과를 정리하는 등 작업을 잘 해왔다. 반면 화면 위의 버튼을 누르거나 이미지로 저장된 영수증을 확인하는 등 인간이 눈과 손으로 처리하는 작업은 서툴렀다.

홀로데스크톱 CLI는 H 컴퍼니의 컴퓨터 조작용 AI 에이전트 H 에이전트(H Agent)를 PC에서 기동하고 조작하기 위한 클라이언트다. H 에이전트는 화면을 확인하면서 OS 전체에서 마우스 조작이나 키보드 입력을 수행할 수 있어 앱 측에서 AI용 전용 API를 준비하지 않아도 인간과 동일하게 화면을 따라가며 작업을 진행할 수 있다고 한다.

홀로데스크톱 CLI는 AI 에이전트와 외부 도구를 연계하는 MCP, 상위 에이전트가 하위 에이전트에 작업을 맡기는 ACP, 에이전트끼리를 연결하는 A2A에 대응하며 다른 에이전트와 연계해 가동할 수 있기 때문에 클로드 코드, 커서, 코덱스, 헤르메스, 오픈클로, 네모클로 등 이미 사용 중인 AI 에이전트 환경에 통합하는 게 가능하다.

예를 들어 클로드 코드로 웹 앱에 새 기능을 추가한 경우 코드 변경만이라면 클로드 코드 단독으로도 진행할 수 있다. 하지만 실제로 로그인하고 화면을 이동하며 필터가 올바르게 동작하는지 확인하는 작업에는 GUI 조작이 필요하다. 홀로데스크톱 CLI를 사용하면 클로드 코드가 새 기능을 작성한 뒤 홀로데스크톱 CLI에 테스트 작업을 인계하고 홀로데스크톱 CLI가 화면에서 불량을 발견하면 클로드 코드가 수정하고 다시 홀로데스크톱 CLI가 동작 확인을 하는 식의 동작이 가능하다는 것이다.

홀로데스크톱 CLI는 추론 처리 실행 방식도 선택할 수 있다. 간편하게 사용하고 싶은 경우에는 H 컴퍼니의 모델스 API(Models API)를 이용하고 더 프라이빗하게 운용하고 싶은 경우에는 홀로 3.1(Holo3.1)계 모델 등을 자체 하드웨어에서 구동하는 셀프 호스트 구성도 선택 가능하다. 로컬 모드의 경우 스크린샷이나 키 입력, 앱 내용이 외부로 전송되지 않는다고 한다.

This one is for builders who want an agent that can operate their computer.

Today, we’re releasing HoloDesktop CLI.

Powered by Holo3 models, it brings H Agent directly into the agent harnesses you already use, including @Claude Code, @Hermes, @Cursor, and others. It runs… pic.twitter.com/IflVu0tX4Q

— H (@hcompany_ai) June 24, 2026

또 PC를 직접 조작하는 AI 에이전트인 만큼 안전 대책으로서 동작을 정지시키는 명령 외에 Esc 키를 빠르게 2번 누르면 실행 중인 조작을 일시 정지하고 취소하는 긴급 정지용 킬 스위치가 마련되어 있다.

한편 holo-desktop-cli 리포지토리에서 공개되어 있는 CLI와 MCP, ACP, A2A 연계 부분은 오픈소스인 아파치 2.0 라이선스로 공개되어 있지만 실제로 에이전트를 구동하는 hai-agent-runtime 바이너리는 H 컴퍼니의 약관에 따라 배포되는 클로즈드 소스 컴포넌트다.

H 컴퍼니는 향후 사용자가 노트북을 계속 사용하는 동안 H 에이전트가 작업할 수 있는 백그라운드 모드와 일상 워크플로 곁에서 사용할 수 있는 네이티브 앱을 개발할 예정이라고 한다. 나아가 단일 PC를 넘어 복수 에이전트를 운용할 수 있는 클라우드 기반 컴퓨터 조작 에이전트도 제공할 예정이라고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.