클라우드플레어 AI 에이전트 전용 브라우저 내놨다

인터넷 인프라 기업 클라우드플레어(Cloudflare)가 AI 에이전트 웹 조작에 특화된 새로운 브라우저인 카이트서프(Kitesurf)를 발표했다. 탭, 테마, 확장 기능 등 사람을 위한 브라우저에서 일반 기능은 배제하고 AI 에이전트가 웹페이지를 읽거나 조작할 때의 CPU·메모리 소비와 확장성을 우선으로 설계했으며 클라우드플레어 서버리스 플랫폼인 워커스(Workers) 위에서 동작한다.

AI 에이전트는 채팅으로 질문에 답하는 것에 그치지 않고 웹사이트를 열어 정보를 수집하거나 양식을 입력하는 등 사람을 대신해 일련의 작업을 수행하는 방향으로 발전하고 있다. 이런 작업에는 브라우저가 필요하지만 크롬 등에 사용되는 크로미움(Chromium)은 원래 인간을 위해 만들어졌기 때문에 AI 에이전트에는 불필요한 기능이 많고 그만큼 메모리와 연산 자원을 소비하는 게 과제였다.

예를 들어 사람이 브라우저를 사용할 때는 탭, 테마, 확장 기능, 기기 간 동기화, 부드러운 스크롤 등이 중요하지만 AI 에이전트에는 이런 기능 대부분이 필요 없다. AI 에이전트용 브라우저에서는 페이지 내용을 읽기 쉬운 것, 적은 연산 자원으로 대량 처리를 수행할 수 있는 것, 비용을 억제할 수 있는 것 등이 중요하다. 또 웹페이지에 심어진 지시에 의해 AI가 의도하지 않은 조작을 수행하는 프롬프트 인젝션 등 사람용 브라우저와는 다른 보안 문제도 고려해야 한다.

이에 클라우드플레어는 지난 5월경부터 AI 에이전트 전용 브라우저 개발에 착수했다. 카이트서프는 클라우드플레어 워커스 위에서 동작하며 처리가 끝나면 상태를 남기지 않고 폐기할 수 있는 스테이트리스(Stateless) 구조를 기본으로 한다. 따라서 필요할 때만 다수 브라우저를 구동하고 처리가 끝나면 종료하는 방식 활용에 적합하다.

카이트서프는 브라우저 구조 전체를 처음부터 자체 개발한 건 아니다. 웹페이지 HTML을 읽어 화면을 구성하는 처리에는 러스트(Rust) 기반 블리츠(Blitz) 일부를 사용하고 페이지 외관을 지정하는 CSS 해석에는 파이어폭스에서도 사용되는 스타일로(Stylo)를 채택했다. 또 일부 자바스크립트 처리에는 러스트 기반 보아 JS(Boa JS)를 활용하고 있다.

카이트서프 내부는 주로 엔진(Engine), 페이지스크립트(PageScript), 페이지렌더러(PageRenderer)라는 세 부분으로 나뉜다. 엔진이 브라우저 전체 상태를 관리하고 페이지스크립트가 HTML과 CSS를 읽어 자바스크립트를 실행하며 페이지렌더러가 최종 화면, 스크린샷, PDF 등을 생성한다.

또 웹페이지에서 불러오는 이미지, 폰트, CSS, 자바스크립트 등은 모두 샌드박스아웃바운드(SandboxOutbound)라는 전용 부분을 거쳐 취득한다. 다른 부분에서 인터넷에 직접 접근할 수 없도록 해 AI 에이전트가 어떤 웹사이트를 열더라도 영향을 최대한 제한할 수 있는 구조로 설계했다.

카이트서프는 CDP(Chrome DevTools Protocol) 일부에 대응한다. 이는 크롬 등 브라우저를 외부에서 조작하기 위한 프로토콜로 퍼펫티어(Puppeteer), 플레이라이트(Playwright), 크롬 데브툴스(Chrome DevTools) 등 이미 널리 사용되는 도구에서 카이트서프를 조작할 수 있다.

클라우드플레어가 14개 URL에서 5회씩 측정한 중앙값을 크로미움과 비교한 결과 카이트서프가 적은 CPU와 메모리로 처리할 수 있다는 게 확인됐다. 스크린샷 취득 시 CPU 사용 시간은 크로미움 1,173밀리초에 비해 카이트서프는 380밀리초였고 HTML 추출에서는 877밀리초 대 229밀리초였다. 메모리 사용량도 스크린샷 취득 시 271.0MiB에서 57.8MiB로, HTML 추출 시 273.7MiB에서 39.4MiB로 줄었다.

다만 처리 완료까지의 소요 시간 자체는 현 시점에서 크로미움이 더 짧다. 스크린샷 취득에서는 카이트서프가 1,148밀리초, 크로미움이 637밀리초였고, HTML 추출에서는 카이트서프가 820밀리초, 크로미움이 472밀리초였다. 클라우드플레어에 따르면 이 차이 대부분은 화면을 이미지로 변환하는 처리와 JPEG·PNG 변환에 있으며 향후 개선해 나갈 예정이라고 한다.

브라우저 웹 표준 대응 정도를 조사하는 웹 플랫폼 테스트(Web Platform Tests)에서 카이트서프는 이미 21만 5,000건 이상 테스트를 통과했다. HTML, CSS, DOM, SVG 등 AI 에이전트가 웹페이지를 다루는 데 중요한 부분 대응도 진행되고 있으며 클라우드플레어는 매주 수백 건 속도로 통과 테스트 수를 늘리고 있다.

아울러 클라우드플레어는 카이트서프 동작 확인 차원에서 둠(DOOM)도 구동했다. 사용된 건 클라우드플레어가 이전에 공개한 브라우저상에서 둠을 구동하는 실험인 사일런트 스페이스 마린(Silent Space Marine)이다. 클라우드플레어는 아무리 테스트를 많이 준비해도 둠이 돌아갈 때까지는 프로젝트가 완성됐다고 할 수 없다며 농담 섞인 소개를 했으며 카이트서프가 단순히 웹페이지 텍스트를 읽는 것에 그치지 않고 실제로 동적인 웹 앱도 표시할 수 있다는 걸 보여줬다.

실제 웹사이트에서는 위키피디아, 해커 뉴스, 클라우드플레어 블로그 외에 리액트(React), 뷰(Vue), 앵귤러(Angular), 프리액트(Preact) 등으로 제작된 투두MVC(TodoMVC)를 정상 표시할 수 있다고 한다. 반면 아직 모든 웹사이트를 완벽하게 표시할 수 있는 건 아니며 클라우드플레어는 대응하는 웹 표준을 늘리면서 더 복잡한 페이지도 다룰 수 있도록 개선을 이어가고 있다.

카이트서프가 그 중에서도 적합한 용도는 웹페이지 내용을 추출하거나 스크린샷·PDF를 생성하는 등 단시간에 끝나는 작업이다. 반면 동영상 재생, 웹GL(WebGL)을 사용하는 페이지, 봇 대책이 엄격한 사이트 접속, 장시간 로그인 상태 유지 등에는 현 시점에서 적합하지 않다. 이런 경우에는 크로미움을 사용하는 브라우저 런(Browser Run)을 이용할 게 권장되고 있다. 관련 내용은 이곳에서 확인할 수 있다.