‘인간 역할은 판단 뿐’ AI 에이전트 24시간 체제로…

AI 에이전트 등장으로 심야 인시던트 발생 시 인간 엔지니어 역할이 극적으로 변화하고 있다. 기존에는 트리아지 그러니까 알람 발생 시 원인 및 영향 범위 특정 작업은 엔지니어가 담당해 왔지만 트리아지를 AI가 대신해 인간은 최종적인 의사결정에 집중할 수 있게 된다는 비전이 현실성을 띠기 시작했다.

2026년 8월 16일 오전 2시 33분 AI 에이전트 탑재 개발 플랫폼을 제공하는 카이로(KIRO)가 다루는 프론티어 모델 중 하나에서 가용성 알람이 발생해 실제 서비스 환경에서의 응답이 처리 도중에 정지했다. 감시 시스템이 자동으로 티켓을 발행한 지 불과 13분 35초 뒤에는 AI 에이전트가 원인을 특정하고 근거와 권장되는 다음 액션까지를 정리한 진단 결과를 티켓에 기록했다. 인간 엔지니어가 한 건 티켓에 에스컬레이션을 신청한다거나 또는 실제 서비스 환경의 버그에 대처한다는 한 문장을 입력한 것이다. 다시 말해 인간 역할은 완성된 개요를 읽는다, 개요에 제시된 판단 기준을 정밀 검토한다, 결정을 내린다와 같은 것이었다는 얘기다. AI 에이전트에 의한 일련의 대응이 한밤중에 이뤄졌다는 점을 고려하면 인간만으로 동일하게 빠른 대응을 하는 건 불가능했을 것으로 여겨진다.

대응을 수행한 AI 에이전트는 카이로 CLI(Kiro CLI) 상에서 동작하고 있으며 프로덕션 티켓 큐 트리아지를 담당하고 있다. 이번에 발생한 알람을 통해 카이로 프론티어 팀은 에이전트를 중심으로 일을 진행하는 방식을 재설계하고 그 능력을 신뢰하기에 이르렀다고 한다. 알람이 발생하면 누군가가 알람은 진짜인가, 무엇이 원인인가, 누가 영향을 받고 있는가를 판단할 필요가 있다. 적절한 트리아지란 서로 다른 로그 그룹·계정·쿼리 언어에 걸친 다수 가설 중에서 가장 먼저 물어야 할 몇 가지 질문을 찾아내는 가설 탐색이며 AI 에이전트는 다양한 도구를 활용해 이 작업을 수행하는 걸 잘한다. 오랜 세월에 걸쳐 축적되어 온 운용 절차서·알람 위키·인시던트 후 메모는 에이전트 컨텍스트에 대한 투자였다고 생각할 수 있다. 에이전트가 조사에서 얻은 지견을 기록해 시스템에 관한 지식이 지속적으로 축적된다. 이런 작업을 한밤중에 지쳐버린 인간이 똑같이 해내는 건 곤란하다.

시스템 개선은, 엔지니어가 에이전트를 지도하고, 에이전트가 학습한 내용을 관리하는 루프에 의해 매주 이뤄진다. 루프 회전을 유지하는 건 4가지 메커니즘이다. 첫째 수정은 교훈으로, 각 수정은 한 번 저장되어 향후 모든 세션에 반영된다. 또 에이전트는 프롬프트의 버그 요인이 된 문서를 수정한다.

둘째 조사는 지식으로. 클로즈된 티켓은 아카이브에 집약되어 향후 세션에서 가장 먼저 쿼리된다. 셋째 에이전트가 스킬을 작성하고 인간이 리뷰. 새로운 인시던트가 발생하면 에이전트는 새로운 플레이북 초안을 작성 또는 갱신하고 엔지니어와 야간 작업이 코드베이스처럼 관리한다. 마지막으로 에이전트 간 상태 공유. 여러 에이전트가 동일한 인시던트를 감시하고 있는 경우라도 단일 업스트림 티켓만을 작성한다.

다만 이 학습 파이프라인도 실패하는 경우가 있어 이전에는 세션 종료 시에 보류되어 있던 텍스트가 그대로 수정 스토어에 기록되었기 때문에 향후 세션에서 잘못된 운용 지식으로 학습되어 버리는 경우가 있었다. 실패를 방지하기 위해 기록 전의 스키마 검증과 야간 프루닝이 도입됐다. 카이로 프론티어 팀이 배운 점을 정리하면 먼저 AI 에이전트는 문서 버그를 컴퓨터의 연산 속도로 이어받는다는 것. 세션이 잘 진행되지 않았을 경우 그 자리에서 수정, 오해를 초래한 원인을 규명, 문서를 수정의 흐름을 철저히 하는 것이 중요하다.

다음은 확신에 찬 절반의 답은 틀린 답보다 비싸게 먹힌다는 것. 에이전트는 결론을 말하기 전에 경합하는 가설을 테스트하고 배제할 필요가 있다. 자동 체크에 의해 종래에는 인간이 리뷰에서 검출하던 많은 오류가 배제됐다.

이어 간결함이 신뢰를 쌓는다는 것. 초기 에이전트는 상세한 작업 스텝을 고객에게 보이는 스레드에 게시했지만 노이즈가 많았기 때문에 현재는 짧은 요점만을 스레드에 게시하고 상세는 워크로그로 보내진다.

다음으로 단일한 자율 설정은 없다는 것으로 모든 액션에는 고유의 규칙이 필요하다. 또 보안은 인프라스트럭처로부터. 모든 무인 세션은 기본적으로 읽기 전용이며 관리자 권한 요구는 에러가 된다. 각 인증 정보는 하나의 세션을 위해 발행되어 에이전트가 선언한 태스크에 스코프가 설정되기 때문에 세션은 요구한 API만을 호출할 수 있다.

현재 AI 에이전트는 트리아지를 담당하고 있지만 미래에는 코드 리뷰 초안 작성이나 임계값 조정에 의한 복구도 하게 될 것으로 여겨지고 있다. 온콜 로테이션은 앞으로도 존속하지만 역할은 변화해 엔지니어는 심야에 조사를 시작하는 게 아니라 완료된 조사 결과를 리뷰하게 된다. 온콜 엔지니어 페이저는 에이전트가 이미 실행한 작업의 의사결정 큐가 되어가고 있다. 일련의 변화는 프론티어 엔지니어의 새로운 생활 시작이며 앞으로 더 나아간 진화가 기대된다. 관련 내용은 이곳에서 확인할 수 있다.