제미나이가 동영상 자율 분석하는 기능 나왔다

구글 딥마인드가 9월 1일 제미나이(Gemini) 동영상 분석을 자율적으로 진행하는 신기능인 에이전틱 비디오 언더스탠딩(Agentic Video Understanding)을 발표했다. 제미나이가 질문 내용에 따라 동영상 내 필요한 장면을 찾고 영상을 다시 보거나 음성의 문자 변환을 확인하면서 답변을 조립하는 구조로 제미나이 3.7 플래시(Gemini 3.7 Flash), 제미나이 3.6 플래시(Gemini 3.6 Flash), 제미나이 3.5 플래시-라이트(Gemini 3.5 Flash-Lite)에서 이용할 수 있다.

제미나이에는 이전부터 동영상을 입력해 내용을 요약하거나 동영상에 대해 질문하는 기능이 탑재되어 있다. 기존 표준적인 동영상 처리에서는 동영상에서 1초당 1프레임을 추출해 영상 프레임이나 음성을 한꺼번에 제미나이에 읽어 들이게 하는 정적 처리가 사용되고 있었다. 짧은 동영상을 조사하는 용도에서는 다루기 쉬운 반면 수십 분에서 수 시간에 이르는 동영상에서는 대량 토큰을 소비하기 쉽고 그렇다고 해서 프레임 레이트를 낮추는 등으로 입력하는 정보량을 줄이면 한순간밖에 비치지 않는 중요한 정보를 놓칠 가능성이 있다.

에이전틱 비디오 언더스탠딩은 기존 동영상 이해 기능을 확장해 제미나이 자신이 동영상 어디를 확인할 필요가 있는지를 판단할 수 있도록 한 처리 모드다. 제미나이는 질문을 바탕으로 필요한 구간을 찾고, 영상 프레임, 음성, 문자 변환에서 필요한 정보를 취득한다. 더 상세한 확인이 필요해지면 대상 구간 프레임 레이트나 해상도를 조정해 다시 읽는 것도 가능하다. 처음부터 끝까지 같은 밀도로 동영상을 읽어 들이는 것이 아니라 답에 필요한 부분에 처리를 집중시키는 것이다.

필요한 부분만 상세하게 확인할 수 있기 때문에 한순간의 변화를 찾는 것과 같은 용도에도 활용할 수 있다. 구글은 1초 미만 짧은 시간에 일어나는 상태 변화나 동영상 편집 컷 위치 특정, 수 시간의 영상에서 특정 사건을 찾는 검색, 이상이 발견된 구간만 프레임 레이트를 높여 조사하는 이상 감지, 동작 횟수나 물체 개수를 세는 용도 등을 들고 있다. 빠른 움직임을 셀 경우에는 필요에 따라 프레임 레이트를 변경해 영상을 재확인하기 때문에 1FPS 정적 처리로는 포착하기 어려운 움직임도 상세하게 조사할 수 있다고 한다.

구글에 따르면 에이전틱 비디오 언더스탠딩에 의해 토큰 소비량을 최대 88% 삭감하고 정확도를 최대 7% 향상할 수 있었다고 한다. 그 중에서도 10분 정도 해설 동영상이나 90분 강의, 수 시간에 이르는 녹화 등 비교적 긴 동영상에서 효율 개선이 크다고 여겨진다.

Can Gemini count the number of claps? 👏

Accurately counting rapid movements is a notoriously tricky task for AI. Because static processing ingests video at a fixed 1 FPS by default, split-second movements like a clap easily get missed entirely or get confused with a snap or… pic.twitter.com/qbv5o3wR7X

— Google AI Developers (@googleaidevs) September 1, 2026

또 구글은 에이전틱 비디오 언더스탠딩을 활성화한 제미나이 3.7 플래시가 검증한 모델 중에서 정확도와 비용의 파레토 최전선에 위치한다고 설명하고 있다. 구글에 따르면 에이전틱 비디오 언더스탠딩에서는 분석 비용을 최대 66% 삭감할 수 있다고 한다.

에이전틱 비디오 언더스탠딩을 이용하려면 제미나이 API에서 동영상 처리 방법을 agentic으로 지정하면 된다. 현재 구글 AI 스튜디오 및 제미나이 엔터프라이즈 에이전트 플랫폼에서 이용할 수 있으며 업로드한 동영상에 더해 공개 유튜브 동영상 분석에도 대응하고 있다. 에이전틱 비디오 언더스탠딩 자체에 추가 요금은 설정되어 있지 않으며 일반 제미나이 API 토큰 요금이 적용된다. 덧붙여 짧은 동영상에서 응답 속도를 중시하는 경우 등에는 기존 정적 처리도 마련되어 있으며 구글 개발자용 자료에서는 5분 미만 짧은 동영상 등에서 정적 처리가 선택지가 된다고 안내되고 있다.

더구나 구글은 에이전틱 비디오 언더스탠딩을 개발자용 API에만 그치지 않고 제미나이 앱 플래시(Flash) 및 플래시-라이트(Flash-Lite)에도 조만간 전개할 예정이다. 또 수개월 안에 유튜브 동영상 시청 페이지에서 질문할 수 있는 애스크 유튜브(Ask YouTube)에도 도입해 영상 내용을 바탕으로 한 답변 품질 향상에 이용될 예정이라고 한다. 관련 내용은 이곳에서 확인할 수 있다.