구글이 제미나이 3.7·3.6 플래시와 3.5 플래시라이트에 에이전틱 비디오 이해를 얹었다. 영상을 프레임 단위로 다 보지 않고 필요한 구간만 골라 탐정처럼 조사하는 방식이다. 토큰 소비는 최대 88%, 비용은 최대 66% 줄었고 정확도는 오히려 최대 7% 올랐다.
9월 1일, 구글이 제미나이에 또 하나의 업데이트를 얹었다. 🤖
이번엔 새 모델 발표가 아니라 영상을 보는 방식 자체를 바꾼 업데이트다. 제미나이 3.7 플래시, 3.6 플래시, 3.5 플래시라이트 세 모델에 '에이전틱 비디오 이해(Agentic Video Understanding)' 기능이 새로 붙었다.
원래 제미나이는 영상이 들어오면 처음부터 끝까지 고정된 프레임레이트로 쭉 훑었다. 10분짜리든 2시간짜리든 상관없이 촘촘하게 프레임을 뽑아서 다 밀어 넣는 식이었다. 그러다 보니 정작 중요한 장면은 몇 초 안 되는데, 토큰은 영상 길이에 비례해서 계속 늘어났다. 회의 녹화본 한 시간짜리를 분석하려 해도, 실제로 의미 있는 발언은 앞부분 5분과 마지막 결론 부분뿐인 경우가 흔한데 기존 방식은 그 사이 55분도 똑같은 밀도로 다 씹어 삼켰던 셈이다.
근데 새 방식은 다르다. 모델이 내부 툴을 호출해서 프레임, 오디오, 자막(트랜스크립트) 채널 가운데 뭘 볼지, 어느 구간을 얼마나 촘촘하게 살펴볼지를 스스로 판단한다. 처음엔 영상을 성글게 훑어보고, 단서가 될 만한 구간을 찾으면 그 부분만 다시 촘촘하게 파고드는 식이다. 구글 표현을 빌리면 마치 탐정처럼 단서를 쫓아 필요한 곳만 뒤지는 셈이다. 유튜브 롱폼 영상에서 특정 장면을 찾거나, 보안 카메라 영상에서 특정 사건이 발생한 순간을 짚어내거나, 광고 소재에서 로고가 노출된 구간만 골라내는 작업이라면 이 방식이 훨씬 자연스럽다.
말로만 들으면 그냥 최적화처럼 들리는데, 숫자로 보면 얘기가 좀 다르다.
구글이 공개한 벤치마크에 따르면 표준 영상 분석 작업 기준으로 토큰 소비는 최대 88%, 분석 비용은 최대 66% 줄었다. 그런데 정확도는 떨어지기는커녕 오히려 **최대 7%**까지 올라갔다는 게 더 눈에 띈다. 보통 이런 종류의 최적화는 정확도를 어느 정도 포기하는 트레이드오프가 따라붙기 마련인데, 이번엔 그 공식이 깨졌다.
실제 롱폼 영상 테스트 하나를 보면 감이 온다. 쿼리 하나당 토큰 소비가 397,600개에서 47,700개로 줄었다. 88.0% 감소다. 근데 같은 테스트에서 정확도는 87.5%에서 88.5%로 오히려 올라갔다. 덜 보고도 더 잘 맞혔다는 얘기다. 📊
이 기능은 9월 1일부터 제미나이 API, 구글 AI 스튜디오, 제미나이 엔터프라이즈 에이전트 플랫폼에서 바로 쓸 수 있다. 추가 요금은 없다. 다만 아직 'Generative AI Preview' 라벨이 붙어 있어서 완전히 정식 딱지를 뗀 기능은 아니라는 점은 참고할 만하다. 프리뷰 라벨이 붙은 기능은 API 스펙이나 동작 방식이 나중에 살짝 바뀔 수 있다는 뜻이니, 지금 당장 프로덕션에 물려서 쓰는 것보다는 일단 테스트해보고 감을 잡아두는 정도가 적당해 보인다. ✅
기존 사용자 입장에서 더 반가운 지점은 따로 코드를 새로 짜거나 다른 엔드포인트를 호출할 필요가 없다는 점이다. 해당 세 모델로 영상을 넣고 분석을 요청하면 내부적으로 알아서 이 방식이 적용되는 구조라, 마이그레이션 부담이 거의 없다. 그동안 영상 분석 토큰 비용 때문에 제미나이 도입을 망설였던 팀이라면 지금 다시 계산기를 두드려볼 만하다.
구글은 최근 몇 달 동안 제미나이 3.x 라인업을 계속 손봐왔다. 코딩 쪽에 특화된 모델이 나온 적도 있었고, 이번엔 영상 쪽 차례다. 방향은 다르지만 패턴은 비슷하다. 새 모델을 통째로 갈아엎기보다, 기존 모델이 특정 작업을 더 잘하게 만드는 식으로 실용성을 챙기는 쪽. ⚡
이게 왜 중요하냐면, 영상은 원래 텍스트보다 훨씬 비싼 데이터였기 때문이다. 1시간짜리 영상 하나를 통째로 분석에 밀어 넣으면 텍스트 문서 수백 페이지 분량의 토큰이 소모되는 게 보통이었다. 그러니 영상 콘텐츠를 다루는 서비스일수록 분석 비용이 발목을 잡는 경우가 많았는데, 이번 업데이트는 그 구조 자체를 건드린 셈이다. 88%라는 숫자가 단순히 벤치마크용 수치가 아니라 실제 청구서에 그대로 반영될 가능성이 높다는 뜻이다. 💯
솔직히 이런 업데이트는 화려한 맛은 없다. 근데 유튜브 영상, 회의 녹화, 보안 카메라 영상, 광고 소재를 대량으로 다루는 회사 입장에서는 이게 훨씬 체감이 크다. 토큰이 88% 줄었다는 건 결국 청구서가 그만큼 얇아진다는 뜻이니까. 개인적으로는 이런 '조용한' 업데이트가 실제 서비스에 미치는 영향은 신모델 발표보다 클 때가 많다고 본다. 화려한 데모 영상 하나 없이 나온 발표치고는 꽤 실속 있는 소식이다. 🚀
영상 데이터를 대량으로 다루는 회사들이 이걸 어떻게 받아들일지, 그리고 다른 곳들도 비슷한 방식을 따라갈지는 좀 더 지켜봐야 할 것 같다.
출처