차세대 음성 모델 ‘GPT-라이브’ 나왔다

오픈AI는 7월 8일 챗GPT 음성 대화를 보다 자연스럽게 만드는 차세대 음성 모델인 GPT-라이브(GPT-Live)를 발표했다. GPT-라이브는 상대방 말을 들으면서 동시에 말할 수 있는 풀 듀플렉스(Full Duplex) 방식을 채택했으며 챗GPT 음성 모드의 새로운 표준 모델로 순차 제공된다.

GPT-라이브는 AI와의 대화 경험을 인간과의 대화에 가깝게 만드는 걸 목적으로 한 음성 모델. 기존 챗GPT 음성 모드는 음성을 텍스트로 변환하고 대규모 언어 모델로 응답을 생성한 뒤 이를 다시 음성으로 되돌리는 다단계 구조를 사용했기 때문에 응답에 지연이 발생하거나 대화가 어색해지는 문제가 있었다.

이후 등장한 고급 음성 모드(Advanced Voice Mode)는 음성 이해와 생성을 단일 모델로 처리해 지연을 줄였지만 대화 단위는 여전히 상대가 말을 끝낸 뒤 답하는 턴제 방식이었다. 이 때문에 짧은 침묵이나 주변 소음이 발화 종료로 오인되어 모델이 부자연스러운 타이밍에 끼어드는 경우가 있었다고 한다.

GPT-라이브는 입력을 처리하면서 동시에 출력을 생성하는 풀 듀플렉스 아키텍처를 채택했다. 이를 통해 모델은 1초에 여러 차례 말하기, 계속 듣기, 일시 정지, 끼어들기, 도구 호출 등 판단을 내릴 수 있게 됐으며 응, 그렇구나 같은 맞장구를 치거나 사용자가 생각하는 동안 조용히 기다리는 것도 가능하다.

GPT-라이브가 지닌 또 다른 특징은 자연스러운 대화를 담당하는 부분과 검색이나 추론 등 무거운 작업을 담당하는 부분을 분리한 것. 웹 검색이나 깊은 추론, 복잡한 작업이 필요한 경우 GPT-라이브는 백그라운드에서 최신 프론티어 모델에 처리를 위임하며 작업 중에도 대화 흐름을 유지할 수 있다. 제공 개시 시점에서 백그라운드에 사용되는 모델은 GPT-5.5이며 향후 새로운 프론티어 모델이 등장하면 지속적으로 업데이트될 예정이다.

GPT-라이브에 이 근처에서 늦은 점심을 먹을 수 있는 곳이 있냐는 질문을 받으면 GPT-5.5로 정보를 검색한 뒤 곧바로 음성으로 답한다.

GPT-라이브가 탑재된 챗GPT 음성 모드에서는 사용자가 도중에 질문을 끼워 넣거나 생각하기 위해 잠시 쉬거나 챗GPT에게 천천히 말해달라고 요청하는 게 가능해진다. 오픈AI는 챗GPT에 마련된 9가지 음성도 GPT-라이브용으로 리마스터했다고 설명했으며 배경에 교통 소음이나 주변 대화가 있는 경우에도 사용자 목소리에 집중하기 쉬워졌다고 밝혔다.

응답 능력에 대해서는 인스턴트(Instant), 미디엄(Medium), 하이(High)라는 3가지 추론 레벨을 선택할 수 있게 된다. GPT-라이브-1 인스턴트(GPT-Live-1 Instant)와 GPT-라이브-1 미니(GPT-Live-1 mini)는 백그라운드에서 GPT-5.5 인스턴트를, GPT-라이브-1 미디엄(GPT-Live-1 Medium)과 GPT-라이브-1 하이(GPT-Live-1 High)는 GPT-5.5 싱킹을 중~고 추론 레벨로 사용한다.

오픈AI는 대화 속 쾌적함과 흐름을 측정하기 위해 인간 평가도 실시했다. 5분에서 10분간 대화에서 전반적인 선호도, 발화 교대, 끼어들기, 대화 흐름, 자연스러움을 비교한 결과 GPT-라이브-1과 GPT-라이브-1 미니가 고급 음성 모드보다 강하게 선호된 것으로 나타났다.

오픈AI는 벤치마크에서는 GPT-라이브-1이 전문적 과학 추론을 측정하는 GPQA에서 고급 음성 모드를 크게 상회했으며 검색 에이전트로서 찾기 어려운 정보를 탐색하는 능력을 측정하는 브라우즈컴프(BrowseComp)에서도 큰 개선을 보였다고 설명했다.

또 현실적인 통신 고객지원 업무를 상정한 τ3-보이스 텔레콤(τ3-Voice Telecom)에서도 GPT-라이브-1이 고급 음성 모드를 상회한 것으로 알려졌다.

오픈AI는 GPT-라이브를 위해 음성 특유 리스크를 상정한 안전 대책도 도입했다. 대화가 실시간으로 진행되기 때문에 잠재적으로 위험한 출력이 감지되면 보다 안전한 응답으로 유도하거나 안전 메시지 및 지원 리소스를 표시하거나, 고위험 상황에서는 음성 대화를 종료할 수 있다.

또 10대 사용자를 위한 추가 보호 조치도 마련했다. 보호자는 자녀 보호 기능을 통해 자녀가 챗GPT 음성 모드를 사용할 수 있는지 여부를 선택할 수 있으며 자해나 자살 의도 징후를 포함한 고위험 상황이 발생하면 보호자에게 알림이 전송된다고 한다.

한편 GPT-라이브에는 제공 개시 시점에서 제한 사항도 있다. 오픈AI에 따르면 GPT-라이브는 챗GPT 내에서 영상 포함 음성이나 화면 공유에는 아직 대응하지 않으며 이런 기능은 향후 도입 예정이라고 한다. 또 특정 언어에서는 비원어민 억양이나 유창함이 충분하지 않을 가능성도 있으며 오픈AI는 지원 언어 전반에 걸쳐 사용자 경험을 개선해 나가겠다고 밝혔다.

오픈AI는 GPT-라이브에 대해 GPT-라이브-1과 GPT-라이브-1 미니의 2종류를 글로벌로 전개한다고 밝혔다. 챗GPT 음성 모드에서 유료 플랜인 고, 플러스, 프로 사용자에게는 GPT-라이브-1이, 무료 사용자에게는 경량 버전인 GPT-라이브-1 미니가 표준 모델로 제공된다. iOS, 안드로이드, ChatGPT.com에서 순차적으로 이용 가능해지며 API를 통한 제공도 예정되어 있다. 관련 내용은 이곳에서 확인할 수 있다.