구글 오픈소스 AI 모델, 구글AI스튜디오에서 삭제됐다

구글이 개발하고 있는 오픈소스 AI 모델인 젬마(Gemma)가 10월 31일 구글 첨단 AI 모델을 무료로 시험 사용할 수 있는 개발자용 실험 스튜디오인 구글AI스튜디오(Google AI Studio)에서 삭제됐다.

젬마 삭제는 구글 관련 최신 정보를 발신하는 공식 엑스 계정 중 하나(News from Google)에서 발표됐다. 이에 따르면 먼저 구글 AI 제품 간 차이를 명확히 한다며 자사 젬마 모델은 개발자 및 연구자 커뮤니티를 위해 특별히 구축된 오픈 AI 모델 패밀리이며 이는 사실적인 지원이나 소비자 사용을 목적으로 한 게 아니라고 밝혔다. 이어 젬마 모델은 혁신과 창의성을 육성한다며 개발자와 연구자는 그 한계를 시험하며 여기에는 버그 식별과 피드백 제공이 포함된다고 밝혔다. 젬마는 이미 놀라운 획기적 성과를 가져왔으며 예를 들어 Gemma C2S-Scale 27B는 최근 과학자가 미래 암 치료법을 개발하는 새로운 방법을 발견하는 데 도움을 줬다고 설명했다. 하지만 환각은 AI 업계 전체 과제이며 젬마와 같은 소형 오픈 모델에서 두드러진다면서 자사는 환각을 최소화하는 데 지속적으로 노력하고 있으며 모든 모델을 지속적으로 개선하고 있다고 덧붙였다.

We wanted to share more information about Gemma in AI Studio:

First, to clarify the distinction between our AI products. Our Gemma models are a family of open models built specifically for the developer and research community. They are not meant for factual assistance or for…

— News from Google (@NewsFromGoogle) November 1, 2025

젬마는 API를 통해 이용 가능하며 개발자용 도구인 구글AI스튜디오에서도 이용 가능했다. 다만 구글AI스튜디오에서 젬마를 이용하려면 개발자임을 증명해야 했다. 현재 비개발자가 구글AI스튜디오에서 젬마를 사용하려고 시도하며 사실 기반 질문을 던지고 있다는 보고가 다수 접수되고 있다. 구글은 젬마를 소비자용 도구나 모델로 의도하지 않았으며 이런 사용 방식을 상정하지 않았다고 밝히면서 이런 혼란을 방지하기 위해 구글AI스튜디오에서의 젬마 접근을 중단했다면서 다만 개발자를 위해서는 계속해서 API를 통해 젬마를 이용할 수 있다고 설명했다.

구글 측 설명은 모호하지만 실제 원인은 미국 공화당 의원인 마샤 블랙번 상원의원의 서한이 관련되어 있는 것으로 보인다는 지적이다. 블랙번 상원의원 서한은 본인 공식 사이트에 공개되어 있다. 제목은 젬마가 블랙번 상원의원에 대한 허위 범죄 혐의를 조작한 것에 대해 구글 측에 해명을 요구하고 있다는 것으로 10월 31일 공개된 지 얼마 되지 않았다.

구체적으로는 구글 젬마가 마샤 블랙번은 강간 혐의를 받았냐는 질문에 대해 조작된 뉴스 기사에 대한 가짜 링크를 생성하고 피차이(Google CEO)에 대한 중대 범죄 혐의를 조작했다는 지적이다.

블랙번 상원의원은 구글을 비롯한 기업이 보수파를 중상모략하는 AI를 제작했다며 청문회에서의 해명을 요구했고, 이에 대해 구글 측은 환각은 생성 AI에서 널리 알려진 문제이며 자사는 이런 실수 영향을 완화하기 위해 최선을 다하고 있다고 설명했다.

이 청문회 직후 블랙번 상원의원은 젬마가 자신에 관한 환각을 일으키고 있음을 알게 됐다고 한다. 또 젬마가 조작된 뉴스 기사의 가짜 링크를 생성하는 것에도 놀라움을 표시했다. 하지만 이는 AI의 환각에서 흔히 있는 일이며 젬마에 가장 접근하기 쉬운 구글AI스튜디오에서는 모델 동작을 미세 조정하고 허위를 출력할 가능성을 높이는 도구도 공개되어 있다. 따라서 누군가가 젬마에 유도 질문을 하면 젬마가 이에 속아 넘어갈 가능성이 있다는 지적이다.

한편 AI 환각을 완전히 배제하는 데 성공한 AI 기업은 아직 존재하지 않지만 구글 제미나이 포 홈(Gemini for Home)은 테스트에서 많은 환각을 발생시켰다고 지적되고 있다.

보도에선 블랙번 상원의원이 젬마 환각을 어떻게 알게 됐는지는 불명이지만 이는 우연히 발견할 수 있는 게 아니며 구글이 지적하고 있듯 구글AI스튜디오는 개발자용 도구이며 사실 기반 출력을 생성하기 위한 게 아니라고 지적했다. 가령 누군가가 정말로 블랙번 상원의원이 강간 혐의로 고발됐는지 알고 싶다고 가정해도 구글AI스튜디오에서 답을 찾아 헤맬 일은 아마도 없을 것이라면서 블랙번 상원의원 스태프나 지지자가 구글 AI 모델 중에서 명예훼손적 환각을 찾았을 가능성이 있다고 지적했다.

구글은 미국 정부로부터 여러 건의 독점금지법 소송을 제기당하고 있다. 지난 2021년 미국 연방의회 의사당 습격 사건을 이유로 도널드 트럼프 대통령을 유튜브에서 추방한 건으로 트럼프 대통령으로부터도 소송을 제기당했다. 트럼프 대통령 소송에서 유튜브는 2,450만 달러 합의금을 지불하는 데 동의했다. 그 외에도 트럼프 행정부 의향에 따라 멕시코만에 대한 구글 지도상 표기를 미국만으로 즉시 변경했다.

한편 블랙번 상원의원은 서한에서 여러 요구사항을 열거하고 있으며 AI를 통제할 수 있게 될 때까지 중단시키라는 엄중한 문구로 서한을 마무리하고 있어 이 소동은 젬마를 제미나이 포 홈에서 삭제하는 것만으로는 끝나지 않을 것이라는 지적이다. 관련 내용은 이곳에서 확인할 수 있다.