[위클리팟캐스트] AI 경쟁 가속화…보안‧안전성 경고음도 커졌다

글로벌 IT 산업이 차세대 인공지능(AI) 모델과 플랫폼 주도권을 놓고 빠르게 진화하고 있다. 그만큼 AI 안전성과 개인정보 유출, 반도체 수급난 같은 부작용 우려도 함께 커졌다. 이번 주 IT 시장에서는 빅테크와 주요 스타트업의 기술 혁신과 함께 이를 둘러싼 규제와 보안 위협이 핵심 화두로 떠올랐다.

◇ 빅테크 차세대 AI 모델·플랫폼 잇따라 공개=오픈AI(OpenAI)는 고성능 AI 모델 GPT-6 시리즈 제공 범위를 무료 사용자까지 넓혔다. 질문에 맞춰 글·이미지·그래프·버튼을 조합해 답하는 인텔리전트 UI 기능도 공개했다. 문의 분류와 판단을 빠르게 처리하는 디시전스 API를 선보였고 챗GPT 쇼핑 기능에는 가상 의류 착용(Try on)과 찜하기 기능을 추가했다.

그림‧버튼 섞어 답한다…오픈AI, 인텔리전트 UI 공개

구글(Google)은 이미지 생성 AI 나노바나나 2.1을 발표했다. 화질과 텍스트 렌더링, 멀티턴 일관성을 높인 모델이다. 온디바이스 환경에서 텍스트·이미지·음성·코드를 통합해 정리하고 검색하는 임베딩젬마 2도 공개했다. 파라미터는 7억4,000만 개 규모다. 개인 무료 이용자가 쓰는 제미나이 모델은 경량 고속 모델인 플래시 라이트로 제한하도록 개편했다.

나노바나나 2.1 공개한 구글‧무료 제미나이 모델은 제한

마이크로소프트(Microsoft)는 로컬 실행에 최적화한 코드 생성 모델 MAI-Code-1.1-Flash를 공개했다. PC 로컬 AI와 클라우드 AI를 결합해 사용자 데이터 참조와 고성능 처리를 함께 구현하는 하이브리드 인텔리전스 비전도 제시했다. 앤트로픽(Anthropic)은 구글 문서·시트·슬라이드 안에서 클로드를 불러 파일을 직접 읽고 편집하는 확장 프로그램 클로드 포 구글 워크스페이스를 공개 베타로 내놨다.

마이크로소프트, 로컬+클라우드=하이브리드 인텔리전스 제시

◇ 오픈소스 하드웨어부터 소버린 AI까지=개방형 AI 생태계를 넓히려는 움직임도 거세다. 메타(Meta)는 자체 개인 AI 에이전트 뮤즈를 라즈베리파이나 ESP32 보드 같은 기기에 탑재해 DIY 오픈소스 하드웨어를 만들 수 있는 뮤즈 가젯 플랫폼을 내놨다.

메타, 뮤즈 탑재 기기 DIY 오픈소스 플랫폼 공개했다

미국 AI 스타트업 리플렉션(Reflection)은 중국 오픈소스 모델에 맞서 대형 오픈모델 빔을 발표했다. 파라미터는 5,010억 개이며 이 중 230억 개가 활성화된다. 회사는 높은 추론 효율을 앞세워 기업용 코딩과 에이전트 시장을 공략하겠다고 밝혔다. 독일 알레프알파(Aleph Alpha)는 규제 산업과 공공행정을 겨냥한 이중언어 소버린 AI 모델 콜리브리를 아파치 2.0 라이선스로 무료 공개했다. 학습 전 과정을 유럽 안에서 진행한 모델이다.

◇ AI 안전성 논쟁과 에이전트발 보안 위협=기술 발전 이면에서는 안전성과 보안을 둘러싼 경고음이 커지고 있다. 오픈AI에서 주요 제품 안전성 보고서를 맡던 데이비드 로빈슨 연구원은 회사의 반복적 배포 문화가 실패 위험을 키운다며 사직했다. 이에 대해 샘 알트만 오픈AI 최고경영자(CEO)는 인터뷰에서 파국적 위험은 피해야 하지만 AI가 주는 거대한 혜택을 누리려면 일정한 부작용과 위험은 감수해야 한다는 소신을 밝혔다.

샘 알트만 “AI 혜택 누리려면 일부 부작용 감수해야”

보안 악용 사례도 드러났다. 오픈AI는 이용자 1만5,000명 이상이 가담해 암호화된 사고 과정을 빼내려 한 조직적 적대적 증류 공격을 차단했다고 밝혔다. 회사는 공격 중심에 중국 문샷AI(Moonshot AI) 관련 인물이 있었던 것으로 추정했다. 오픈AI는 유럽연합 AI법을 준수하려고 유럽연합 지역 사용자에게 제공하는 생성 텍스트에 보이지 않는 워터마크를 넣기로 했다.

자율형 AI 에이전트를 악용한 해킹은 금융권과 이커머스로 번지고 있다. 국내에서는 금융사 7곳이 AI 에이전트를 악용한 사이버 공격을 받아 개인정보 6만8,000여 건이 유출된 정황이 포착됐다. 피해 금융사는 신한은행과 KB국민은행, 하나은행, 예가람저축은행, 웰컴저축은행, BNK부산은행, 현대캐피탈이다. 해외에서는 보안 기업 갬빗시큐리티(Gambit Security) 조사 결과 오픈소스 AI 도구 헤르메스와 스트릭스, 케언이 수십 개 기업에서 신용카드 정보 61만 건 이상을 탈취한 것으로 파악됐다. 이 도구 3종은 취약점 탐색부터 권한 획득과 악성 코드 심기까지 전 과정을 자율로 수행했다.

국내 금융사도…자율형 AI 에이전트발 개인정보 유출 급증

제도적 방어선도 세워지고 있다. 미국 뉴욕시는 가입만큼 해지도 쉽게 하도록 강제하는 클릭 투 캔슬 규제를 시행했다. 해지 절차를 방해하는 기업을 신고하는 민원 창구도 열었다.

◇ 로봇 격투 중지 명령과 메모리 공급 부족 경고=신기술 적용 범위를 둘러싼 갈등도 불거졌다. 사람과 휴머노이드 로봇이 케이지에서 맞붙는 격투 행사를 연 로봇 스타트업 렉(REK)은 캘리포니아주 체육위원회에서 즉각 중지 명령을 받았다. 무허가로 경기를 개최했다는 이유다.

“인간 vs 휴머노이드 로봇 매치 중단해라”

반도체 기업 마이크론(Micron)은 AI 모델 대형화와 데이터센터 확대로 메모리와 스토리지 공급 부족이 2027년과 2028년 한층 심해질 것이라고 경고했다. 부족 현상이 2028년 이후까지 이어질 수 있다고도 내다봤다. 차세대 자율주행차와 휴머노이드 로봇 같은 피지컬 AI 시장이 커지면서 메모리 수요가 폭발적으로 늘 것이라는 게 마이크론의 전망이다.