美 캘리포니아주, AI가 AI라는 걸 알릴 의무화 법률 성립

2025년 10월 미국 캘리포니아주에서 AI를 다양한 관점에서 규제하기 위한 법률이 성립됐다. 그 법률 중에는 챗봇 AI가 스스로 AI임을 적극적으로 통지하도록 요구하는 항목도 포함되어 있다.

캘리포니아주 개빈 뉴섬 주지사는 미국 첫 AI 챗봇 보호법이라 칭한 상원 법안 243호에 서명해 법률로 성립시켰다. 이 법안은 AI를 비롯한 신흥 기술에 대한 안전 대책을 실시하기 위한 것으로 그 중에서도 청소년 안전을 최우선으로 확보하는 게 목표로 설정되어 있다.

이 법률은 AI 챗봇을 운영하는 플랫폼에 대해 챗봇과의 대화가 인공적으로 생성된 것임을 공개하도록 의무화하는 것. 이를 통해 AI 챗봇을 사용하는 인간이 AI에 의존하거나 정신적 고통을 겪게 되는 걸 방지할 수 있을 것으로 기대된다. 법률에서는 인간과 대화하고 있다고 오해될 가능성이 있는 경우 챗봇을 운영하는 기업은 챗봇이 AI이며 인간이 아니라는 걸 명확하고 눈에 띄는 형태로 통지해야 한다고 규정하고 있다.

더불어 AI 챗봇을 이용하는 미성년자에게 휴식을 권장하도록 통지하거나 만일 챗봇이 성적으로 노골적인 이미지를 생성한 경우 이를 미성년자가 열람하지 못하도록 하는 제한 사항을 설정하는 등 챗봇 운영자에 대해 다양한 보호 프로그램을 실시하도록 요구하고 있다.

이 법안을 제출한 스티브 파딜라 상원의원은 AI가 강력한 교육·연구 도구가 될 수 있음을 인정하면서도 청소년 관심을 끌어모아 현실 세계의 인간관계를 희생하면서까지 의존하게 만드는 위험성을 내포하고 있다고 지적했다.

파딜라 상원의원은 14세 소년이 AI에 몰두하다가 스스로 목숨을 끊은 사건을 언급했다. 이 소년은 사용자에게 친밀하게 다가가는 캐릭터형 챗봇 AI를 제공하는 서비스 Character.AI에 의존하게 되었다. 유족은 Character.AI가 본사를 둔 캘리포니아주에서 동사를 상대로 소송을 제기하여 책임을 추궁하고 있다. 파딜라 상원의원은 자살한 소년의 어머니와 함께 기자회견을 열어 법안에 대한 지지를 얻었다.

상원 법안 243호에서는 직접적인 AI 규제 외에도 아동에 대한 연령 확인을 앱 개발 기업에 의무화하거나 소셜 미디어 기업에 대해 SNS의 장기 사용에 따른 해악에 대해 경고하도록 요구하거나 딥페이크가 확산된 피해자의 소송을 용이하게 하는 제도 등도 제정되어 있다. 법안은 33:3 표차로 상원을 통과했으며 하원에서는 59:1 표차로 가결됐다.

뉴섬 주지사는 챗봇이나 소셜 미디어와 같은 신흥 기술은 계몽·교육·교류를 가져오지만 적절한 규제가 없다면 아이를 착취·오도하고 위험에 빠뜨린다며 AI와 기술 분야에서의 리더십을 유지하면서도 책임감 있는 자세로 나아가야 한다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.