AI 생성 텍스트에 워터마크가 삽입되는 구조는?

AI가 생성한 콘텐츠에 표식을 삽입해 구별할 수 있게 하는 워터마크가 주목받고 있다. 오픈AI가 시험적으로 도입하거나 앤트로픽이 도입을 발표하기도 했다. 이미지와 달리 데이터를 숨기기 위한 픽셀이 없는 텍스트에 워터마크를 넣는 구조를 살펴본다.

AI 기업인 앤트로픽이 클로드(Claude)가 생성한 문장에 인간 눈에는 보이지 않는 워터마크를 삽입하는 방침을 지난 8월 11일 발표했다. 8월 2일 이후 EU에서 출시되는 새로운 클로드 모델에서는 출시 시점부터 워터마크를 부여하는 기능이 지원되며, 기존 모델에 대해서도 순차적으로 워터마크 대응을 진행한다.

텍스트에는 이미지나 코드처럼 데이터를 숨기기 위한 픽셀이 없으며 문자는 모두 그대로 표시된다. 메타데이터도 복사하여 붙여넣으면 사라진다. 하지만 텍스트 안에도 눈에 보이지 않는 형태로 워터마크가 존재한다.

대규모 언어 모델(LLM)이 문장을 생성할 때의 구조가 핵심이다. LLM은 다음에 올 한 단어를 정확히 예측하는 것이 아니라, 다음에 올 가능성이 있는 모든 단어를 열거하고 각각에 확률을 할당한다. 이 단어 순위 매기기를 반복해 문장을 작성하는데, 최고 순위 단어만 항상 선택하면 문장이 단조로워지기 때문에 순위가 낮은 단어를 선택하기도 한다.

AI 텍스트 워터마크는 여러 후보 중에서 단어를 선택하는 생성 폭을 이용한다. 예를 들어 단어마다 4개 후보가 할당된다면 4단어 문장은 64가지로 생성될 수 있다. 워터마크는 후보 단어를 2개 그룹으로 나누고 그중 한쪽 그룹이 선택될 확률을 높이는 비밀 키를 적용한다.

비밀 키 예시로 “The results of the study were quite”라는 문장에 이어지는 단어로 “important”, “significant”, “substantial”, “notable”이라는 4개 단어에 확률이 할당되어 있다고 가정한다. 그중 “important”, “substantial”을 녹색, “significant”, “notable”을 빨간색으로 나누고 녹색 그룹 단어가 선택될 확률을 높게 설정한다. 그러면 녹색 그룹 단어가 문장에 포함될 가능성이 높아진다.

어느 단어가 녹색으로 분류되는지는 단어 자체에 고정된 것이 아니라 직전에 나열된 단어 등을 비밀 키가 포함된 계산에 입력하여 결정한다. 같은 단어라도 앞뒤 문장이 다르면 다른 그룹으로 분류된다.

텍스트 워터마크 검출기는 생성에 사용된 비밀 키를 사용해 문장을 다시 계산하고 각 단어가 어느 그룹으로 분류되는지 조사한다. 워터마크가 없으면 2개 그룹의 단어 비율은 대체로 반반이 된다. 워터마크가 삽입되어 있으면 한쪽 그룹이 통계적으로 많이 나타나므로 이를 판정할 수 있다.

텍스트 워터마크 검출기는 문장을 읽고 AI다운 표현인지를 추측하는 것이 아니라, 비밀 키를 사용해 단어 선택을 재계산하고 통계적 편향이 있는지를 조사한다. 문장 스타일로부터 추측하는 GPT제로(GPTZero)와는 구조가 다르다.

텍스트 워터마크 검출은 확률 편향을 확인하므로 문장이 길수록 검출하기 쉽다. 코드나 인용문처럼 단어 선택지가 적은 문장에서는 워터마크를 삽입할 여지가 작아진다.

단어 자체를 기준으로 한 워터마크 기법은 주위 단어를 기준으로 한 기법보다 효과적이다. AI가 생성한 문장을 고쳐 쓴 경우라도 의미가 같다면 충분한 수의 단어가 남기 때문에 특징이 유지된다.

워터마크가 검출된 것은 AI에 의해 처리됐다는 의미이며 AI에 의해 쓰였다는 것만 의미하는 것은 아니다. 앤트로픽 공식 문서에 따르면 클로드가 교정 또는 번역만 한 텍스트에서도 워터마크가 검출된다. 반대로 워터마크 기능이 없는 오래된 AI 모델로 생성한 문장은 최신 검출기로도 판단할 수 없을 가능성이 있다.

이 설명은 측정 가능한 공개 구현으로부터 얻어진 것이다. 구글이나 앤트로픽은 워터마크 생성 방식을 공개하지 않으므로 실제 구조를 테스트할 수는 없다. 검출은 비밀 키를 설정한 소유자만이 확인할 수 있으므로 클로드는 앤트로픽 검출기, 제미나이는 구글 검출기를 사용해야 한다.

이런 워터마크 구조를 이용해 클로드로 생성한 문장을 일반 문장으로 되돌려주는 디클로드(declaude.)라는 애플리케이션이 공개되어 있다. 관련 내용은 이곳에서 확인할 수 있다.