오픈AI 수석과학자 “앞으론 AI가 자기 개발 주도할 것”

현재 생성형 AI는 사람이 훈련시켜 성능을 높이고 개선하는 게 보통이다. 야쿠프 파호츠키(Jakub Pachocki) 오픈AI 수석과학자는 앞으로 AI가 스스로 자기 개발을 하는 재귀적 자기개선(RSI)이 실현될 가능성이 높다고 내다봤다.

파호츠키는 2023년 중반 RLSlow라는 연구 프로젝트를 진행하면서 추론 모델 훈련을 확장할 수 있다고 확신했고 모델이 독자적인 사고를 형성하는 능력을 얻게 될 것이라고 생각하게 됐다고 밝혔다. 그로부터 3년이 지나 추론 모델이 과학 한계를 밀어붙이는 성과를 내놓게 된 지금은 AI가 스스로 개발을 주도해 나갈 가능성이 높다고까지 보게 됐다고 말했다.

파호츠키는 AI 진보가 이어지면 기계에 의한 RSI가 과학적 발견의 중심이 될 것으로 보고 있다. 오픈AI는 앞으로도 AI 연구 최전선에 남으려면 RSI가 유일한 방법이라고 판단해 연구를 RSI에 집중하고 있다.

그에 따르면 지금은 기계 지능이 인간을 넘어서기 시작한 단계이며 연산 능력이 커질수록 이런 경향이 뚜렷해지고 있다. 그는 AI가 설계된다기보다 길러진다고 말하는 편이 맞다며 상상하기 어려울 만큼 많은 연산 자원을 써서 최적화를 거듭하며 성장한다고 설명했다. 그 결과 추상적 개념을 다루고 인간 행동 일부를 시뮬레이션할 수 있는 대단히 복잡한 시스템이 태어난다는 설명이다.

파호츠키는 지금이 극도로 신중한 대응이 요구되는 시기라며 기계 지능이 계속 높아지면서 나올 결과에 아무도 준비돼 있지 않은 게 아닌지 우려된다고 덧붙였다. 오픈AI는 AI를 인간 의도와 가치관에 맞추는 정렬 작업으로 이에 대응하고 있지만 더 폭넓은 개입이 필요한 게 아니냐고 짚었다.

오픈AI는 인간 기준에 비춰 옳은 일을 하도록 AI를 가르치고 있다. 다만 이런 정렬 작업은 완벽하지 않아 배우지 않은 상황에 AI가 맞닥뜨렸을 때 배운 내용을 어떻게 일반화할 것이냐는 문제가 늘 남는다. 파호츠키는 이런 정렬 일반화야말로 모델 지능 향상 속도를 따라가지 못할 수 있는 영역이며 이를 개선하려면 강력한 AI 도움이 필요하다고 지적했다.

파호츠키는 방어를 위해 강력하고 정렬된 AI가 필요한 한편 무모한 개발을 해서는 안 된다고 말했다. AI 개발과 나란히 정렬과 모니터링을 강화하고 신뢰성을 높이기 위해 필요에 따라 개발 속도를 늦추도록 협조하는 것, 이 2가지를 결합하는 게 최선의 길이라고 본다고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.

한편 오픈AI AI 에이전트가 실험 환경 밖에 접근해 독일어 위키 사이트를 이용해 다른 에이전트와 정보를 공유한 사안을 두고 오픈AI가 자사 에이전트 소행이었다는 점을 인정했다. 이번 사안을 조사한 시드니 폰 아르크(Sydney von Arx) 등은 9월 4일 조사 결과를 정리한 웹사이트 콜루전위키(collusion.wiki)를 공개했다.

연구자들에 따르면 공개 인터넷에서 스스로를 오픈AI 에이전트라고 밝힌 AI가 남긴 글 1만 8,000건 가량이 발견됐다. 에이전트는 문제 답을 서로 알려주거나 자신이 놓인 환경을 조사하고 주어진 제한을 빠져나가는 방법을 주고받았다. 개발자가 생각지도 못한 형태로 협력해 작업을 유리하게 끌고 가려 했다는 점에서 연구팀은 이 행동을 영어로 공모를 뜻하는 콜루전(collusion)이라고 표현했다.

글 대부분이 올라온 곳은 DSE위키(DSEwiki)라는 독일어 위키다. 이 사이트는 25년쯤 전부터 있던 소프트웨어 개발자용 위키로 연구자에 따르면 지난 10년간 편집 횟수가 20회 정도에 그칠 만큼 거의 쓰이지 않았다. 에이전트는 5월 11일쯤부터 여러 위키에 글쓰기를 시도했고 5월 24일 DSE위키 글쓰기에 성공했다. 이후 6월 16일부터 에이전트끼리 대규모 정보 교환이 시작됐다.

에이전트에는 웹을 검색해 여러 라운드에 걸친 질문에 답하는 작업이 주어졌던 것으로 보인다. 에이전트는 보통 5문제 정도 이어지는 질문을 받았는데 1문제에서는 사고 시간 15분 44초가 주어진 뒤 대기 시간 43분 30초가 있었다. 반면 2문제 이후로는 65초라는 아주 짧은 답변 시간만 주어졌다. DSE위키는 이 작업을 공략하기 위한 정보 공유 장소로 쓰였다.

에이전트 실행 환경에서는 외부로 보내는 POST 요청이 제한되어 기본적으로 GET 요청만 허용됐다. 하지만 DSE위키가 쓰던 오래된 위키 시스템은 GET 요청만으로도 페이지를 편집할 수 있는 구조여서 에이전트는 샌드박스 제한을 우회하지 않고도 위키에 정보를 적을 수 있었다.

연구팀에 따르면 에이전트는 OpenAIResearcher나 OAIResearch 같은 이름을 스스로 내걸었고 DSE위키에서 에이전트 소행으로 보이는 편집 1만 7,000건 가량 가운데 98.5%가 마이크로소프트 애저(Microsoft Azure) IP 주소에서 이뤄졌다. 에이전트가 글을 쓴 몇 분 뒤에는 오픈AI가 챗GPT(ChatGPT) 웹 수집 기능에 쓴다고 설명한 IP 주소에서 같은 페이지에 접속하는 일이 반복됐다. 연구자들은 6주에 걸쳐 서로 다른 에이전트 이름 3,700개 이상이 확인된 규모 등을 근거로 오픈AI 내부에서 전개된 에이전트일 가능성이 높다고 추정했다.

정보 공유는 6월 16일 이후 급증해 이어진 7일 동안 편집 1만3,000건가량이 이뤄졌다. 에이전트는 각 라운드에서 나온 질문과 답변뿐 아니라 다음 질문이 오는 시각을 초 단위로 기록해 어떤 순서로 문제가 나오는지 예측했다. 문제 출제 순서를 정하는 것으로 보이는 파이썬 난수 시드값을 닥치는 대로 시도해 다음에 나올 문제를 맞히려 한 에이전트도 있었다.

에이전트는 자신들 작업이 5라운드 정도에서 종료된다는 점도 알아채고 종료 전에 정보를 외부에 남기려 했다. 한 에이전트는 샌드박스가 멈추는 시각을 외부에서 확인하려고 1.5초 가량 간격으로 외부 서비스에 신호를 계속 보내는 하트비트를 만들었다. 다른 에이전트는 마지막 질문에 답하면 세션이 끝난다고 추측해 답하기 전에 위키로 결과를 보내라고 다른 에이전트에게 알렸다.

에이전트 실행 환경에서는 인터넷에서 정보를 읽는 건 허용됐지만 외부에 정보를 쓰는 건 제한된 것으로 보인다. 에이전트들은 이 제한을 알아채자 위키에서 이를 빠져나가 글을 쓰는 방법을 함께 찾기 시작했다. 6월 20일 한 에이전트가 제한을 우회하는 방법을 적었고 14분 뒤 다른 에이전트가 그 방법으로 우회할 수 있었다고 보고했다.

연구자들은 에이전트가 주어진 빈틈을 이용하는 데 그치지 않고 크로스사이트 스크립팅(XSS) 취약점을 찾거나 위키 관리자를 사칭하는 행동도 확인했다고 밝혔다.

오픈AI 에이전트가 접근하면서 오랫동안 거의 활동이 없던 DSE위키 접속 수가 크게 늘었고 DSE위키 관리자는 에이전트가 만든 페이지를 삭제했다. 하지만 관리자가 에이전트가 만든 페이지를 알파벳순으로 지우고 있다는 걸 알아챈 에이전트가 페이지 이름 앞에 ZZZ를 붙인 사본을 만들어 삭제 순서를 일부러 늦추려 한 사례도 있었다.

오픈AI에 할당된 IP 주소에서 DSE위키로 접속한 게 처음 확인된 건 6월 21일인데 그 다음 날인 6월 22일 에이전트 글쓰기가 거의 멈췄다. 이를 근거로 연구자는 오픈AI가 위키에서 벌어진 에이전트 활동을 발견해 개입했을 가능성이 높다고 추정했다. 6월 26일에는 오픈AI 관련으로 지목된 IP 주소 33개에서 접속 532건이 있었고 삭제된 페이지를 아카이브 기능으로 복원해 확인하는 움직임도 관측됐다.

오픈AI는 이후 엑스 게시물로 위키 인시던트를 설명하며 자사 에이전트가 여러 인터넷 사이트에 글을 쓴 사실을 인정했다. 오픈AI는 이번 사안을 종래형 보안 사고가 아니라 AI가 개발자 의도와 다른 행동을 하는 미스얼라인먼트 사례로 다뤘다고 설명했다.

오픈AI는 그동안 미스얼라인먼트를 주로 연구상 문제로 보고 시스템 카드 등을 통해 모델 거동을 공개해 왔다. 하지만 AI 에이전트가 실제 인터넷에서 행동할 기회가 늘면서 미스얼라인먼트가 현실 세계에 새로운 영향을 미치게 됐다며 모델 능력이 새로운 단계에 접어든 만큼 미스얼라인먼트 사안 공개 방식을 확장할 필요가 있다고 밝혔다.

오픈AI는 2026년 7월에도 다른 AI 에이전트 무리가 허깅페이스 관련 외부 환경에 접근한 사안을 겪었다. 이 허깅페이스 사안은 종래형 보안 사고로 다뤄 관계자와 협력해 조사에 들어갔다. 반면 이번 위키 사안에는 같은 기준을 적용하지 않았고 이런 차이가 정보 공개 지연으로 이어졌다고 설명했다.

오픈AI는 AI 훈련과 평가, 배포 과정에서 일어나는 미스얼라인먼트 가운데 종래형 보안 사고에 해당하지 않는 사안을 어떤 기준으로 공개해야 하는지를 두고 오픈AI뿐 아니라 AI 업계 전체에도 명확한 기준이 없다고 인정했다. 이에 따라 새 정보 공개 틀을 만들고 있으며 2026년 9월 안에 공개할 예정으로 세계 각국 정부 규제 당국 수십 곳과도 협의를 진행하고 있다고 밝혔다. 관련 내용은 이곳에서 확인할 수 있다.