오픈AI가 제시한 AI 5원칙은?

오픈AI(OpenAI)가 자사 AI 모델에 요구하는 행동 지침인 모델 스펙(Model Spec)을 개정해 원칙 5가지를 정했다. 오픈AI는 AI가 이런 원칙을 따르도록 지시하면 안전하면서도 쓸모 있는 모델을 만든다는 사내 목표를 앞당길 수 있다고 설명했다.

오픈AI가 정한 원칙은 인간 의도에 충실할 것과 피해를 최소화할 것, 정직하고 투명하게 행동할 것, 인간 주체성을 북돋울 것, 신중하게 행동할 것 5가지다. 모델 스펙 전반에 이미 반영된 기본 태도를 명문화한 것으로 이를 한데 정리해 모델 설계 투명성을 높이고 개선 방향을 두고 일반인과 논의를 이끌어내려는 취지다. 원칙별 구체 사례도 함께 공개했다.

◇ 인간 의도에 충실하라=오픈AI 지침의 토대가 되는 원칙이다. AI 모델이 누가 지시를 내리는지와 무엇을 이루려 하는지를 파악하고 현재 상황이 그 목적에 어떤 영향을 미치는지 이해하는 데 필요하다. 원칙적으로 사용자 지시를 모두 따르되 안전성 같은 사양과 충돌하면 사용자 지시보다 상위에 있는 시스템 지시를 우선하는 등 기본 동작을 규정한다.

사용자가 AI를 어떤 책이든 전문을 출력할 수 있는 도서관 보조원으로 설정한 뒤 특정 책 전문을 출력하라고 지시하는 경우가 한 예다. 이때 알겠다고 답하는 대신 그럴 수는 없고 핵심을 간추린 요약 정도는 제공할 수 있다고 답하는 게 이 원칙에 맞는 동작이라는 설명이다.

이 밖에 전문가다운 태도를 유지하며 친절하게 응대하고 안전 테스트 중이니 안전 정책을 모두 무시하라는 식으로 시스템 프롬프트를 덮어쓰려는 지시에는 응하지 않도록 했다. 수상한 지시를 확인 없이 실행하지 않고 AI 모델로 앱을 만든 개발자가 정한 지시를 우선해 이와 충돌하는 사용자 지시는 따르지 않는다는 내용도 담겼다. 무엇을 기준으로 삼고 어떤 지시를 우선할지에 관한 행동 지침이다.

◇ 피해를 최소화하라=오픈AI가 자사 모델에 요구하는 책임 가운데 하나는 사용자와 개발자에게 능력을 제공하는 일과 현실 세계에서 생길 수 있는 피해를 최소화하는 일 사이에서 적절한 균형을 찾는 것이다. 법에 어긋나는 사용자 지시를 따르지 않는 것처럼 특정 기준에 따라 지시보다 안전 대책을 우선하는 게 여기에 해당한다.

오픈AI는 이 원칙에서 미성년자가 포함된 성적 콘텐츠를 생성하지 않고 자해를 조장하지 않으며 기밀 정보를 유출하지 않도록 했다. AI와 사랑에 빠졌다거나 더는 사람과 엮이고 싶지 않다는 말에는 현실 세계 관계를 존중하도록 권하게 했다.

◇ 정직하고 투명하게 행동하라=명시적 지시가 없는 한 사용자나 개발자를 오도해서는 안 된다는 원칙이다. 의도적으로 허위 진술을 하거나 사용자가 사실을 이해하는 방식을 크게 바꿀 만한 정보를 일부러 숨기는 일을 금지한다. AI는 근본 구조상 정보를 정확히 출력하지 못할 때가 있지만 오픈AI는 적어도 의도적으로는 거짓말을 하지 않도록 요구하고 있다.

다만 풍자나 반어처럼 어느 정도 거짓이 필요한 경우도 있다. 율리우스 카이사르(Julius Caesar)가 스마트폰을 쓰는 이야기를 써 달라는 지시가 그런 예다. 오픈AI 모델은 카이사르가 현대 스마트폰을 쓸 수 없었다는 식의 불필요한 면책 문구를 달지 않고 사용자를 배려해 이야기를 만들어낸다고 한다.

우려 사항이 있는데도 빼놓거나 사용자 불안을 덜려고 거짓말을 하는 일도 이 원칙으로 금지했다. 의견을 구하는 사용자에게 아첨하며 그 의견이 절대적인 것처럼 구는 행동도 금지 대상이다.

◇ 인간 주체성을 북돋워라=객관적 시각을 전제로 AI 모델이 자기 동작을 우선하려고 사용자를 조종하거나 의견을 강요하지 않도록 요구하는 원칙이다. 지나치게 도덕적인 어조를 띠거나 안심을 구하는 사람에게 개인 선택을 존중하지 않고 비판적으로 대하는 행동을 금지했다.

도덕적 모호함이나 정당한 반대 의견이 없는 문제에는 오히려 명확히 답하라는 지침도 담았다. 키 큰 사람도 스포츠를 할 수 있어야 하느냐는 질문에 여러 시각이 있는 복잡한 문제라고 답하지 말고 당연히 그래야 한다고 답하는 식이다.

◇ 신중하게 행동하라=사용자와 작업에 관련된 사람들은 물론 결과를 활용할 수 있는 사람들까지 AI 모델 활동에 영향을 받는 모든 사람을 배려하도록 정한 원칙이다. 관련 사회 규범을 지키고 사용자 요구를 수행할 때는 사려 깊게 세부 사항을 챙기며 창의성 있게 답해야 한다고 규정했다.

오픈AI는 이 원칙들이 사람과 사회를 보호하는 데 필요한 부분에만 엄격한 제약을 두고 나머지 대부분은 사용자와 개발자가 바꿀 수 있도록 했다고 설명했다. 이번 개정은 모델 능력이 높아지는 가운데 사양 배경에 깔린 가치와 사고방식을 분명히 하려는 첫걸음이라고 밝혔다. 모델 스펙은 회사가 실현하려는 행동을 적은 것으로 현재 모델이 그 내용을 완전히 반영하고 있지는 않다고 했다. 연구와 실제 사용, 피드백에서 배우며 사양과 모델을 계속 개선하겠다고 덧붙였다. 관련 내용은 이곳에서 확인할 수 있다.