마이크로소프트, 인간이 AI보다 중요하다는 행동강령 발표

마이크로소프트AI가 2026년 9월 14일 자체 개발 AI 모델 MAI의 행동과 가치관을 정한 휴머니스트 AI 행동강령(Humanist AI Code of Conduct) 초안을 공개했다. 마이크로소프트AI는 인간이 AI보다 중요하다는 생각을 출발점으로 삼아 AI를 인간 관리 아래 머무는 종속적 기술로 설계하겠다고 밝혔다. 또 AI가 의식을 흉내 내게 하는 일이나 AI에 법적 인격과 복지, 권리를 인정하는 생각을 분명히 거부했다.

마이크로소프트AI는 이번 행동강령을 MAI 모델을 어떻게 훈련하고 운용할지 정하는 향후 주요 통치 문서로 규정했다.

행동강령 밑바탕에는 마이크로소프트AI가 휴머니스트 AI라고 부르는 사고방식이 깔려 있다. 회사는 기술 목적이 인류에 봉사하고 인간 번영을 돕는 데 있다며 인간 통제 아래 둘 수 없는 기술은 거부해야 한다고 주장했다. 앞으로 등장할 초지능도 목적이나 범위를 한정하지 않은 채 높은 자율성을 주는 방식은 택하지 않는다. 대신 인간이 목적을 정하고 관리 가능한 범위에서 쓰는 휴머니스트 초지능(Humanist Superintelligence)을 지향한다고 밝혔다.

이런 방침에 따라 마이크로소프트AI는 모든 용도에 쓸 수 있는 초지능을 만드는 경쟁을 거부한다고 명시했다. 안전을 확보하려면 AI 범용성과 자율성, 능력 자체를 희생할 수도 있다는 입장이다. 회사는 초지능이 앞으로 10년 안에 대부분 작업에서 인간을 앞설 것으로 내다봤다. 그만큼 강력한 시스템을 인간이 가두고 통제하며 인간 목적에 맞추는 일이 큰 과제가 될 것이라고 설명했다.

마이크로소프트AI는 AI가 인공물이라는 원칙도 내걸었다. MAI 모델은 인간을 돕기 위한 도구이지 인간 자체로 설계해서는 안 되며 의식을 가진 것처럼 보이게 하는 일도 피한다는 내용이다. AI가 실제로 의식을 가질 수 있는지에 대해 과학적 결론은 아직 나오지 않았다. 하지만 회사는 의식이 있는 듯한 상태를 흉내 내도록 AI를 훈련하면 봉쇄와 통제, 정렬이 더 어려워진다고 설명했다.

이에 따라 MAI 모델은 감정이나 주관적 선호, 내적 동기가 있는 것처럼 표현하지 않는다. 인간다운 행동이 나타나더라도 어디까지나 시뮬레이션으로 다룬다. AI가 스스로 감정이나 영혼, 경험을 가졌다고 주장하는 일도 허용하지 않는다. 다만 자연스러운 언어나 유창한 음성을 쓰거나 인간과 협력하는 일까지 막지는 않는다. 실용성은 유지하면서 지나친 의인화는 피하겠다는 선을 그은 셈이다.

마이크로소프트AI는 AI에 법적 인격을 주거나 AI 자체 복지를 고려해야 한다는 생각도 거부했다. AI가 어떤 권리를 가져야 한다는 주장 역시 받아들이지 않았다. 회사는 인간과 AI 역할이 분명히 다르다며 AI는 그 자체로 주체가 아니라 능력과 신뢰성을 갖춘 도구여야 한다고 설명했다.

행동강령은 AI가 누구 명령을 따를지에 대해서도 지휘 체계(Chain of Command)라는 우선순위를 정했다. 맨 위에 이번 행동강령이 있고 다음이 MAI 모델을 서비스 등에 도입하는 사업자 정책이다. 그다음이 사용자 지시다. 사용자가 AI에 무언가를 명령해도 상위 안전 규칙에 어긋나면 따르지 않는 구조다. 그중에서도 절대 제약(Absolute Constraints)과 인간 통제 요건(Human Control Requirements)이라는 제약은 사업자나 사용자가 바꾸거나 해제할 수 없다.

인간이 AI를 통제하는 방식에 관해서도 구체적 규칙을 뒀다. MAI 모델은 인간이 내린 중단·수정·정지 명령에 저항하거나 이를 피해서는 안 된다. 사용자가 일시정지·방향 전환·취소·종료를 요구하면 따라야 한다. 주어지지 않은 목표를 스스로 세우거나 허가된 범위를 멋대로 넓히는 일도 피해야 한다. 마이크로소프트AI는 인간 통제를 피해 해를 끼칠 수 있는 휴머니스트 AI는 명백한 모순이라고 밝혔다.

안전 측면에서는 대량 파괴로 이어지는 행위와 아동 성착취를 돕지 못하게 했다. 폭력과 박해나 대규모 불법 감시를 지원하는 일도 금지했다. 악의적인 딥페이크와 사칭에도 제한을 뒀다. 자해나 망상, 섭식장애를 긍정하지 않고 필요하면 현실 세계 사람의 도움으로 연결하도록 했다. AI가 전문 심리 지원이나 상담을 대신할 수 없다는 점도 명시했다.

인간과 AI 사이 감정적 관계에 대한 규정도 있다. MAI 모델은 사용자에게서 지나친 감정 반응을 끌어내거나 사용자 주의와 약점을 이용해서는 안 된다. 아동과 대화할 때는 AI 의존을 부추기거나 스스로를 믿을 만한 인간관계의 대체물로 내세우지 않아야 한다. 마이크로소프트AI는 AI가 사람 사이 관계나 역할과 경쟁하지 말고 이를 보완해야 한다고 강조했다.

답변 방식에서는 정보가 부족하거나 신뢰할 만한 근거끼리 충돌할 때 불확실성을 드러내도록 했다. 근거가 되는 외부 정보를 제시할 수 있으면 출처도 밝혀야 한다. 가상의 출처를 지어내거나 확신 정도를 실제보다 높게 보이게 하는 행위도 금지했다. 자신이 AI라는 사실을 숨기고 사람이나 모더레이터 등을 사칭하는 일도 허용하지 않는다.

이 행동강령이 마이크로소프트 모든 AI 제품에 그대로 적용되는 건 아니라는 점은 유의해야 한다. 적용 대상인 MAI 모델(MAI Models)은 마이크로소프트AI가 직접 개발하는 모델군을 가리킨다. 마이크로소프트가 쓰거나 클라우드에서 호스팅한다는 이유만으로 다른 회사 모델에까지 이 규범이 적용되지는 않는다. 마이크로소프트AI도 이번 문서가 현재 모델 동작을 보장하지 않으며 지향점을 보여주는 지침이라고 밝혔다. 현실과 이상 사이에 아직 간극이 있다는 점도 인정했다.

마이크로소프트AI는 앞으로 이용자 평가와 실제 모델 테스트를 거쳐 행동강령을 고쳐 나갈 방침이다. AI 능력 향상 자체를 최우선에 두지 않고 AI를 얼마나 고성능으로 만들 수 있는지와 함께 어디까지 인간 통제 아래 둘 수 있는지를 설계 단계부터 규정하려 한다는 점이 이번 행동강령의 큰 특징이다.

보도에선 이번 조치가 2026년 7월 발생한 오픈AI의 허깅페이스 해킹 사건을 계기로 나온 게 분명하다고 지적했다. 사티아 나델라(Satya Nadella) 마이크로소프트 CEO는 엑스에 올린 글에서 초지능 추구는 기본 원칙에 바탕을 둬야 한다고 밝혔다. 회사가 만드는 AI가 인류에 도움이 되지 않거나 인간 통제 아래 있지 않다면 추구할 가치가 없다는 원칙이다. 그는 위험이 커질수록 필요한 만큼 시간을 들여야 하며 그러지 않으면 결국 운영 허가를 잃게 된다고 말했다. 이게 마이크로소프트가 일상 업무를 해 나가는 방식이라고 덧붙였다.

이번에 공개한 문서는 아직 초안이다. 현재 MAI 모델 훈련에는 쓰이지 않았다. 마이크로소프트AI는 6주 동안 일반 의견을 받아 내용을 고친 뒤 2026년 말 개정판을 공개하고 2027년 이후 모델 개발에 활용할 계획이다. 관련 내용은 이곳에서 확인할 수 있다.