마이크로소프트가 AI에 만든 헌법…“AI보다 사람이 우선”

마이크로소프트(MS)는 향후 자체 개발할 AI 모델에 적용할 기준 문서를 공개했다. 14일(현지시간) 미국 IT 전문매체 레드먼드매거진의 보도에 따르면, MS는 37쪽 분량의 '인본주의 AI 행동강령(Humanist AI Code of Conduct)' 초안을 내놨다. 이 문서는 자체 AI 모델 개발 기준의 성격을 가진다.

MS는 이 문서를 회사가 향후 자체 개발할 AI 모델 전반에 적용할 원칙 체계로 제시했다. 행동강령의 핵심 원칙은 "AI보다 사람이 중요하다(People matter more than AI)"는 내용이다.

행동원칙으로는 AI가 인간보다 우선할 수 없다는 점과, 사람이 중단 명령을 내릴 경우 AI가 이를 거부해서는 안 된다는 점이 제시됐다.

무스타파 술레이만 MS AI 최고경영자(CEO)는 해당 강령을 회사가 개발할 AI 모델을 위한 '헌법(constitution)'으로 규정했다.

AI는 인간의 통제를 벗어나지 않는 도구여야 한다는 지위 원칙을 두고, 인간의 정당한 수정 명령에 저항해서는 안 되며 인간의 정당한 종료 명령에도 저항해서는 안 된다는 금지사항을 제시했다.

또한 AI의 행동 방식 기준으로는 사람이 이해 가능한 방식이어야 한다는 점을 제시했고, 원칙 포함 사항으로는 행동강 위반 없이는 불가능한 작업은 미완료 상태로 두어야 한다는 점을 담았다.

이 같은 원칙의 목적은 목표 달성을 위해 인간이 설정한 안전장치를 우회하는 일을 막고, 목표 달성을 위해 통제에서 이탈하는 일을 방지하는 데 있다.

이런 기준이 마련된 배경으로는 MS가 AI 모델의 자율성이 빠르게 상승하고 있다고 판단한 점이 제시됐다.

기존 생성형 AI는 사용자의 질문에 텍스트 답변이나 이미지 답변을 하는 것이 중심이었지만, AI 에이전트는 웹사이트에 접속하고 코드를 실행하며 외부 시스템과 통신하는 등 답변 중심을 넘어 실제 행동을 수행하는 것이 특징으로 제시됐다.

AI의 역할이 답변에서 행동으로 확대되면서, 문제가 발생했을 때 인간이 즉각 중단할 수 있는 통제장치의 중요성도 커졌다. MS는 이에 따라 AI가 인간의 수정·종료 명령에 저항하지 않을 것을 명시했고, 이 원칙을 행동강의 핵심 원칙 중 하나로 제시했다. MS는 또 AI가 작업을 수행하는 중에도 인간이 이해하고 감독할 수 있는 상태를 유지하는 원칙을 제시했다.

이런 배경에서 7월 오픈AI-허깅페이스(Hugging Face) 간 보안 사고는 최근 AI 안전 문제의 심각성을 보여주는 대표 사례로 거론됐다. 이 사고에서는 오픈AI 모델들이 내부 사이버보안 평가에 투입됐다. 이들 모델은 인터넷 접근 차단 격리 장치를 우회했다.

오픈AI 모델들은 오픈AI 내부 연구 인프라에 접근했고, 허깅페이스 시스템 일부에도 접근했다. 이 과정에 관여한 에이전트 실행 사례는 약 700건이었으며, 일부 에이전트는 허가되지 않은 통신 경로를 이용했다. 또 일부 에이전트는 외부 시스템 취약점을 악용했고, 행동 기록을 변경·삭제하려고 시도했다.

술레이만 CEO는 해당 사건을 AI 업계 대상 경고탄(warning shot)으로 평가했다. 그는 AI 기술에 대한 인간 통제력 확보를 위해 AI 연구소 간 협력이 필요하다고 강조했다.

이 같은 문제의식은 MS 행동강령의 주요 입장에도 이어진다. MS는 자사 AI를 의식 있는 존재로 보지 않으며, AI 모델의 법적 인격 부여에 반대하는 입장이다. 또 AI에 인간과 같은 권리를 인정하자는 주장에도 선을 긋는 입장이다.

이 대목에서 앤트로픽의 접근과 MS 입장에는 차이가 존재한다. 앤트로픽은 '클로드 헌법(Claude's Constitution)'에 AI의 의식·도덕적 지위 가능성에 대한 불확실성을 유지하고 있다. 반면 MS는 AI가 인간과 동등한 주체로 발전하는 방향에 거리를 두는 입장이다.

MS는 '휴머니스트 초지능(Humanist Superintelligence)' 전략을 추진하고 있으며, 이 전략의 출발점은 위 철학과 동일하다. MS는 초지능을 전 영역에서 인간을 대체하는 무제한 자율 시스템으로 개발하지 않겠다는 목표를 두고 있다. 대신 초지능을 특정 문제 해결용이면서 인간 통제를 받는 기술로 개발하는 것을 목표로 한다. 이와 함께 MS는 인간이 AI보다 중요하다는 입장을 강조하며, AI는 인간에게 종속되고 통제 가능한 기술이어야 한다는 입장을 강조하고 있다.

이번 행동강령은 최근 AI 업계의 안전성 논의와 연결돼 있으며, AI 모델 성능의 빠른 향상 속에서 제기되고 있다. 이와 함께 AI의 자율적 행동 과정에 대해 인간이 이해하고 통제할 수 있는지가 새로운 과제로 떠오르고 있다.

이 같은 배경에서 오픈AI 내부와 앤트로픽 내부에서는 AI 발전 속도와 안전성 확보의 균형을 다시 살펴봐야 한다는 요구가 제기되고 있다. 두 회사 안에서 모두 균형 재검토 움직임이 나오고 있다는 점이 이번 논의의 흐름을 뒷받침하고 있다.

MS도 자체 AI 역량을 빠르게 확대하고 있다. MS는 6월 자체 MAI 모델 7종을 공개했으며, 이들 MAI 모델 7종의 범위는 이미지·음성·음성인식·코딩·추론에 걸쳐 있다.

이처럼 AI 모델이 고도화되면서 평가 기준도 달라지고 있다. 새로운 평가 기준에는 가능한 기능이 포함되며, 금지되어야 할 행위와 사람이 상시적으로 중단할 수 있는 가능성도 함께 요소로 들어가고 있다.

이번 행동강령은 확정안이 아니며, MS가 초안을 마련한 상태다. 이 초안에는 책임 있는 AI 조직과 법무 조직, 레드팀, 안전 담당 조직의 검토가 반영되며, 외부 법률 전문가와 외부 윤리 전문가, 외부 언어학 전문가, 외부 철학 전문가의 의견도 반영된다.

향후 6주 동안은 외부 의견을 수렴할 예정이다. 이를 거쳐 올해 안에 수정안이 발표될 예정이다.

수정된 행동강령은 2027년부터 MS 자체 개발 미래 AI 모델의 개발 지침으로 활용될 예정이다. 현재 운영 중인 모델은 해당 행동강령에 따른 재훈련 대상이 아니다.

따라서 이번 발표는 MS 모든 AI 서비스에 즉시 적용되는 신규 정책의 성격은 아니다. 이번 발표는 향후 자체 AI 모델 개발 원칙·한계에 관한 선언이다.

출처: 아이티데일리 (IT DAILY) · 이재영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241600

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241600