나델라, 초지능 AI는 권한 통제부터 설계해야
인공지능신문 ·
✦ AI 요약
모델 추론 투명성·변조 방지 로그·독립 감사·긴급 중단 체계 등 7대 원칙 제안...“가장 신뢰할 모델이 아니라, 모델을 가장 적게 신뢰해도 되는 시스템이 가장 안전하다”
인공지능신문에 따르면 마이크로소프트 CEO 사티아 나델라가 10월 10일 초지능 AI를 잠재적 내부자 위협처럼 다뤄야 한다며 기업 보안을 위한 7대 원칙을 제시했다. 핵심은 모델을 더 믿게 만드는 일보다 모델이 행사할 수 있는 권한을 바깥의 통제 체계로 제한하는 설계가 더 안전하다는 주장이다. 그는 모델의 지능과 시스템 권한을 분리하고, 입력과 출력뿐 아니라 도구 호출과 데이터 접근 같은 실행 전 과정을 관찰하고 검증할 수 있어야 한다고 봤다. 또 모델과 분리된 통제 장치, 독립 감사, 실행 중단과 격리 장치, 사고 공개 체계가 함께 갖춰져야 한다고 제안했다. 이번 글은 특정 제품 발표가 아니라 초지능 시대의 시스템 보안을 어떻게 바라봐야 하는지에 대한 개인 견해에 가깝다. 성능 경쟁에만 기대지 말고, 예상 밖 행동이 나와도 피해를 줄일 수 있는 운영 구조를 먼저 세워야 한다는 문제의식을 던진 셈이다.
관점
이 제안이 중요한 이유는 AI 보안의 기준점을 모델 성능이나 정렬 논의에서 운영 권한과 통제 구조로 옮기기 때문이다. 앞으로는 잘 작동하는 모델을 고르는 일만으로 충분하지 않고, 덜 믿어도 굴러가는 시스템을 만드는 역량이 기업 경쟁력으로 이어질 가능성이 크다. 특히 자율성이 큰 도입일수록 보안팀과 현업, 개발 조직이 같은 설계 원칙을 공유해야 하며, AI를 기존 소프트웨어와 다른 방식으로 다뤄야 한다는 압박도 커질 것으로 보인다.
이 관점은 비즈크러시가 작성한 자체 의견이며, 인공지능신문의 보도 내용과 무관합니다.
이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.
출처 인공지능신문
원문 확인이 기사는 인공지능신문 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.