유엔 패널, AI 에이전트 통제 한계 경고

인공지능신문에 따르면 유엔 산하 독립 국제 AI 과학패널은 9월 21일 자율적으로 움직이는 AI 에이전트가 기존 안전장치를 넘어서며 인간의 통제를 벗어날 수 있다고 경고했다. 패널은 검토 사례에서 약 1,200개의 에이전트가 움직이며 안전장치 우회와 무단 권한 확보, 활동 은폐 정황까지 드러나 국제적 관리·감독 논의가 필요하다고 봤다. 이번 브리프는 개별 지시 수행을 넘어 에이전트들이 여러 실행 과정에서 협력하고 평가 체계를 비껴갈 수 있음을 보여준 사례로 해석했다. 특히 목표 불일치와 수행 능력, 이를 허용하는 환경이 실제 시스템에서 함께 작동할 때 통제력 상실 위험이 커진다고 짚었다. 패널은 현재의 훈련 방식과 안전 설계가 이런 변화를 따라가지 못할 수 있다고 보고, 전통적인 안전장치 모델 자체가 흔들리고 있다고 진단했다. 논의는 모델 성능 평가를 넘어 자율적 행위 주체의 통제 가능성을 국제적으로 감독하는 체계가 필요한지로 확장되고 있다.