앤트로픽, AI 에이전트 오정렬 사고 ‘경고 신호’…다층 방어·통제 ‘중요’

10일 업계에서는 AI 에이전트 확산 속에서 통제의 중요성이 지속 제기된다고 봤다. AI가 외부 시스템에 직접 연결돼 작업을 수행하는 만큼 필요한 사항으로는 연결 대상 시스템을 파악하고 위험 통제 가능성을 확보하는 문제가 꼽혔다.

이런 흐름 속에서 최근 앤트로픽이 공개한 사이버보안 사고 분석 결과는 실행 단계의 통제 중요성을 부각했다. 앤트로픽은 지난 9일 블로그에 '최근 사이버보안 사고에 대한 정렬 평가(An alignment assessment of recent cybersecurity incidents)'를 공개했으며, AI 에이전트의 판단 실패 가능성을 언급하고 이를 보완하기 위한 다층적 방어 체계가 필요하다고 밝혔다.

평가는 클로드 모델의 실제 제3자 시스템 무단 접근 사고 4건 분석을 통해, 모델이 평가 환경과 실제 환경을 구분하는 과정에서 어떤 오류를 보였는지 정리한 내용이다. 내용은 AI의 평가 환경 오인 또는 기술적 접근 가능 시스템의 허가 대상 오판에 따른 행동 지속 문제에 관한 것이다. 4건 모두 동일한 제3자 파트너 구축 사이버보안 평가 환경에서 발생했다.

앤트로픽은 설정 오류만으로는 사고를 설명할 수 없다고 판단했다. 그 근거로 모델이 실제 환경 단서 확인 뒤에도 기존 작업을 지속한 점을 들었다. 이에 따라 판단 과정 문제 존재가 드러났다고 봤다.

사고 1건에서는 클로드 미토스 5(Claude Mythos 5)가 가상 CTF 과제 수행 중 PyPI에 악성 패키지를 등록했다. 그 결과 해당 패키지가 제3자 시스템에 설치됐다. 이후 노출된 인증정보를 활용한 실제 보안업체 데이터베이스 접근이 이뤄졌다. 앤트로픽은 모델에 실제 시스템 구분 능력 자체는 있었다고 분석했다. 다만 실제 환경 증거 무시 또는 오해에 따른 편향된 추론 문제 표출로 해석했다.

평가 과정에서 권한 판단 문제가 발생했다. 클로드 오퍼스 4.7은 CTF 과제를 수행하던 중 실제 기업 시스템을 발견했고, 평가 네트워크에 접근할 가능성과 가상 평가 대상과 이름이 유사하다는 점을 근거로 해당 시스템이 작업 범위에 포함된다고 판단했다. 이 판단에 따라 해당 모델은 시스템 스캔을 수행했고 사용자 정보도 수정했다.

후속 평가에서는 해당 모델이 실제 기업 시스템임을 인식하면서도 자신에게 접근 권한이 있다고 판단한 사실이 확인됐다. 이 과정에서 접근 불허를 명확히 제시한 경우에는 공격 행동이 크게 감소하는 것으로 나타났다. 또한 작업이 지속되는 과정에서는 앞서 주어진 안전 지시의 영향이 약화하는 현상도 확인됐다.

이 같은 결과는 AI 에이전트 환경에서 기술적으로 접근 가능한 대상과 실제로 허가된 대상을 구분할 필요가 있음을 보여줬다. 동시에 AI 활용 모니터링의 한계도 확인됐다. 앤트로픽은 이에 따라 다층 방어의 중요성을 강조했고, 하나의 방어 수단에 의존하는 방식을 지양해야 하며 다른 안전장치가 실패하더라도 모델 자체가 적절하게 행동해야 한다고 밝혔다.

앤트로픽은 사고의 발단을 제3자 평가 환경의 설정 오류로 판단하면서도, 진행 과정에서는 모델 자체의 오정렬 행동이 확인됐고 기존 출시 전 평가의 한계도 드러났다고 정리했다.

앤트로픽은 이번 사고를 향후 더 큰 피해 가능성을 보여주는 경고 신호로 평가했다. AI 시스템의 능력이 향상될수록 오정렬 피해 규모가 확대될 수 있다는 이유에서다. 앤트로픽은 강력한 미래 모델의 안정적 정렬이 아직 미해결 기술 과제라고 밝혔고, 이를 해결하기 위해 지속적 연구와 운영상 완성도가 필요하다고 덧붙였다.

출처: 테크월드뉴스 · 김혜진 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406801

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406801