엔비디아 “AI 에이전트, 잘못 판단해도 막아야”…보안 경계 강화

엔비디아는 AI 에이전트가 확산되는 상황에 대응하는 차원에서 보안 경계 강화를 강조하며, AI 에이전트의 잘못된 판단도 막아야 한다는 취지로 보안을 개별 모델의 문제가 아니라 에이전트 스택 전반의 통제 문제로 다뤄야 한다고 정리했다. 엔비디아는 29일 AI 보안용 엔지니어링 접근법을 제시했다.

엔비디아는 모델 외에도 데이터·신원·도구·서비스·인프라를 포함한 에이전트 스택 전반에 보안 통제를 적용할 필요가 있다고 제시했다. 이는 AI 시스템 전반에서 보안 경계를 강화해야 한다는 판단에 따른 설명이다.

엔비디아는 이를 위해 AI 시스템에 명확한 보안 요구사항이 필요하다고 언급했다. 또 AI 시스템에 강제 적용 가능한 통제 수단과 책임 주체가 필요하다고 밝혔으며, 실제 환경에서 보안 조치가 작동함을 입증하기 위한 테스트와 보안 조치 작동 입증용 증거가 필요하다고 강조했다.

엔비디아는 인터넷·클라우드 컴퓨팅의 등장으로 소프트웨어의 작동 환경이 크게 변화했다고 설명했다. 다만 신원 확인·접근 통제·노출 범위 제한·보안 조치 검증의 기본 원칙은 계속 유효하다고 밝혔다.

AI 에이전트는 새로운 변수를 추가한다. 에이전트는 고정 명령 수행을 넘어 상황을 추론할 수 있고, 도구를 사용할 수 있으며, 접한 데이터에 따라 행동을 변경할 수 있다. 이에 따라 보안 설계 대상은 모델 자체만이 아니라 에이전트가 작동하는 전체 환경으로 넓어진다.

엔비디아는 AI 에이전트 스택을 모델·하네스·런타임 환경 등으로 구분한다. 모델의 역할은 기능을 제공하는 것이고, 하네스의 역할은 컨텍스트·도구·워크플로우를 구성하는 것이며, 런타임 환경의 역할은 실제 작업을 수행하는 인프라를 제공하는 것이다. 각 계층은 상호 연결돼 있어 단일 영역에만 보안을 적용하는 것으로는 충분하지 않다.

예를 들어 고객 정보 업데이트 에이전트는 첨부 문서 내 악의적 명령에 접촉할 수 있다. 해당 에이전트는 고객 데이터를 승인되지 않은 외부 대상으로 전송하려고 시도할 수 있다. 따라서 대응 원칙은 에이전트의 판단에만 의존하지 않는 것이며, 네트워크 정책을 통해 해당 데이터 전송을 차단할 필요가 있다.

에이전트의 도구 사용과 권한 행사는 사후 추적이 가능해야 한다. 이를 위해 도구 호출 시도·인가 결정·실행 결과의 보호된 로그 기록이 필요하며, 보안 담당자는 사용 도구와 접근 시도 대상을 추적할 수 있어야 한다.

권한은 기능별로 독립적으로 관리할 필요가 있다. 고객 정보 수정 권한 보유가 외부 전송 권한의 자동 부여로 이어지면 안 되며, 에이전트는 추가 권한을 요청할 수는 있어도 자기 승인은 금지된다.

에이전트가 오판하더라도 피해 범위를 줄일 수 있도록 실행 환경 자체의 보안 경계를 설정하는 것이 중요하다. 오판 상황에도 파일·네트워크 대상·프로세스에 대한 접근 제한이 필요하다.

엔비디아는 각 에이전트별로 추적 가능한 신원을 부여하고 작업 범위에 맞는 자격 증명을 부여해야 한다고 설명했다. 또 정보 접근 가능 범위와 시스템 변경 가능 범위, 사람 승인이 필요한 작업을 정책상 명확히 해야 하며, 중요한 작업·권한 변경에 대해서는 사람 승인 절차가 필요하다고 밝혔다.

에이전트 보안에서는 에이전트가 사용하는 도구·스킬·종속 요소의 출처·무결성을 먼저 확인해야 한다. 사고가 발생했을 때에는 도구 호출 내역·인가 결정·실행 결과가 기록된 보호 로그를 확보해야 하며, 이 보호 로그는 사고 경위 재구성에 쓰인다. 아울러 대응 절차로는 접근 권한 취소와 사고 격리가 필요하다.

엔비디아는 이런 보안 경계를 구현하는 방법으로 오픈소스 보안 런타임 '오픈쉘(OpenShell)'을 제시했다. 오픈쉘은 에이전트가 직접 변경할 수 없는 외부 영역에서 정책을 강제하는 특성을 갖췄다. 또한 샌드박스 환경에서 에이전트 실행을 격리하고, 데이터·네트워크·시스템 리소스에 대한 접근을 제어하는 기능을 제공한다.

오픈 시큐어 AI 얼라이언스 파트너사들은 오픈쉘 기반의 관련 솔루션을 개발하고 있다. 시스코의 '디펜스클로(DefenseClaw)'는 거버넌스 계층을 추가했다. 제이프록(JFrog)은 오픈쉘과 통합해 에이전트 스킬을 스캔·검증하고, 에이전트가 접근할 수 있는 스킬 대상을 상대로 정책을 적용하는 기능을 제공한다.

엔비디아는 AI 에이전트를 실제 환경에 배포하기 전에 보안 통제가 작동하는지 검증하는 일이 중요하다고 강조했다. 엔비디아는 검증 범위가 기능 시험을 넘어 권한 범위 초과 자격 증명 획득 시도 차단 여부와 민감 데이터의 미승인 대상 전송 시도 차단 여부까지 확인해야 한다고 설명했다. 또 시험 대상으로는 권한 변경 시도와 모니터링 기능 방해 행위를 포함해야 한다고 밝혔다.

엔비디아는 모델·도구·워크플로우에 대규모 변경이 있을 경우 동일 보안 시험을 반복할 필요가 있다고 설명했다. 이는 기존 통제의 지속 유효성을 확인하기 위한 목적이라고 밝혔다. 아울러 테스트 결과의 책임 주체를 명확히 할 필요가 있고, 실패한 테스트는 실제 시정 조치와 연계할 필요가 있다고 설명했다.

엔비디아는 운영 중 발견된 문제에 대해서는 재현·조사·해결이 필요하다고 밝혔다. 또 발견된 문제를 반복 가능 테스트 항목으로 전환할 필요가 있다고 설명했다. 이는 향후 업데이트에서 수정 사항 유지가 지속되는지 확인할 수 있게 하는 효과가 있다고 밝혔다.

엔비디아는 방어 체계를 점검하는 관련 사례로 크라우드스트라이크 SafeMind와 팔로알토 네트웍스 Prisma AIRS를 소개했다. SafeMind는 반복적 공격 시뮬레이션을 기반으로 방어 체계를 테스트하는 방식으로 제시됐다. Prisma AIRS는 모델·애플리케이션 변화에 대응하는 지속적 레드팀 테스트와 연결됐다.

엔비디아는 이어 AI의 보안 방어 활용 방안을 제시했다. AI를 활용할 수 있는 업무로는 보안 사고 조사와 취약점 탐지, 수정 사항 검증이 제시됐다. 또한 오픈 모델과 폐쇄형 모델이 서로 다른 방식으로 보안 업무를 지원한다고 설명했다.

폐쇄형 모델은 관리형 기능·서비스를 제공하는 방식으로 제시됐다. 반면 오픈 모델은 관련 구성 요소를 직접 확인할 수 있고, 전략을 조정할 수 있으며, 자체 통제 인프라에서 작업할 수 있는 점이 제시됐다. 엔비디아는 보안 사고 발생 시 오픈 모델의 장점으로 민감한 증거를 자체 환경에 유지할 수 있고, 문제를 재현할 수 있으며, 실제 시스템에서 수정 사항을 검증할 수 있다는 점을 제시했다.

엔비디아는 AI의 보안 활용 사례로 Capital One의 VulnHunter와 ReversingLabs의 Spectra Assure를 제시했다. 이어 AI 기반 보안의 효과는 AI 적용 여부 자체로 평가할 일이 아니라고 설명했다. 엔비디아는 평가 기준으로 재현 가능한 발견, 검증 가능한 수정 결과, 대응 시간 단축을 제시했다.

엔비디아는 AI 보안을 더 강화하려면 보안 업계와의 개방형 협업이 필요하다고 강조했다. 이를 위해 발생한 문제 내용과 효과를 낸 통제 수단, 수정 사항 검증 방식을 증거로 공유해야 한다고 밝혔다. 엔비디아는 이러한 증거 공유를 통해 다른 조직이 자체 AI 시스템의 보안을 강화할 수 있다고 설명했다.

엔비디아는 자사의 보안 연구와 오픈 시큐어 AI 얼라이언스가 이러한 협업을 지원하는 주체라고 밝혔다. 이들은 보안 커뮤니티를 대상으로 연구 결과와 도구, 전문 지식을 공유하는 방식으로 협업을 지원한다고 설명했다.

엔비디아는 AI 에이전트의 기능 확대에 따라 보안 발전이 필요하다고 설명했다. 엔비디아는 특정 모델·단일 솔루션에 대한 의존을 줄이는 방향으로 보안 접근이 바뀌어야 한다고 보고, 전체 에이전트 스택 전반에 강제 가능한 보안 경계를 구축해야 한다고 설명했다. 아울러 엔비디아는 명확한 책임 주체의 지정이 필요하고 실제 보안 통제의 작동 증거를 지속적으로 확보해야 한다고 설명했으며, 이를 통해 AI 역량의 발전과 함께 보안 수준도 제고할 수 있다고 밝혔다.

출처: 테크월드뉴스 · 박규찬 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407483

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407483