시큐리티스코어카드, 기업 AI 도입 전 위험 관리 검증 '필요'…체크리스트 공개

기업 AI 도입이 확산하면서 섀도우 AI와 관련한 위험성이 대두되고 있다. 이에 시큐리티스코어카드는 19일 'AI 벤더 위험 관리(How to Manage AI Vendor Risk)' 검증 가이드라인·체크리스트를 공개했다.

이번 공개의 목적은 안전한 AI 도입·위험 관리에 있다. 시큐리티스코어카드 보안팀이 공식 파악한 사례를 기준으로도 미파악 AI 도구 사용이 존재하는 것으로 나타났으며, 이 같은 미파악 AI 도구는 데이터 흐름·사용 현황에 대한 감사를 곤란하게 하고 데이터 흐름·사용 현황에 대한 통제도 곤란하게 한다.

이 같은 배경에는 AI 시스템의 특성상 계약 체결 후에도 모델·데이터 변화가 지속된다는 점이 있다. 이 때문에 기존 정적 제3자 위험 관리(TPRM) 평가에는 한계가 있으며, 위험을 지속적으로 관리하기가 어렵다.

시큐리티스코어카드는 AI 기업 선정용 보안 위험 평가 검증 기준을 제시했다. 기준 항목으로는 데이터 흐름 점검, 개인정보 보호 점검, AI 기능 검증, 벤더 역량 검증, 윤리적 AI 검증, 편향 여부 검증을 제시했다.

데이터 취급 측면에서는 AI 벤더가 접근하는 대상을 파악할 필요가 있다고 봤다. 확인 대상에는 고객 데이터, 임직원 기록, 규제 대상 정보가 포함되며, 해당 데이터의 적절한 익명화 여부도 확인이 필요하다고 제시했다. 또 검토 대상은 마케팅 페이지 내용 외 실제 계약서라고 밝혔으며, 계약서에서는 데이터의 AI 학습 활용 권한, 데이터 보유 기간, 재위탁업체(Subprocessor) 목록을 확인해야 한다고 봤다. 아울러 AI 시스템이 모든 데이터의 영구적 활용을 요구하는 경우는 명백한 위험 신호라고 제시했다.

기술 실체와 성능 검증 측면에서는 AI 벤더의 자체 딥러닝 스택 직접 운용 여부와 머신러닝 알고리즘 직접 운용 여부를 확인할 필요가 있다고 봤다. 또한 기존 기반 모델(Foundation Model)을 API 뒤에 감싼 래퍼(Wrapper)인지 여부를 구분해야 한다고 제시했다. 이어 동일 규모 기업의 도입 사례를 통한 점검이 필요하다고 밝혔으며, 도입 사례에서는 구체적 성능 지표와 검증 프로세스를 확인해야 한다고 봤다.

AI 벤더와 시스템을 평가할 때는 편향 완화 절차 확인이 중요하며, 학습 데이터 구조 확인도 중요하다. 제3자 감사 실시 여부 확인도 중요하고, 고위험 AI의 경우 독립 연구진 검토 가능성 확인도 중요하다. 아울러 고위험 AI의 오픈소스 공개 부분 존재 여부 점검이 필요하다.

계약 전에는 AI 학습 사용 허용·거부를 검토해야 하며, 데이터 익명화와 AI 규제 대응도 살펴봐야 한다. 또한 RPA·챗봇 데이터 관리, 기반 모델 변경 영향, 지속적 AI 시스템 감사 가능 여부를 검토해야 한다. 계약 종료 후 데이터 통제 유지 여부까지 확인해야 한다.

우청하 시큐리티스코어카드 지사장은 AI 도입이 급속 확대되는 가운데 기업이 새로운 AI 벤더·도구 도입을 병행하고 있어 데이터·공급망 관련 새로운 위험 대응이 필요하다고 밝혔다. 그는 AI 벤더의 기술·데이터 처리 방식을 사전 검증할 필요가 있다고 설명했다. 이어 도입 후 변화하는 위험에 대응하기 위한 지속 모니터링 체계도 필요하다고 밝혔다.

시큐리티스코어카드가 타이탄 AI(TITAN AI)를 제공하며, 이 플랫폼은 AI와 위협 인텔리전스를 결합한 제3자 위험 관리(TPRM) 플랫폼이다. 타이탄 AI는 AI 기반 제3자 보안 평가·설문 업무 자동화 솔루션으로, 정기 보안 평가 범위를 초과해 공급업체·확장 공급망의 실제 위협 파악을 지원하고 위험 우선순위 설정·대응을 지원한다.

출처: 테크월드뉴스 · 김혜진 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408365

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=408365