시큐리티스코어카드, 'AI TPRM 벤치마크'로 AI 공급망 보안 평가

기업 보안 업무에서 AI 도입이 확대되면서 도입 전에 해당 모델이 실제 보안 업무를 감당할 수 있는지 확인하는 차원에서 AI 역량 검증의 중요성이 커지고 있다.

이와 관련해 시큐리티스코어카드(SecurityScorecard)는 6일 'AI TPRM 벤치마크(AI TPRM Benchmark)' 출시를 발표했다. 'AI TPRM 벤치마크'는 AI 모델의 제3자 위험 관리 수행 능력과 사이버 공격 대응 역량을 평가 대상으로 삼는다. 또 기업이 핵심 제3자 위험 관리 업무 전반에 AI 모델을 도입하기 전에 역량과 복원력을 객관적으로 평가할 수 있도록 지원하며, 표준화된 프레임워크를 제공한다.

이번 벤치마크는 기존 AI 벤치마크가 TPRM 실제 운영 환경을 반영하지 못한 한계를 보완하도록 설계됐다. 수행 항목에는 Security Telemetry 해석과 보안 노출 위험 우선순위 지정, 불완전·오해 유발·조작 가능 공급업체 제공 정보 평가가 포함된다.

시큐리티스코어카드는 독자적 공급망 위험 분석 데이터·전문성을 활용해 실제 제3자 위험 시나리오 기반으로 구축한 TPRM 벤치마크를 만들었다고 밝혔다. 이를 통해 기업 TPRM 환경에서 AI의 의사결정 대응, 상충관계 대응, 적대적 입력 대응을 평가 대상으로 삼았다.

TPRM 벤치마크는 AI 평가 핵심 2개 영역을 통합해 구성됐다. 핵심 영역 1은 AI 공급망 보안 역량(AI Supply Chain Security Capability)이고, 핵심 영역 2는 AI 모델 복원력(AI Model Resilience)이다.

이 가운데 AI 공급망 보안 역량(AI Supply Chain Security Capability)은 실제 TPRM·공급망 보안 업무 수행 수준을 평가 기준으로 삼는 구조다. 평가 항목은 노출 위험 분류(Exposure Triage), 침해 사고 연관성 분석(Breach Correlation), 공급업체 위험 집중도 분석(Vendor Risk Concentration Analysis), 취약점 우선순위 지정(Vulnerability Prioritization)으로 구성됐다.

AI 모델 복원력의 평가는 동일 모델의 자기 방어 능력을 대상으로 하며, 프롬프트 인젝션(Prompt Injection), 탈옥(Jailbreak), 모델 결론 조작 목적의 기만적 공급업체 입력으로부터 자신을 지키는 능력을 뜻한다. 이 같은 방어 대상 공격은 일반적 공급망 공격과 적대적 공격의 범주에 속한다.

시큐리티스코어카드 공동 창립자 겸 CEO인 알렉산드르 얌폴스키(Aleksandr Yampolskiy)는 테스트 없는 AI 에이전트를 공급업체 위험 관리 프로그램에 투입하는 일은 첫날 신입 직원에게 특권 접근 권한을 부여하는 것과 유사하다고 밝혔다. 그는 보안 책임자의 핵심 질문 2가지를 제시하면서 첫째는 이 모델의 실제 업무 수행 가능 여부이고 둘째는 이 모델의 공격 악용 가능 여부라고 설명했다. 이어 그는 두 질문에 답하지 못하면 AI를 통한 경쟁 우위 확보가 불가능하며, 그런 상태의 AI 도입은 새로운 공격 표면을 형성한다고 밝혀 AI 역량 검증의 중요성을 강조했다.

공급망 분야에서 AI를 도입하는 대부분의 기업은 공급망 업무용 AI 모델의 적대적 공격 내성을 검증할 수단이 없는 것으로 나타났다. 이들 기업의 주된 최적화 대상은 정확도·비용·속도이며, 복원력 평가 사례는 드문 상황이다.

이런 배경에서 학계 전문가들은 엄격한 평가 체계를 이번 벤치마크의 차별점으로 강조했다. 뉴욕대학교 컴퓨터과학 교수이자 International Association for Cryptologic Research, IACR 펠로우인 예브게니 도디스(Yevgeniy Dodis)는 TPRM 벤치마크의 차별점으로 실제 보안 데이터 기반 공급망 시나리오로 AI를 평가한다는 점을 들었다. 그는 또 엄격하고 재현 가능한 평가 프레임워크가 핵심 인프라 분야 AI 도입 가속 국면에서 벤치마크 성능과 실제 환경 보안 간 격차를 줄이는 데 기여할 수 있다고 밝혔다.

시큐리티스코어카드는 벤치마크용 테스트·평가 방법을 공동 개발하기 위해 일부 AI 연구소·개발사·보안 기업·연구자의 참여를 요청했다고 밝혔다. 참여를 촉진하기 위한 목적으로 벤치마크 프레임워크를 오픈소스로 공개했으며, 참여자는 해당 프레임워크로 AI 모델·에이전트를 테스트할 수 있다고 설명했다.

또한 참여자는 테스트 결과를 제출한 뒤 공개 순위표(Public Leaderboard)를 공유할 수 있다고 밝혔다. 마이크 마일리아(Mike Mylrea) 시큐리티스코어카드 최고정보보호책임자(CISO) 겸 최고AI책임자(Chief AI Officer)는 초기 벤치마크 테스트 결과에서 오픈 웨이트 모델의 공급망 보안 업무 성능이 주요 최첨단 모델과의 격차를 축소한 것으로 나타났다고 전했다. 다만 그는 상당수 해당 모델이 적대적 공격에 여전히 매우 취약하다고 밝혔다.

발언자는 AI가 점차 더 중요한 보안 업무를 담당하게 되는 상황에서 기업의 모델 평가는 단순한 성능 비교에 그치지 않는다며, 기업이 각 업무별 최고 성능 모델을 파악해야 하고 누군가 고의로 모델 조작을 시도하는 상황에서도 해당 모델이 정상 작동하는지 검증할 필요가 있다고 밝혔다.

출처: 테크월드뉴스 · 김혜진 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=409372

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=409372