SecurityScorecard、AI TPRM BenchmarkでAI供給網セキュリティを評価

企業のセキュリティ業務でAIの導入が広がる中、導入前に当該モデルが実際のセキュリティ業務を担えるかを確認する観点から、AI能力の検証の重要性が高まっている。

これに関連し、SecurityScorecardは6日、「AI TPRM Benchmark」の提供開始を発表した。「AI TPRM Benchmark」は、AIモデルの第三者リスク管理の遂行能力とサイバー攻撃への対応能力を評価対象とする。また、企業が中核的な第三者リスク管理業務全般にAIモデルを導入する前に、能力とレジリエンスを客観的に評価できるよう支援し、標準化されたフレームワークを提供する。

今回のベンチマークは、既存のAIベンチマークがTPRMの実運用環境を反映し切れていないという限界を補うよう設計された。実施項目にはSecurity Telemetryの解釈とセキュリティ露出リスクの優先順位付け、そして不完全・誤解を招く・操作可能な供給業者提供情報の評価が含まれる。

SecurityScorecardは、自社の独自の供給網リスク分析データと専門性を活用し、実際の第三者リスクシナリオに基づいて構築したTPRMベンチマークを作成したと明らかにした。これにより、企業のTPRM環境におけるAIの意思決定への対応、相反する情報への対応、敵対的入力への対応を評価対象とした。

TPRMベンチマークは、AI評価の中核となる2つの領域を統合して構成された。中核領域1はAI Supply Chain Security Capability、中核領域2はAI Model Resilienceである。

このうちAI Supply Chain Security Capabilityは、実際のTPRM・供給網セキュリティ業務の遂行水準を評価基準とする構造である。評価項目はExposure Triage、Breach Correlation、Vendor Risk Concentration Analysis、Vulnerability Prioritizationで構成された。

AI Model Resilienceの評価は同一モデルの自己防御能力を対象とし、Prompt Injection、Jailbreak、モデルの結論を操作する目的の欺瞞的な供給業者入力から自らを守る能力を指す。このような防御対象となる攻撃は、一般的な供給網攻撃と敵対的攻撃の範疇に属する。

SecurityScorecardの共同創業者兼CEOであるAleksandr Yampolskiyは、テストを行わないAIエージェントを供給業者リスク管理プログラムに投入するのは、初日に新入社員へ特権アクセス権限を与えるのに似ていると述べた。同氏はセキュリティ責任者にとっての核心的な2つの問いとして、1つ目はこのモデルが実際に業務を遂行できるか、2つ目はこのモデルが攻撃に悪用され得るかだと説明した。さらに、その2つの問いに答えられなければAIによる競争優位の確保は不可能であり、そのような状態でのAI導入は新たな攻撃面を形成するとし、AI能力検証の重要性を強調した。

供給網分野でAIを導入する大半の企業は、供給網業務向けAIモデルの敵対的攻撃に対する耐性を検証する手段を持たないことが分かった。これらの企業の主な最適化対象は正確性・コスト・速度であり、レジリエンス評価の事例は少ない状況である。

こうした背景から、学界の専門家らは厳格な評価体系を今回のベンチマークの差別化要素として強調した。ニューヨーク大学のコンピューターサイエンス教授であり、International Association for Cryptologic Research、IACRのフェローであるYevgeniy Dodisは、TPRMベンチマークの差別化要素として、実際のセキュリティデータに基づく供給網シナリオでAIを評価する点を挙げた。同氏はまた、厳格で再現可能な評価フレームワークが、重要インフラ分野でAI導入が加速する局面において、ベンチマーク性能と実環境のセキュリティとのギャップを縮めることに寄与し得ると述べた。

SecurityScorecardは、ベンチマーク向けのテスト・評価手法を共同開発するため、一部のAI研究所・開発会社・セキュリティ企業・研究者の参加を要請したと明らかにした。参加を促進する目的でベンチマークフレームワークをオープンソースで公開し、参加者は同フレームワークを用いてAIモデル・エージェントをテストできると説明した。

また、参加者はテスト結果を提出した後、Public Leaderboardを共有できると明らかにした。Mike Mylrea SecurityScorecardのCISO兼Chief AI Officerは、初期のベンチマークテスト結果で、オープンウェイトモデルの供給網セキュリティ業務の性能が主要な最先端モデルとの格差を縮めたことが示されたと伝えた。ただし、同氏は多くの当該モデルが依然として敵対的攻撃にきわめて脆弱であると述べた。

同氏は、AIが次第により重要なセキュリティ業務を担うようになる中で、企業のモデル評価は単純な性能比較にとどまらないとし、企業は各業務ごとの最高性能モデルを把握し、だれかが意図的にモデルの操作を試みる状況でも当該モデルが正常に機能するかを検証する必要があると述べた。

出典：TECHWORLD · キム・ヘジン 原文：https://www.epnc.co.kr/news/articleView.html?idxno=409372

参考資料

• https://www.epnc.co.kr/news/articleView.html?idxno=409372