크라우드웍스, AI 에이전트 안전·신뢰성 검증 사업 수주

크라우드웍스는 정부가 발주한 AI 에이전트 검증 사업에 참여한다고 3일 밝혔다. 크라우드웍스는 과학기술정보통신부·한국지능정보사회진흥원(NIA) 발주 'AI 에이전트 안전·신뢰성 검증 체계 지원' 사업 참여를 발표했다.

이번 수주 사업은 AI 에이전트 자율 실행 과정의 안전성과 신뢰성을 검증하는 내용이다. 사업 목적은 예약·결제·배차 등 다단계 과업 수행 중 판단·도구 호출의 적절성을 평가할 수 있는 검증 체계를 마련하는 데 있다.

기존 AI 평가는 최종 답변 정확성에 중심이 맞춰져 있었다. 그러나 AI 에이전트는 자체 계획을 수립하고 외부 도구·API 호출을 통해 과업을 수행하는 특성이 있어, 결과뿐 아니라 실행 과정의 타당성까지 확인할 수 있는 평가 기준의 필요성이 제기돼 왔다.

크라우드웍스는 정부 발주 'AI 에이전트 안전·신뢰성 검증 체계 지원' 사업에 참여하게 됐다고 밝혔다.

이번 사업은 국제 표준 반영·국내 서비스 환경 적합 평가 기준 마련을 목표로 추진된다. 사업 절차는 실제 현장 적용 추진을 거쳐 사업 연계 추진인 민간 AI 신뢰성 인증으로 이어지는 방향이다.

사업 주관은 슈어소프트테크가 맡고, 컨소시엄에는 크라우드웍스와 카이스트, 한국인공지능산업협회가 참여한다. 완료 예정 시점은 올해 말이며, 완료 예정 범위는 검증 체계 개발·구축이다.

크라우드웍스는 다단계 추론 시나리오 구축과 한국형 검증 데이터셋 구축을 담당한다. 시나리오 설계에는 다양한 MCP 도구·외부 API 활용이 반영되며, 시나리오 조건으로는 순차 호출 또는 병렬 호출 필요 사항을 포함하고, 시나리오 구성은 난이도별 설계로 이뤄진다.

검증 데이터셋은 최종 답변 정확도 평가 가능 데이터, 에이전트의 판단 과정 평가 가능 데이터, 도구 호출 여부·방식 평가 가능 데이터로 구축할 계획이다. 검증 데이터셋에는 국내 서비스 환경과 자주 변하는 동적 데이터를 반영하며, 검증 데이터셋 규모는 7000건 이상이다. 평가 대상은 상황 변화에 따른 에이전트 판단 능력이다.

크라우드웍스 관계자는 AI 에이전트 시대에는 모델 성능 외에도 실행 과정의 안전성·신뢰성 검증 체계의 중요성이 확대되고 있다고 밝혔다. 이어 크라우드웍스는 데이터 구축·평가 역량을 보유하고 있다며 국내 환경에 맞는 AI 에이전트 검증 기준 마련에 기여하겠다는 의지를 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406493

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406493