와이즈스톤, LLM·생성형 AI 검증할 ‘AI 테스트 아키텍트’ 양성한다

아이티데일리에 따르면 AI SW 품질 시험인증 전문기업 와이즈스톤이 'AI Test Architect Lab 1기'를 실시했다. 이번 프로그램은 생성형 AI·LLM 기반 시스템 품질 확보를 목적으로 운영됐다.

과정 목표는 'AI 검증 아키텍트(AI Test Architect)' 양성이다. AI 검증 아키텍트는 AI 검증 프로젝트 초기 단계에서 대상 시스템을 분석하고, 품질 리스크를 식별하며, 테스트 전략을 수립하는 역할을 맡는다.

최근 엔터프라이즈 중심 LLM·RAG(검색증강생성) 기술 도입이 급증하고 있다. 이에 따라 AI 시스템 고유 품질 리스크에 대한 관리 필요성도 함께 커지고 있다.

AI 시스템 고유 품질 리스크 사례로는 환각 현상(Hallucination), 근거 불일치, 데이터 보안, 도메인 특화 오류가 제시된다. 이 같은 위험을 사전 제어하기 위한 목적으로 전문 아키텍트 필요성이 대두되고 있다.

와이즈스톤 운영 프로그램 'AI 테스트 아키텍트 랩(AI Test Architect Lab) 1기'는 이론 전달·테스트 수행자 양성에 한정되지 않은 구성으로, 참가자 대상 실제 AI 상담형 시스템 등을 놓고 검증 전 과정을 직접 수행하는 방식의 하이브리드형 실습 교육으로 운영됐다. 참가자들은 대상 분석·리스크 분석·테스트 계획 수립·테스트 설계·테스트 수행·결과 보고까지 수행 범위를 맡아 실제 검증 전 과정을 직접 다뤘다.

교육은 자체 구축 'AI Test Framework', 'LLM/RAG Test Playbook', 표준 검증 문서 양식을 기반으로 진행됐으며, 참가자들은 정교한 테스트 케이스(TC)·루브릭(평가 기준)을 설계·검증했다. 이 과정에서 일반 SW 품질특성 기능성·보안성 등과 AI 특화 품질 정확성·투명성·견고성 등, 금융·규제 등 도메인/운영 리스크를 통합 검토 항목으로 함께 반영한 테스트 설계와 검증이 이뤄졌다.

와이즈스톤은 이번 프로그램에서 얻은 실전 피드백과 산출물을 바탕으로 'AI Test Framework' 최종 초안 확정을 추진할 계획이라고 밝혔다. 'AI Test Framework' 최종 초안 확정 시한은 오는 8월 말까지이며, 최종 초안 목표는 실무 즉시 적용 가능 수준이다. 와이즈스톤은 고도화된 AI 검증 방법론 패키지 구축도 함께 추진할 계획이다.

이영석 와이즈스톤 대표는 AX(AI 전환) 격변기에는 AI 시스템 신뢰성·안전성 확보가 기업 성패의 핵심 요인이라고 밝혔다. 이어 체계적 프레임워크·검증 플레이북을 기반으로 전문 Advisory·AI 테스트 아키텍트를 지속 육성할 방침이며, 국내 AI SW 품질 향상을 선도하겠다는 의지를 내놨다.

출처: 아이티데일리 (IT DAILY) · 김호 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241111

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241111