셀렉트스타, ‘아기상어 AI’ 안전성 검증 사례 공개…“신뢰 가능한 AI 중요”

셀렉트스타와 더핑크퐁컴퍼니가 아기상어 IP를 적용한 AI 콘텐츠와 안전성 검증 사례를 공개했다. 양사는 아기상어 IP 기반 전시형 AI 콘텐츠 사례를 통해 협업 내용을 공개했다.

실시간 대화형 AI 콘텐츠의 특성상 사전 검수 외에도 운영 중 지속적 신뢰성 평가가 필요하다는 점이 배경으로 제시됐다. 출시 전 점검만으로는 충분하지 않아 운영 단계에서도 신뢰성 평가가 계속 필요하다는 내용이다.

셀렉트스타는 10일 서울 동대문디자인플라자(DDP)에서 개최된 'Try Everything 2026'에서 더핑크퐁컴퍼니와 발표·좌담회를 진행한다고 발표했다. 세션 주제는 'AI를 만난 아기상어: IP 기업과 AI 기업이 만든 새로운 콘텐츠 경험'이며, 세션에는 박상원 더핑크퐁컴퍼니 본부장과 정세엽 셀렉트스타 플랫폼영업팀 팀장이 참여한다.

양사는 DDP에서 진행 중인 AI 인터랙티브 체험 전시 '아기상어 비밀 초대장: 비커밍 샤크'를 중심으로 협업 과정을 소개한다. 소개 범위는 콘텐츠 기획·AI 구현·신뢰성 평가이며, 셀렉트스타 측은 신뢰 가능한 AI의 중요성을 강조했다.

이번 전시는 관람객의 말·행동에 따라 AI 캐릭터가 실시간 반응하는 방식으로, 정해진 이야기 진행 방식의 기존 콘텐츠와는 다르게 설계됐다. 관람객은 아기상어 세계관 안에서 직접 대화·선택하며, 그 결과 관람객별로 서로 다른 경험이 형성된다.

박상원 본부장은 영상은 이용자가 완성된 콘텐츠를 접하는 것이지만, 전시는 관람객의 말·행동에 따라 경험이 실시간 변화한다고 설명했다. 이어 관람객은 이미 만들어진 이야기를 따르는 존재가 아니라 세계관 안에 직접 등장해 자신의 선택으로 이야기를 만들어가는 주인공이라고 밝혔다.

이 같은 AI 실시간 상호작용 특성상 사전 단계에서 모든 질문·답변을 확인하기는 어렵다. 이에 셀렉트스타는 공개 전 검수에만 머무르지 않았고, 실제 운영 중 예상 밖 질문·표현에 대해 AI가 어떻게 반응하는지까지 평가 대상으로 삼았다.

셀렉트스타는 검증에 AI 신뢰성 평가 플랫폼 '다투모 플랫폼'을 활용했다고 설명했다. 검증은 한국어·영어·일본어·중국어 4개 언어를 범위로 진행됐다.

안전성 평가를 위한 시나리오는 1만개 규모로 구축됐다. 시뮬레이션에는 실제 관람객의 연령·발화 성향을 반영했으며, AI 사용자와 캐릭터 간 다회차 대화를 포함했다.

이 과정에서 평가 항목으로는 대화 안전성, 아기상어 세계관 일관성, 다국어 대화 품질을 점검했다. 또 반복 확인 사항으로 캐릭터의 부적절한 답변 생성 여부와 캐릭터의 설정 이탈 반응 여부를 살폈다.

이어 AI 안전장치 우회 상황을 가정한 레드티밍 기법을 적용해 취약점 탐색을 진행했다. 레드티밍은 직접적 유해 질문 외에 역할극·외국어·우회 표현을 활용하는 방식으로 이뤄졌으며, 목적은 취약점 탐색이었다. 정세엽 팀장은 직접적 유해 질문은 거절하더라도 역할극·외국어·우회 표현을 사용할 경우 AI 안전장치가 뚫리는 경우가 있다고 설명했다. 이어 다양한 공격을 반복해 취약점을 탐색하고, 취약점을 보완한 뒤 재검증하는 과정이 필요하다고 밝혔다.

양사는 좌담회에서 AI 기반 IP 콘텐츠에 전시가 적합한 이유와 제작 과정에서 IP 기업·AI 기업의 협의 지점, 향후 AI·IP 산업 발전 방향을 함께 짚었다.

이런 논의와 맞물려 셀렉트스타는 콘텐츠 분야의 신뢰성 평가 경험을 보유하고 있으며, 해당 경험을 국가 AI 사업으로 확대하고 있다. 셀렉트스타가 참여한 SKT 컨소시엄은 과학기술정보통신부 '독자 AI 파운데이션 모델' 프로젝트 2차 평가를 통과했으며, 셀렉트스타는 '모두의 AI' 사업에 참여해 데이터 구축과 품질 검증을 지원하고 있다.

정 팀장은 AI 우수성 기준이 단순 성능 중심에서 신뢰·사용 가능성까지 확대되고 있다고 밝혔다. 그는 AI가 앞으로 콘텐츠·일상에서 사람과 직접 만나는 사례가 늘어날 것으로 보고, 이런 흐름 속에서 셀렉트스타의 AI 신뢰성 검증 기술의 중요성도 커질 것으로 내다봤다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406839

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406839