딥브레인AI, 생성형 AI 악용 차단 ‘AI 가드’ 개발

딥브레인AI는 생성형 AI의 악의적 활용을 막기 위한 통합 안전 엔진 'AI 가드'를 개발했다고 12일 발표했다. 'AI 가드'는 생성형 AI 콘텐츠와 관련해 인물 도용, 유해 입력, 딥페이크를 점검하는 기술로, 콘텐츠 생성 전후 시점에서 위험 요소를 살피는 것이 목적이다.

'AI 가드'는 3개 기능으로 구성된다. 첫 번째 기능은 '페이스 아이디(Face ID) 판별'로, 이미지·영상 속 인물이 보호 대상에 등록됐는지 여부를 확인한다. 두 번째는 '악의적 입력 필터'로, 유해 콘텐츠 생성을 유도하는 텍스트·이미지를 차단한다. 세 번째는 '딥페이크 판별'로, 이미지·영상이 합성됐는지 여부를 분석한다.

이 엔진은 동일한 인증 체계와 응답 규격을 적용하는 형태로 제공된다. API는 10종으로 마련됐다.

기업·기관은 서비스 환경과 용도에 따라 필요한 기능을 선택해 연동할 수 있다. 딥브레인AI는 공통된 인증 체계와 응답 규격을 바탕으로 수요처가 필요한 기능만 골라 적용할 수 있도록 'AI 가드'를 제공한다.

기존 'AI 디텍터'가 이미지·영상 딥페이크 판별에 초점을 맞췄다면, AI 가드는 콘텐츠 생성 전 과정으로 검사 범위를 확대한다. 생성 전에는 이용자 프롬프트와 참조 이미지를 점검해 위반 요소를 차단하고, 생성 후에는 이미지·영상을 다시 분석한다.

이 구조는 입력 단계에서 미식별된 요소와 생성 과정에서 발생한 문제까지 2차로 점검하는 방식이다. 또 모델 응답 오류가 발생하면 해당 요청을 차단하고, 처리 시간이 초과하는 경우에도 해당 요청을 차단한다.

이를 통해 판정에 실패한 콘텐츠가 그대로 전달되는 것을 방지한다. AI 가드는 이와 같은 구조를 바탕으로 성능 검증도 수행했다.

AI 가드는 2025년 10월 한국인정기구(KOLAS) 인정 시험기관 와이즈스톤에서 소프트웨어 품질 국제표준 KS X ISO/IEC 25023에 따라 시험을 받았다. 그 결과 합성 여부 판별 정확도, 악의적 생성 유도 입력 차단 오차율, 특정 인물 인식 정확도 등 3개 항목이 기준을 충족했고, 합성 여부 판별 정확도는 96%로 제시됐다.

AI 가드는 기업·기관의 보안 환경을 고려해 내부 인프라에서 운영할 수 있도록 설계됐다. 판별용 언어모델과 안전 분류 모델은 외부 상용 API 호출 없이 자체 GPU에서 구동되며, 검사 대상인 프롬프트와 이미지는 외부 전송 없이 처리할 수 있다. 이는 외부 API나 외부 전송 없이 내부 인프라와 자체 GPU에서 작동하도록 구성돼 기업·기관의 보안 요구를 충족하는 흐름이다.

딥브레인AI는 이를 바탕으로 콘텐츠 생성 플랫폼 사업자와 공공기관을 대상으로 AI 가드 공급을 시작했다. 향후 적용 범위는 기업·기관이 운영하는 생성형 AI 서비스로 확대할 계획이다.

장세영 딥브레인AI 대표는 생성형 AI 서비스의 안전장치가 부가 기능이 아니라 안정적 운영의 기본 요건이라고 밝혔다. 이어 기업·기관의 자체 인프라 내 생성형 AI 악용 위험을 체계적으로 관리할 수 있도록 기술 적용 범위를 지속 확대할 방침이라고 설명했다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408046

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=408046