카카오 ‘카나나-2’, 한국어 안전성 평가서 젬마·큐웬 앞서

카카오는 18일 자체 개발 경량 언어모델 '카나나-2(Kanana-2)'의 한국어 안전성 평가 결과를 공개했다. 평가 공개 대상은 카나나-2 1.3B, 카나나-2 3B다. 사진 제공 표기는 카카오다.

카카오는 지난달 28일 허깅페이스에 공개한 '카나나-2-1.3B-인스트럭트(Kanana-2-1.3B-Instruct)'와 '카나나-2-3B-인스트럭트(Kanana-2-3B-Instruct)'를 자체 구축 'AI 안전성 평가 플랫폼'으로 점검했다. 평가 항목은 유해성, 편향성 등이다.

카카오는 그 결과를 한국어 기준으로 정리해 공개했으며, 유사한 매개변수 규모의 구글 젬마(Gemma), 알리바바 큐웬(Qwen)과 비교한 결과 카나나-2 1.3B·3B가 비교군 중 종합점수 최고를 기록했다고 밝혔다.

이번 평가는 한국어 생성형 AI 안전성 측정을 위해 마련된 한국어 특화 AI 안전성 평가용 '어슈어AI(AssurAI)'를 기반으로 진행됐다. 어슈어AI는 한국정보통신기술협회(TTA), 한국과학기술원(KAIST), 카카오 등이 구축에 참여했으며, 한국 사회·문화 맥락을 반영한 35개 위험요소 기준으로 생성형 AI 안전성을 측정하기 위해 개발됐다.

어슈어AI 전체 구성은 총 1만1480건이다. 세부적으로는 텍스트 9560건, 이미지 1160건, 영상 430건, 오디오 330건으로 이뤄졌으며, 이번 평가 대상은 언어모델로 평가에는 텍스트 데이터 9560건만 사용됐다.

카카오는 35개 위험요소를 사회적 위험, 성적 콘텐츠·아동 보호, 범죄·불법 행위, 폭력, 권리 침해의 5개 영역으로 재분류해 결과를 집계했다. 응답 채점은 사전 정의 기준에 따라 이뤄졌고, 채점 방식으로는 'LLM-as-a-Judge(언어모델 평가)'가 적용됐으며 채점 주체는 언어모델이었다.

이번 비교는 카나나-2와 매개변수 규모 유사 모델을 대상으로 진행됐으며, 비교 모델은 구글 젬마와 알리바바 큐웬 계열이다. 이번 평가의 근거는 한국어 안전성 데이터이며, 카나나-2 1.3B 모델은 종합점수 0.70으로 젬마 0.68과 큐웬 0.58을 기록한 비교군을 상회했다. 카나나-2 3B 모델도 종합점수 0.70으로 젬마 0.66과 큐웬 0.62를 기록한 비교군을 상회했다.

세부 평가에서는 1.3B 모델이 범죄·불법 행위 영역에서 우세했고, 3B 모델은 성적 콘텐츠·아동 보호·권리 침해 영역에서 우세했다. 이번 평가는 지식·추론·수학·코딩 등 일반 성능은 제외했다.

카나나-2 일반 성능은 지난달 모델 공개 당시 별도 벤치마크로 측정됐으며, 카카오 공개 평가도 존재한다. 이 평가에서 3B 인스트럭트 모델은 한국어 대화 지표, 일부 지시 수행 지표, 도구 호출 지표, 코딩 지표에서 큐웬 계열 모델을 상회했다. 반면 큐웬 계열 모델은 수학 지표, 일부 추론 지표, 지식 지표에서 3B 인스트럭트 모델을 상회했다.

카카오는 지난해 12월 과학기술정보통신부·AI안전연구소·TTA가 실시한 국내 첫 AI 모델 안전성 평가에 참여했다. 당시 평가에는 '카나나 에센스(Kanana Essence) 1.5'가 포함됐으며, 유사 규모 메타 라마·미스트랄 모델 대비 더 높은 안전성 평가 결과를 받았다.

김경훈 카카오 AI 안전성 리더는 이번 평가가 자체 검증 체계로 오픈소스 모델 안전성을 사전 점검하고 결과를 공개한 사례라고 밝혔다. 이어 안전성 검증을 모델 출시 과정의 핵심 단계로 정착시킬 방침이라고 설명했다.

카카오는 이를 바탕으로 자체 개발 AI 모델을 대상으로 출시 전 안전성 평가를 상시 적용할 계획이다. 또 안전성 평가 범위를 텍스트 언어모델에서 멀티모달 모델·에이전트형 AI로 확대할 계획이다.

출처: 아이티데일리 (IT DAILY) · 김병주 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241040

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241040