모티프, 독파모 2차 평가 이의신청…NIPA 15일 내 결론

모티프테크놀로지스가 '독자 AI 파운데이션 모델(독파모)' 프로젝트 2차 단계평가 결과에 이의제기했다. 모티프는 지난 27일 입장문을 발표하고 2차 단계평가 결과에 문제를 제기하며 평가 항목별 세부 점수 공개와 벤치마크 배점 산정 근거 공개, 전문가·사용자 평가 기준 공개, 전문가·사용자 평가 방법 공개를 요구했다. 모티프는 세부 점수와 배점 근거, 평가 기준과 방법 공개를 통해 평가 과정과 결과를 확인할 수 있어야 한다는 입장을 밝혔다.

이에 정부는 평가 과정 적정성 점검에 착수했다. 정보통신산업진흥원(NIPA)은 모티프의 이의신청을 심의할 예정이며, 접수일로부터 15일 이내 결과를 통보할 방침이다. NIPA는 이의신청 심의 후 15일 이내 결과를 통보할 예정이라고 밝혔다.

이번 심의는 결과를 다시 매기기보다 기존 평가가 정해진 절차와 방식에 맞게 이뤄졌는지 확인하는 데 중심이 실릴 전망이다. 재산정보다 기존 평가의 절차·방식 준수 여부 확인 중심 전망이 나온다.

모티프의 이의제기 배경에는 벤치마크와 종합평가 간 순위 차이가 있다. 모티프의 '모티프 3'는 AAII 47점을 획득했다. 업스테이지는 AAII 37점, SK텔레콤(SKT)은 AAII 35점, LG AI연구원은 AAII 31점을 기록했다.

이처럼 '모티프 3'는 AAII 점수에서 업스테이지·SK텔레콤(SKT)·LG AI연구원보다 앞섰지만, 최종 종합평가에서는 4위에 머물렀다. 모티프는 이런 결과를 두고 세부 점수와 배점 근거, 평가 기준과 방법 공개를 통해 평가 과정과 결과 확인이 필요하다고 주장했다.

과학기술정보통신부는 모티프의 요청과 다른 정예팀의 동의를 거쳐 같은 날 2차 단계평가 세부 점수를 공개했다. 2차 단계평가 종합점수는 SKT가 70.6점으로 1위였고, 업스테이지가 69.9점으로 2위, LG AI연구원이 69.0점으로 3위, 모티프가 65.8점으로 4위였다.

다만 평가 항목별 순위는 상이했다. 2차 단계평가 방식은 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점을 합산하는 구조였다. 벤치마크는 AAII 25점과 한국지능정보사회진흥원(NIA) 평가 15점으로 구성됐고, 사용자 평가는 전문 사용자 15점과 일반 국민 10점으로 구성됐다.

모티프는 벤치마크 평가에서 최고점을 받았다. 그러나 모티프는 전문가 평가와 사용자 평가에서 상대적 저득점을 기록했고, 그 영향으로 종합 순위 4위가 됐다.

모티프는 이의신청과 별개로 독파모 3차 단계평가에 불참하겠다는 입장을 밝혔다. 이에 따라 후속 경쟁은 SKT, 업스테이지, LG AI연구원 중심의 3개 정예팀 구도로 이어지게 됐다.

정부는 이번 논란과 별개로 독파모 평가·경쟁 방식을 재검토하고 있다. 재검토 취지는 AI 기술 급변에 따라 기존 평가 기준이 최신 기술 수준과 경쟁력을 반영하고 있는지 점검하는 데 있다. 배경훈 부총리 겸 과기정통부 장관은 지난 27일 제2차 과학기술·인공지능 미래전략회의에서 1년 반 전 마련된 평가·경쟁 방식의 유효성에 대한 근본적 점검이 필요하다고 밝혔고, AI 트렌드 변화 주기가 3~6개월이라고 언급했다.

배경훈 부총리 겸 과기정통부 장관은 세계적 수준 모델 개발을 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다는 입장을 밝혔다. 과기정통부는 AI 에이전트, 고난도 추론, 코딩 등 최근 중요성이 확대된 기술을 향후 평가에 반영하는 방안을 검토하고 있다.

과기정통부는 참여 기업들과 개발 방향과 평가 방식을 논의할 예정이다. 아울러 기술 변화에 맞춘 평가체계 보완을 추진할 계획이다.

NIPA의 이의신청 심의와 정부의 평가체계 재검토가 함께 진행되고 있으며, 이 두 흐름이 맞물리면서 독파모 후속 평가에서 적용될 기준과 방식의 변화 가능성에 관심이 쏠리고 있다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=406241

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=406241