모티프, ‘독파모’ 사업에 공식 이의 제기…“평가 기준·점수 공개해야”

'독자 AI 파운데이션 모델' 사업 2차 단계 평가에서는 4개 컨소시엄이 경쟁했다. 참여 컨소시엄은 모티프·업스테이지·SK텔레콤·LG AI연구원이다. 18일 나온 최종 결과에서 모티프는 최저 점수를 받아 탈락했다.

이에 모티프테크놀로지스는 27일 '독자 AI 파운데이션 모델' 사업 2차 단계 선정 결과에 대해 공식 이의 제기 신청을 했다.

모티프는 인텔리전스 인덱스(AAII) 벤치마크에서 47점을 기록했다고 밝혔다. AAII 기준 참여사 순위 1위는 모티프이며, 점수는 업스테이지 37점, SKT 35점, LG 31점으로 제시됐다.

모티프는 글로벌 종합 성능 지표 1위에도 전문가 평가·사용자 평가에서 미흡 판정을 받은 데 의문을 제기했다. 아울러 평가 기준·점수 공개를 요구했다.

과기정통부는 모티프 '모티프 3'에 대해 벤치마크 점수 우위에도 실제 추론 성능 및 사용성·활용성이 미흡하다고 설명했다. 이에 대해 모티프는 파운데이션 모델의 가치는 단순 챗봇 사용성보다 다양한 도메인 확장 가능한 기반 성능에 있다고 주장했다.

모티프는 과기정통부가 8월 25일 국무회의 대통령 보고에서 '독파모 47점, 글로벌 3강' 성과를 강조해놓고도, 해당 점수 획득 주역을 탈락시킨 것은 정책적 모순이라고 지적했다.

모티프는 벤치마크가 컴퓨터공학 산업·기술 발전을 이끄는 표준화된 객관적 평가 기준이라고 설명했다. 또 AAII는 9개 대표 벤치마크를 취합한 공신력 있는 종합 지표라고 밝혔다.

모티프는 AAII 같은 벤치마크가 절대적 기준은 아니라고 전제하면서도, 47점과 31점 사이에는 상당한 성능 격차가 있다고 설명했다. 그러면서 전문가 평가 결과가 성능 격차와 반대 방향으로 나왔다며, 정부에 전문가 평가 결과의 이유·배경에 대한 구체적 설명을 촉구했다.

모티프는 평가 결과와 심사 절차 모두에 문제를 제기했다. 모티프는 LG의 전문가 평가 1위 근거 소명을 요구했다. LG는 모델 규모 2배 이상 확대에도 LG 점수 31점을 받았다.

모티프는 심사 과정에서 해외 자본 지분율 등 기술 외적 질의 포함 배경 소명도 요구했다. 심사 과정에는 해외 자본 지분율 등 기술 외적 질의 포함이 있었다. 모티프는 사용성 비판 지속 속에서 기본 모델 성능 미흡한 사용성의 지속 가능성 부재라는 입장을 밝혔다.

모티프는 현재 국내 모델 성능은 안주 불가 수준이라고 판단했다. 글로벌 프론티어 모델 AAII 점수 63점, 모티프 AAII 점수 47점으로 모티프는 프론티어 대비 75% 수준이었다. 최하위 모델 점수 31점으로 최하위 모델은 프론티어 대비 49% 수준이었다. 당초 사업 목표는 프론티어 대비 95% 이상 성능 확보였으며, 현재 성능은 당초 사업 목표와 거리 존재 상태라고 설명했다.

이어 정부 일각의 대기업은 프론티어 모델·스타트업은 특화 모델 담당 역할 분담론 제기에 대해서도 모티프는 반박했다. 모티프는 글로벌 시장 주도 주체는 스타트업이라고 반박했고, 이번 2차 평가에서도 스타트업 2개사 벤치마크가 대기업 2개사 상회했다며 정면 반박했다.

모티프는 평가와 관련해 공개·설명 필요성이 있다고 본 항목들을 묶어 이의 제기 사항 4가지를 제시했다. 전체 평가 항목별·업체별 상세 점수 및 기준 공개를 요구했고, 벤치마크 배점 산정 방식 근거 제시를 요구했으며, 전문가 평가 상세 기준 및 결과 공개와 사용자 평가 방법론 및 상세 기준 공개도 요구했다.

모티프는 이번 이의 제기 목적이 결과 번복은 아니라는 입장을 밝혔다. 또 재심의 결과와 무관하게 향후 3차 사업에는 참여하지 않고, 자체 역량으로 프론티어 모델 개발을 지속하겠다는 계획을 밝혔다.

출처: 아이티데일리 (IT DAILY) · 권영석 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241232

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241232