모티프 이의제기에 독파모 2차 세부점수 공개…SKT 종합 1위

과학기술정보통신부가 '독자 AI 파운데이션 모델' 프로젝트 2차 단계평가 세부 결과를 공개했다. 공개 배경은 전일 모티프테크놀로지스가 입장문을 통해 세부 평가 결과 공개를 요청한 데 있다.

과기정통부는 모티프테크놀로지스의 요청 이후 다른 정예팀들도 세부 결과 공개에 동의했다고 설명했다. 과기정통부는 이에 따라 평가 점수를 공개했다.

과기정통부는 이번 프로젝트 목적이 단순 순위 경쟁이나 탈락팀 선정이 아니라고 강조했다. 이번 프로젝트 목적은 국내 AI 기업 성장과 AI 생태계의 질적 성장·확장에 있다고 밝혔다.

과학기술정보통신부에 따르면 공개된 아티피셜 애널리시스 인텔리전스 인덱스(AAII) 벤치마크 세부 점수는 모티프테크놀로지스가 25점 만점 중 11.9점으로 최고점이었다. 이어 업스테이지 9.4점, SKT 8.8점, LG AI연구원 7.8점으로 집계됐다.

평가는 NIA 벤치마크, 외부 전문가 평가, 전문 사용자 평가로 나뉘어 진행됐다. NIA 벤치마크는 수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등 7개 분야를 대상으로 했으며, 점수는 SKT 13.4점, 업스테이지 13.3점, LG AI연구원 12.8점, 모티프테크놀로지스 12.7점으로 집계됐다.

외부 전문가 평가는 산업계·학계·연구계 외부 전문가 10명이 참여해 개발 전략과 기술, 개발 성과와 계획, 파급효과 및 기여계획을 항목으로 심사했다. 팀별 점수는 위원별 평가점수 중 최고점·최저점 제외 후 나머지 산술평균으로 산출됐으며, 결과는 LG AI연구원 29.5점, SKT 29.3점, 업스테이지 29.1점, 모티프테크놀로지스 27.1점으로 나타났다.

전문 사용자 평가는 AI 스타트업 대표 등 49명이 참여했다. 평가 유형에 따라 선두 기관은 달랐으며, 벤치마크와 전문 사용자 평가에서는 SKT가 가장 높은 점수를 기록했고 전문가 평가에서는 LG AI연구원이 가장 높은 점수를 기록했다. 전문 사용자 평가 점수는 SKT 11.6점, LG AI연구원 11.3점, 업스테이지 10.8점, 모티프테크놀로지스 8.4점이었다.

일반 국민 평가는 성별·연령별 쿼터를 적용해 선정한 평가단이 진행했으며, 선정 평가단 실참여 인원은 185명이었다. 일반 국민 평가 점수는 LG AI연구원 7.6점, SKT 7.5점, 업스테이지 7.3점, 모티프테크놀로지스 5.7점으로 집계됐다.

별도 평가 점수 종합 결과에서는 SK텔레콤(SKT) 정예팀이 70.6점으로 1위를 기록했다. 이어 업스테이지 69.9점, LG AI연구원 69.0점, 모티프테크놀로지스 65.8점 순이었다.

결과 공개 이후 과기정통부는 기업들이 단순 점수·순위보다 보유 저력·역량을 바탕으로 국내외 AI 생태계에 폭넓게 기여하기를 기대한다고 밝혔다. 또 AI 생태계가 새롭고 경쟁력 있는 AI 기업들의 지속적 도전이 이어지는 역동적 생태계로 발전하기를 기대한다고 설명했다.

이어 배경훈 부총리 겸 과기정통부 장관은 전일 '제2차 과학기술·인공지능 미래전략회의'에서 독파모 평가 방식의 재검토 필요성을 언급했다. 배 부총리는 1년 반 전 수립된 평가·경쟁 방식의 유효성에 대한 근본적 고민이 필요하며, AI 트렌드 변화 주기가 3∼6개월이라고 밝혔다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241264

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241264