[국감] 독파모 수학 데이터 ‘4개월 구축·2명 검토’ 지적에…NIA “전수 검증”

독파모 평가용 수학 문항의 검증이 충분했는지를 둘러싼 논란이 제기되면서 평가용 수학 문항의 검증 여부를 다시 점검할 필요가 있다는 의견이 나왔다. 지난 15일 서울 여의도 국회에서 열린 국회 과학기술정보방송통신위원회 국정감사에서 김장겸 국민의힘 의원은 김형철 한국지능정보사회진흥원장을 상대로 독파모 평가용 수학 데이터셋 '수학(SOOHAK)'의 구축·관리 문제를 질의했다.

문제 제기의 근거로는 촉박한 제작 일정과 제한된 검수 인력이 제시됐다. 특히 이 데이터셋이 4개월 동안 구축됐고 2명이 검토했다는 점이 함께 거론됐으며, 이 같은 일정·인력 제약이 평가 신뢰성에 영향을 미칠 가능성이 있다는 지적이 나왔다.

이에 대해 NIA는 외부 전문가 등을 통한 전수 검증을 완료했다는 입장을 밝혔다. 국정감사에서는 독파모 평가에 쓰인 수학 데이터셋의 신뢰성을 놓고, 구축 일정과 검수 인력의 한계를 둘러싼 문제 제기와 전수 검증이 끝났다는 NIA의 설명이 맞섰다.

김 의원은 출제진 논문을 근거로 수학 데이터셋 구축과 검수 과정의 인력·시간 제약을 연결해 제시했다. 김장겸 국민의힘 의원은 출제진 논문에 이런 한계가 명시돼 있다고 밝혔다.

수학 데이터셋은 A사가 주관했다. A사는 제안서 작성·행정·계약 절차·분야별 전문가 모집·문항 수집·검수 전 과정을 맡았고, 수행 기한은 4개월 이내였다.

김장겸 국민의힘 의원은 독파모 평가용 수학 문항 검토 규모가 1000여 개인데 내부 연구원 수는 2명에 불과했다고 지적했다. 또 내부 연구원 검토 방식은 직접 풀이가 아닌 출제자 답과 AI 답 대조 수준이었고, 해당 내용은 논문에 기재된 사항이라고 밝혔다. 그러면서 이를 논문이 아니라 사실상의 고백이라고 비판했다.

김장겸 국민의힘 의원은 이어 출제진이 외부기관에 일부 문항에 대한 표본 검토를 의뢰했다고 덧붙였다. 그 결과 약 5%에서 문제 소지가 발견됐다고 밝혔다.

김 의원은 국가대표 AI 참여 기업의 탈락 여부를 좌우한 수학 문제가 시간 부족으로 충분한 검증 없이 확정됐다고 지적했다. 김 의원은 이에 따라 평가 공정성에 대한 의문 제기가 불가피하다고 밝혔다.

이에 대해 NIA는 수행업체 내부 검수와 별도로 외부 전문가·품질 검증기관을 통한 추가 검증 절차를 진행했다고 설명했다. 김형철 NIA 원장도 문제 출제 이후 NIA가 카이스트 교수 등 전문가와 다른 품질 검증기관을 통해 별도 전수 검증을 했다고 답했다.

출처: 아이티데일리 (IT DAILY) · 양승갑 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242234

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=242234