시각 AI 표준 평가의 허점 짚고 새 기준 제시
인공지능신문 ·
✦ AI 요약
표준으로 쓰여온 AI 시각 인식 평가의 문제점 개선한 새 벤치마크 제시
인공지능신문에 따르면 UNIST 유재준 교수팀이 10월 1일 시각 AI의 사물 인식 능력을 가려온 표준 평가법의 구조적 허점을 짚고 새 벤치마크를 내놨다. 연구팀은 기존 방식이 전체 제출 논문 10,473편 가운데 약 1.3%만 뽑히는 학회 스포트라이트로 채택된 연구에서 비율 중심 채점과 편향된 합성 이미지, 제한된 답안 범위 때문에 결과를 왜곡할 수 있다고 봤다. 특히 형상을 잘 본 것과 질감을 못 본 탓에 상대적으로 형상 비중이 높아진 경우를 같은 선호도로 묶는 점이 핵심 문제로 제시됐다. 이에 새 기준은 형상과 질감을 각각 얼마나 인식하는지 따로 점수화하고, 이미지 구성과 채점 방식도 다시 다듬어 두 정보의 활용 정도를 더 직접 보게 했다. 이렇게 다시 시험하자 성능이 좋은 모델은 한쪽만 따르기보다 형상과 질감을 함께 더 적극적으로 쓰는 경향이 드러났다. 연구팀은 그동안 개발 방향에 영향을 준 평가 잣대 자체를 손보지 않으면 모델 해석과 개선도 엇나갈 수 있다고 보고, 새 기준이 더 정확한 진단의 출발점이 될 수 있다고 설명했다.
관점
이번 연구의 의미는 더 좋은 모델을 만드는 경쟁이 이제 모델 구조나 학습량만이 아니라 무엇을 기준으로 잘한다고 판단하느냐의 문제로 옮겨가고 있음을 보여준다는 데 있다. 표준처럼 쓰이던 평가가 개발 방향까지 밀어왔던 만큼, 그 잣대의 허점을 바로잡으면 업계가 특정 성향을 과하게 좇는 흐름에서 벗어나 실제로 어떤 정보를 얼마나 활용하는지가 더 중요해질 수 있다. 결국 성능 해석과 모델 개선의 연결고리를 다시 세우는 작업이라는 점에서 영향이 작지 않다.
이 관점은 비즈크러시가 작성한 자체 의견이며, 인공지능신문의 보도 내용과 무관합니다.
이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.
출처 인공지능신문
원문 확인이 기사는 인공지능신문 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.