파일러, NeurIPS 2026에 AI 논문 2편 채택…음성 이해·학습 안정성 개선

파일러는 21일 자사 AI팀의 논문 2편이 'NeurIPS 2026'에 채택됐다고 발표했다. 연구 공개 내용은 비언어적 음성 정보 분석과 오류 포함 데이터 환경에서의 AI 학습 안정성 향상이다.

채택된 논문 2편은 'CoAT(Continuous Audio Thinking)'와 'GAPO(Geometric Anchor Preference Optimization)'다. 발표는 12월 10일 호주 시드니에서 진행된다.

이 가운데 CoAT는 발화 내용 외에도 목소리 떨림·감정·억양 등 비언어적 정보까지 음성 분석 추론에 활용하는 기술이다. 같은 문장도 말투·억양에 따라 전달되는 감정이 달라질 수 있다는 점에 주목한 연구다.

파일러는 기존 텍스트 중심 추론 방식이 해당 음성 정보를 충분히 반영하는 데 한계가 있어 CoAT 연구를 시작했다고 밝혔다. 함께 채택된 GAPO는 오류가 섞인 데이터 환경에서도 AI 학습 안정성을 높이는 방향의 성과로 제시됐다.

파일러는 AI가 내부 음성 정보를 직접 처리할 수 있도록 별도 표현 공간을 마련하는 방식으로 설계됐다. 파일러는 음성 정보를 텍스트로 길게 풀어내지 않고, 음향 복원·음성 내용·소리 종류·감정·음높이 등 5개 영역의 전문 모델을 활용하는 학습 구조로 구성됐다. 또 소리 분석 과정에서 별도 장문 생성을 생략하고 내부 처리하도록 해 추가 텍스트 생성에 따른 시간 부담을 줄이도록 했다.

CoAT는 큐원2-오디오·큐원2.5-옴니·오디오 플라밍고 3 등 음성 AI 모델 3종에 적용됐다. 그 결과 42개 성능 지표 중 38개가 개선됐다. IEMOCAP 평가에서는 큐원2.5-옴니의 정확도가 약 55%에서 약 79%로 상승했다.

GAPO는 사람이 선호하는 답변을 학습하는 과정에서 오류·불확실성이 포함된 데이터의 영향을 축소하는 기술이다. 이 기술은 선호 데이터에 잘못된 평가가 섞였을 때 AI가 답변 내용보다 길이 같은 부수 특징을 기준으로 잘못 학습할 가능성을 줄이기 위한 목적을 갖는다.

파일러는 학습 중 모델에 소규모 변형을 적용한 비교 모델을 생성하는 방식이다. 이때 두 모델의 평가 차이인 '앵커 갭'을 측정 지표로 삼아 데이터별 민감도를 파악한다. 앵커 갭이 큰 데이터에는 낮은 가중치를 부여해 상대적으로 안정적 데이터 중심의 학습을 설계한다.

GAPO는 AI 모델 4종을 대상으로 검증됐으며, 검증에는 미스트랄, 라마-3, 젬마-2가 포함됐다. 평가는 AlpacaEval 2.0, Arena-Hard에서 이뤄졌고, AI 답변 품질과 사용자 선호도 반영 수준을 평가 항목으로 삼았다. 비교 대상은 DPO, SimPO를 포함한 기존 학습 기법 8종이었으며, 회사 측은 GAPO가 전반적 성능 우위를 보였다고 설명했다.

일부 실험에서는 사용자 선호 맞춤형 답변이 개선됐고, GSM8k 성능은 유지 또는 향상됐으며, ARC-C 성능도 유지 또는 향상됐다. 또 학습 데이터 20% 의도적 오표기 조건에서도 기존 강건성 특화 기법 대비 더 안정적 성능을 보였다.

파일러는 두 연구 성과를 자사 동영상 이해 AI 기술에 활용할 계획이다. 적용 대상은 브랜드 세이프티·콘텐츠 검수 과정이다. 분석 범위는 화면·인물의 목소리·주변 소리·발화 맥락이다. 적용 목적은 학습 데이터 오류에 따른 모델 성능 저하를 줄이는 데 있다.

김종석 파일러 AI 헤드는 이번 연구의 의미에 대해 사람이 청각으로는 구분하지만 글로 설명하기 어려운 미묘한 정보까지 AI가 이해할 수 있도록 했다는 점에 있다고 밝혔다. 그는 영상 안전성 판단에서는 화면 외 목소리의 어조·배경음도 중요하다고 설명했다. 또 관련 기술을 지속적으로 고도화할 계획이라고 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=408541

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=408541