카카오, ‘COLM 2026’서 AI 모델 학습 최적화·경량화 연구 공개

카카오는 8일 언어모델링 국제학회 'COLM 2026'에서 연구 성과를 공개한다고 발표했다. 공개 주제는 LLM 학습 비용 절감과 모델 크기 축소다. 발표는 메인 콘퍼런스와 토크나이제이션 워크숍 'TokShop' 등 2곳의 세션에서 진행된다.

메인 콘퍼런스에서는 전문가 혼합(MoE) 모델의 학습 효율을 향상하는 방법을 발표한다. 이 발표에서는 대규모 MoE 모델의 최적 학습률을 예측하는 방법론을 소개한다. 예측 비용 규모는 전체 학습 비용의 약 1% 수준이다.

학습률은 학습 중 매개변수의 조정 크기를 결정하는 값이다. 학습률은 학습 안정성과 성능에 영향을 준다. 카카오는 '뮤-매개변수화' 기법을 MoE 구조에 적용해 소규모 모델에서 찾은 학습 설정을 대규모 모델로 확장하는 방식을 제시했다. 또 모델 크기와 학습 토큰량을 단계적으로 확대하는 방식으로 최적 학습률을 탐색했다. 아울러 짧은 학습 구간에서 얻은 설정이 대규모 학습에도 유효한지를 검증했다.

'TokShop'에서는 바이트 기반 모델 경량화 기술을 발표한다.

카카오는 해당 방법론을 카카오 '카나나(Kanana)-2.6-155b-a17b' 사전학습에 적용했다고 밝혔다. 카카오는 적용 결과 10조 토큰 규모 학습을 안정적으로 진행했다고 설명했다.

이어 TokShop에서는 'BBT(BPE-Guided Byte Transformer)' 구조를 공개했다. BBT는 모델 크기 축소와 성능 향상을 목표로 한다. 기존 BPE 기반 모델이 단어·단어 조각 단위 정보를 저장하는 것과 달리, BBT는 바이트 단위를 활용하면서도 여러 문자 묶음 처리 방식은 유지한다.

카카오는 비교 실험에서 BBT 적용 시 파라미터 수가 20.2~40.4% 감소했고 테스트 성능은 2.7~6.6% 개선됐다고 발표했다. 또한 BBT는 오탈자·문자 교란 대응력을 높이고, 학습하지 않은 언어로의 전이 성능도 향상시키는 것으로 제시됐다.

카카오는 해당 기술이 온디바이스 환경의 메모리 사용량 절감에 도움을 줄 것으로 전망했다. 아울러 다국어 입력·오탈자가 많은 환경에서 모델 활용성 제고에도 도움이 될 것으로 내다봤다. 카카오는 연구 범위를 다양한 모델 구조와 멀티모달·다국어 환경으로 확대할 계획이다.

카카오 관계자는 이번 연구가 AI 모델 성능 유지·향상과 학습·운영 비용 절감 방법을 제시한 것이라고 설명했다. 이어 다양한 모델 구조로 연구를 확대하고 멀티모달 환경과 다국어 환경으로도 연구를 넓혀 실제 서비스 적용 가능성을 제고하겠다는 향후 계획을 밝혔다.

출처: 테크월드뉴스 · 김승기 기자
원문: https://www.epnc.co.kr/news/articleView.html?idxno=407957

참고자료

• https://www.epnc.co.kr/news/articleView.html?idxno=407957