LGU+, 옵트에이아이와 ‘토큰 최적화’ 기술 공동 연구 추진

LG유플러스가 AI 운영 효율을 높이기 위해 AI 모델 최적화 전문기업인 옵트에이아이와 협력에 나섰다. LG유플러스·옵트에이아이는 AI 운영 효율 향상을 목적으로 토큰 최적화 기술 확보를 추진한다.

2일 양사는 토큰 최적화 기술 개발 협력을 추진한다고 발표했다. 사진 속 인물은 이상엽 LG유플러스 CTO(전무)와 이재호 옵트에이아이 대표다.

토큰은 AI의 질문 이해·답변 생성 과정에서 처리되는 데이터 기본 단위다. 토큰 최적화는 AI 모델 경량화 또는 연산 과정 효율화 기술이다. 토큰 최적화의 효과는 동일 자원으로 더 많은 요청을 처리할 수 있다는 점이다.

최근 AI 산업에서는 적은 자원으로 높은 성능을 구현하는 기술이 AI 서비스 경쟁력의 핵심 요소로 부상하고 있다. 이번 협력은 토큰 처리 효율을 높여 같은 자원에서 더 많은 요청을 감당하게 하는 기술 개발에 초점이 맞춰져 있다.

이번 협력에서는 LG유플러스가 실제 AI 서비스 운영 경험을 바탕으로 기술 검증·적용을 맡고, 옵트에이아이는 AI 모델 경량·고속 구동 기술의 연구·개발을 담당한다.

양사는 기존에도 온디바이스 AI 분야에서 협력을 지속해왔으며, LG유플러스의 '엑사원(EXAONE)' 기반 소형언어모델(sLM)에 경량화 기술을 적용했다. 이 기술은 모델의 연산량과 크기를 줄이기 위한 것으로, 적용 결과 스마트폰의 AI 전용 반도체인 신경망처리장치(NPU)에서 구동할 수 있게 됐고 성능은 기존 중앙처리장치(CPU) 방식과 동일 수준을 유지했다. 이와 함께 전력 소모는 78% 줄었고 모델 크기는 82% 감소했다.

양사는 이번 기술 교류를 계기로 공동 연구 범위를 서버 그래픽처리장치(GPU) 환경으로 확대한다. 대규모 AI 서비스를 운영할 때 같은 GPU 자원으로 더 많은 이용자의 요청을 처리할 수 있도록 AI 모델의 연산 과정을 효율화하는 기술을 중점적으로 연구할 계획이다.

LG유플러스는 진행 중인 GPU 기반 AI 모델 최적화 연구에서 초기 성과가 발생했다고 설명했다. LG유플러스와 상대 측은 AI 모델의 답변 생성 연산 과정을 실제 서비스 환경에 맞춰 개선했다고 공동 발표했으며, 그 결과 동일 GPU가 처리할 수 있는 토큰량이 기존 대비 최대 4배 확대됐다고 밝혔다.

LG유플러스는 이 과정에서 확보한 기술을 자사 AI 서비스에 단계적으로 적용할 계획이다. 아울러 확보한 기술을 대규모 AI 인프라 운영 환경에도 단계적으로 적용할 계획이다.

출처: 아이티데일리 (IT DAILY) · 성원영 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=241975

참고자료

• https://www.itdaily.kr/news/articleView.html?idxno=241975