통신

LGU+, AI 코딩 모델 운영비 90% 절감…내년 B2B 사업화

아이티데일리 (IT DAILY) ·

LGU+, AI 코딩 모델 운영비 90% 절감…내년 B2B 사업화
이상엽 LG유플러스 최고기술책임자(CTO·전무)가 12일 열린 ‘AI 토큰 최적화 스터디’에서 AI 운영비 절감 기술과 사업화 계획을 발표하고 있다. (사진: LG유플러스)

✦ AI 요약

LG유플러스는 실제 서비스 운영에서 축적한 AI 모델 운영 기술로 비용 절감 효과를 검증했다고 밝혔다.

코딩 업무에서는 자체 AI 모델 사용 시 운영비가 약 90% 낮았고, 모델 라우팅 적용으로 일반 질문 처리 비용은 25% 이상, 코딩 에이전트 비용은 30% 이상 감소했다.

LG유플러스는 2027년 B2B AI 비용 최적화 사업을 추진하고, AI 모델 운영·추론·인프라 최적화 기술을 묶어 기업 고객 대상 사업을 전개할 계획이다.

LG유플러스는 실제 서비스 운영 과정에서 축적한 AI 모델 운영 기술을 바탕으로 비용 절감 효과를 검증했다. 비용 절감의 근거는 통화 AI·AICC 등 실제 서비스에서 축적한 모델 운영 기술이었다. LG유플러스는 15일 AI 모델 운영비 절감 기술·사업화 계획 공개 사실을 발표했다.

이상엽 LG유플러스 CTO(전무)는 12일 기자 대상 'AI 토큰 최적화 스터디'에서 AI 운영비 절감 기술·사업화 계획을 발표했다. LG유플러스는 자체 검증 결과 비용 절감 효과가 적용 기술·업무 유형별로 차이가 있었다고 밝혔다.

업무 성격에 맞는 자체 모델 활용과 모델 라우팅 적용에 따라 비용이 낮아졌다. 코딩 업무에서 자체 AI 모델을 사용할 경우 통상적 사용 모델 대비 운영비가 약 90% 낮았다. LG유플러스는 자체 AI 모델을 활용한 코딩 업무 운영비를 약 90% 절감한 사례를 확보했다. 내부 시험에서는 작업에 적합한 AI 모델을 선택하는 '모델 라우팅' 기술을 적용했다. 그 결과 일반 질문 처리 비용은 25% 이상 감소했고, 코딩 에이전트 비용은 30% 이상 감소했다.

LG유플러스는 이를 토대로 2027년 B2B AI 비용 최적화 사업을 추진할 계획이다.

회사는 AI 운영에서 개별 AI 모델 사용료보다 업무 완료에 들어가는 총비용 절감을 더 중요하게 보고 있다. AI 에이전트가 불필요한 검색과 분석을 반복하면 저렴한 모델을 사용해도 총비용이 증가할 수 있다고 보고 있다. 이에 따라 작업의 난도와 특성별로 상이한 모델을 배치하고, 중복 검색과 검증을 줄이는 기술을 개발하고 있다.

이 같은 방식은 AI 통화 에이전트 익시오(ixi-O)와 AICC, 사내 업무용 AI 서비스를 운영한 경험을 바탕으로 형성됐다. 익시오 출시 초기에는 LG AI연구원 온디바이스 모델과 구글 제미나이를 병행 활용했다. 이후에는 자체 AI 모델과 엑사원(EXAONE) 등의 비중을 조정했고, 그 결과 서비스 품질과 비용 효율이 개선됐다고 설명했다.

동시에 회사는 모델 경량화와 추론 효율 향상 기술도 확보했다. LG유플러스는 자체 온디바이스 AI 모델 크기를 2.4~3GB에서 약 800MB로 축소했다고 발표했다. 또 비교 대상 클라우드 모델 대비 95% 이상 성능을 확보했다고 밝혔다.

LG유플러스는 성능 향상을 위해 답변 생성과 검증을 나누는 추론 기술을 적용했다고 밝혔다. 이 방식은 작은 모델이 선답변을 생성하고 큰 모델이 이를 검증하는 구조다. LG유플러스는 모델 운영·추론·인프라 최적화 기술을 결합해 이 기술을 활용한 결과, 토큰 생성 속도가 2배 이상 향상됐고 동일 인프라 기준 연산 처리 효율이 최대 4배 향상됐다는 자체 검증 결과를 제시했다. 관련 연구 성과로는 '뉴립스(NeurIPS)' 논문 2편이 채택됐다.

LG유플러스는 또 작업 성격에 따라 AI 반도체를 조합 운용하고 작업 특성별로 구분하는 방향으로 비용 절감을 추진하고 있다. 대상 반도체는 엔비디아 GPU, AMD GPU, 퓨리오사AI NPU다. 작업은 대규모 연산 필요 작업과 메모리 대역폭 중요 작업으로 나누며, 작업별 적합 반도체에 분산 처리해 인프라 비용을 절감하는 구상이다. 이와 관련해 퓨리오사AI NPU 검증을 진행하고 있으며, 퓨리오사AI와는 2년 이상 협력해 왔다.

LG유플러스는 이런 최적화 기술을 묶어 2027년부터 기업 고객 대상 AI 비용 최적화 사업을 추진할 계획이다. 사업 방식으로는 협력사 제휴형 모델 활용과 자체 인프라 구축 방식을 활용할 방침이다.

이상엽 LG유플러스 최고기술책임자(CTO)는 AI 시장 주도 기준이 변화하고 있다며, 더 큰 모델 구축 경쟁은 약화되고 앞으로의 우위는 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 달성하느냐에 달려 있다고 설명했다.

출처: 아이티데일리 (IT DAILY) · 김병주 기자
원문: https://www.itdaily.kr/news/articleView.html?idxno=242924

참고자료

이 기사는 자동생성 알고리즘의 도움을 받아 작성되었습니다.


출처 아이티데일리 (IT DAILY)

원문 확인

이 기사는 아이티데일리 (IT DAILY) 원문을 바탕으로 비즈크러시가 요약 정리했습니다. 정확한 인용과 세부 내용은 원문을 확인해 주세요.

이어서 보기

BizCrush
온라인 회의 화면에 실시간 자막을 띄운 BizCrush

BizCrush 앱

회의·통화 실시간 자막과 요약

주식회사 비즈크러시 · 대표 곽태민 · 사업자등록번호 691-86-03729

서울특별시 강남구 영동대로 602, 6층 602호 내 Z112 (삼성동, 삼성동 미켈란 107)

고객문의 help@bizcrush.ai · 사업 제휴 문의 business@bizcrush.ai

AI 안내

일부 서비스는 생성형 AI를 활용합니다.

해당 기능에는 이용 전 안내와 AI 생성 결과 표시를 별도로 제공합니다. AI 결과는 참고용이며, 중요한 결정 전에는 반드시 원문 확인과 전문가 검토가 필요합니다.