Telecom

LGU+ AI 編碼模型營運費減少90%…明年推進B2B事業化

IT DAILY ·

LGU+ AI 編碼模型營運費減少90%…明年推進B2B事業化
LG U+最高技術長(CTO・專務)李相燁於12日舉行的「AI Token最佳化讀書會」上發表AI營運成本節省技術與商業化計畫。 [圖片:LG U+]

✦ AI 摘要

LG Uplus表示,已以在實際服務營運中累積的AI模型營運技術,驗證出成本節省效果。

在編碼業務中,使用自家AI模型時營運費約低90%,而套用模型路由後,一般問題處理成本減少25%以上,編碼代理成本則減少30%以上。

LG Uplus計畫於2027年推進B2B AI成本最佳化事業,並將AI模型營運、推論與基礎設施最佳化技術整合,展開面向企業客戶的事業。

BizCrushWant to follow Korean talks and live streams in real time?Try CapCrush on the web

LG Uplus表示,已以在實際服務營運過程中累積的AI模型營運技術,驗證出成本節省效果。成本節省的依據,來自通話AI、AICC等實際服務中累積的模型營運技術。LG Uplus於15日表示,已公開AI模型營運費節省技術與事業化計畫。

LG Uplus CTO(專務)李相燁於12日面向記者的「AI Token 最佳化 Study」中,公布了AI營運費節省技術與事業化計畫。LG Uplus表示,自家驗證結果顯示,成本節省效果會依所適用的技術與業務類型而有所差異。

隨著依業務性質運用自有模型與套用模型路由,成本得以下降。在編碼業務中,若使用自家AI模型,營運費較一般使用模型約低90%。LG Uplus已取得一項案例,證明運用自家AI模型可將編碼業務營運費約減少90%。內部測試則套用了會選擇適合工作之AI模型的「模型路由」技術。結果,一般問題處理成本減少25%以上,編碼代理成本則減少30%以上。

LG Uplus據此計畫於2027年推進B2B AI成本最佳化事業。

公司在AI營運上,認為比起單一AI模型的使用費,更重要的是降低完成個別工作所需的總成本。公司也認為,若AI代理反覆進行不必要的搜尋與分析,即使使用便宜模型,總成本仍可能上升。因此,正在開發可依工作難度與特性配置不同模型,並減少重複搜尋與驗證的技術。

這種方式,是以營運AI通話代理 ixi-O、AICC,以及內部業務用AI服務的經驗為基礎形成。ixi-O推出初期,LG AI研究院的on-device模型與Google Gemini並行使用。之後則調整自家AI模型與EXAONE等的比重,並說明因此提升了服務品質與成本效率。

同時,公司也掌握了模型輕量化與推論效率提升技術。LG Uplus表示,已將自家on-device AI模型大小從2.4~3GB縮減至約800MB。另也表示,與對照的雲端模型相比,已達成95%以上的性能。

LG Uplus表示,為提升性能,已套用將回答生成與驗證分開的推論技術。這種方式是由小模型先生成初步回答,再由大模型進行驗證。LG Uplus結合模型營運、推論與基礎設施最佳化技術,並以此方式運用後,提出自家驗證結果指出,token 生成速度提升2倍以上,在相同基礎設施條件下,運算處理效率最高提升4倍。相關研究成果方面,共有2篇論文獲 NeurIPS 採納。

LG Uplus也正依工作性質組合運用AI半導體,並朝依工作特性區分的方向推動成本節省。對象半導體為 NVIDIA GPU、AMD GPU、FuriosaAI NPU。工作則分為需要大規模運算的工作與重視記憶體頻寬的工作,構想是將處理分散到各自適合的半導體,以降低基礎設施成本。與此相關,正進行FuriosaAI NPU的驗證,且已與FuriosaAI合作超過2年。

LG Uplus計畫將這些最佳化技術整合,並自2027年起推進面向企業客戶的AI成本最佳化事業。事業方式方面,將採用與合作夥伴的聯盟型模型運用方式,以及建置自有基礎設施的方式。

LG Uplus最高技術責任者(CTO)李相燁表示,AI市場主導基準正在改變,建構更大型模型的競爭正在減弱,未來的優勢將取決於能多精準且經濟地達成客戶想要的商業成果。

來源: IT DAILY · Kim Byeong-ju 原文: https://www.itdaily.kr/news/articleView.html?idxno=242924

參考資料

本文由 BizCrush 在自動生成演算法的協助下撰寫。


本文由 BizCrush 根據 IT DAILY 原文摘要整理。準確引文與細節請參閱原文。

Keep reading

BizCrush
BizCrush showing live captions over an online meeting

BizCrush app

Live captions and summaries for meetings and calls

BizCrush Inc. · 執行長 Taemin Kwak

總部 100 Middlefield Rd, Menlo Park, CA 94025, USA

韓國辦公室 韓國首爾特別市江南區永東大路 602 號 6 樓 602 室內 Z112

客服 help@bizcrush.ai · 合作洽詢 business@bizcrush.ai

AI 聲明

部分功能使用生成式 AI。

這些功能在使用前皆會另行告知,並標示 AI 生成的結果。AI 產出內容僅供參考——做出重要決定前,請務必確認原始出處並諮詢專業人士。