LGU+ AI 編碼模型營運費減少90%…明年推進B2B事業化
IT DAILY ·
✦ AI 摘要
LG Uplus表示,已以在實際服務營運中累積的AI模型營運技術,驗證出成本節省效果。
在編碼業務中,使用自家AI模型時營運費約低90%,而套用模型路由後,一般問題處理成本減少25%以上,編碼代理成本則減少30%以上。
LG Uplus計畫於2027年推進B2B AI成本最佳化事業,並將AI模型營運、推論與基礎設施最佳化技術整合,展開面向企業客戶的事業。
BizCrushWant to follow Korean talks and live streams in real time?Try CapCrush on the web
LG Uplus表示,已以在實際服務營運過程中累積的AI模型營運技術,驗證出成本節省效果。成本節省的依據,來自通話AI、AICC等實際服務中累積的模型營運技術。LG Uplus於15日表示,已公開AI模型營運費節省技術與事業化計畫。
LG Uplus CTO(專務)李相燁於12日面向記者的「AI Token 最佳化 Study」中,公布了AI營運費節省技術與事業化計畫。LG Uplus表示,自家驗證結果顯示,成本節省效果會依所適用的技術與業務類型而有所差異。
隨著依業務性質運用自有模型與套用模型路由,成本得以下降。在編碼業務中,若使用自家AI模型,營運費較一般使用模型約低90%。LG Uplus已取得一項案例,證明運用自家AI模型可將編碼業務營運費約減少90%。內部測試則套用了會選擇適合工作之AI模型的「模型路由」技術。結果,一般問題處理成本減少25%以上,編碼代理成本則減少30%以上。
LG Uplus據此計畫於2027年推進B2B AI成本最佳化事業。
公司在AI營運上,認為比起單一AI模型的使用費,更重要的是降低完成個別工作所需的總成本。公司也認為,若AI代理反覆進行不必要的搜尋與分析,即使使用便宜模型,總成本仍可能上升。因此,正在開發可依工作難度與特性配置不同模型,並減少重複搜尋與驗證的技術。
這種方式,是以營運AI通話代理 ixi-O、AICC,以及內部業務用AI服務的經驗為基礎形成。ixi-O推出初期,LG AI研究院的on-device模型與Google Gemini並行使用。之後則調整自家AI模型與EXAONE等的比重,並說明因此提升了服務品質與成本效率。
同時,公司也掌握了模型輕量化與推論效率提升技術。LG Uplus表示,已將自家on-device AI模型大小從2.4~3GB縮減至約800MB。另也表示,與對照的雲端模型相比,已達成95%以上的性能。
LG Uplus表示,為提升性能,已套用將回答生成與驗證分開的推論技術。這種方式是由小模型先生成初步回答,再由大模型進行驗證。LG Uplus結合模型營運、推論與基礎設施最佳化技術,並以此方式運用後,提出自家驗證結果指出,token 生成速度提升2倍以上,在相同基礎設施條件下,運算處理效率最高提升4倍。相關研究成果方面,共有2篇論文獲 NeurIPS 採納。
LG Uplus也正依工作性質組合運用AI半導體,並朝依工作特性區分的方向推動成本節省。對象半導體為 NVIDIA GPU、AMD GPU、FuriosaAI NPU。工作則分為需要大規模運算的工作與重視記憶體頻寬的工作,構想是將處理分散到各自適合的半導體,以降低基礎設施成本。與此相關,正進行FuriosaAI NPU的驗證,且已與FuriosaAI合作超過2年。
LG Uplus計畫將這些最佳化技術整合,並自2027年起推進面向企業客戶的AI成本最佳化事業。事業方式方面,將採用與合作夥伴的聯盟型模型運用方式,以及建置自有基礎設施的方式。
LG Uplus最高技術責任者(CTO)李相燁表示,AI市場主導基準正在改變,建構更大型模型的競爭正在減弱,未來的優勢將取決於能多精準且經濟地達成客戶想要的商業成果。
來源: IT DAILY · Kim Byeong-ju 原文: https://www.itdaily.kr/news/articleView.html?idxno=242924
參考資料
本文由 BizCrush 在自動生成演算法的協助下撰寫。
來源 IT DAILY
查看原文本文由 BizCrush 根據 IT DAILY 原文摘要整理。準確引文與細節請參閱原文。
