AI

SKT、GPU·NPU 結合型推論基礎設施啟動驗證

AI TIMES ·

SKT、GPU·NPU 結合型推論基礎設施啟動驗證
[圖片:SKT](由左起)樸成賢 Rebellions 代表、鄭錫根 SKT CTO兼AI CIC負責人、Ashish Karandikar NVIDIA NVLink Fusion部門副總裁

✦ AI 摘要

據 AI TIMES 報導,SKT 於 11 月 9 日與 Nvidia、Rebellions 一起,啟動結合 GPU 與國產 NPU 的韓國型主權 AI 推論基礎設施共同開發與驗證。核心在於,透過在實際資料中心測試由 Nvidia GPU 負責 prefill、Rebellio…

BizCrushWant to follow Korean talks and live streams in real time?Try CapCrush on the web

據 AI TIMES 報導,SKT 於 11 月 9 日與 Nvidia、Rebellions 一起,啟動結合 GPU 與國產 NPU 的韓國型主權 AI 推論基礎設施共同開發與驗證。核心在於,透過在實際資料中心測試由 Nvidia GPU 負責 prefill、Rebellions NPU 負責 decode 的分離式推論架構,確認是否能提升效能與電力效率。SKT 將以自身 AI 資料中心的營運經驗為基礎,檢視整合系統的穩定性與適用性,並推動將其串接至自有 AI 模型與面向全民的 AI 服務。這次合作也是試圖將國產 AI 半導體連結到全球 AI 運算生態系,進一步擴大其應用範圍。文中指出,比起技術連結本身,未來競爭力的變數更在於實際服務環境中能否順利分擔運算,並帶來營運效率改善。文中也關注這可能成為打造可供公部門與民間使用的韓國型 AI 基礎設施案例的試驗場。

觀點

這項議題的意義不只是單純宣布合作,而在於評估是否能以不同組合來解決推論基礎設施的瓶頸與成本問題。尤其若能跳脫過度依賴特定半導體的架構,改以分階段分工的方式順利運作,主權 AI 的討論就有機會從口號轉為可實際運行的體系。最終,市場關注的重點很可能不在於結合本身,而在於它能否在服務現場穩定運作,並證明效率。

此觀點為 BizCrush 自行撰寫之意見,與 AI TIMES 的報導內容無關。

本文由 BizCrush 在自動生成演算法的協助下撰寫。


本文由 BizCrush 根據 AI TIMES 原文摘要整理。準確引文與細節請參閱原文。

Keep reading

BizCrush
BizCrush showing live captions over an online meeting

BizCrush app

Live captions and summaries for meetings and calls

BizCrush Inc. · 執行長 Taemin Kwak

總部 100 Middlefield Rd, Menlo Park, CA 94025, USA

韓國辦公室 韓國首爾特別市江南區永東大路 602 號 6 樓 602 室內 Z112

客服 help@bizcrush.ai · 合作洽詢 business@bizcrush.ai

AI 聲明

部分功能使用生成式 AI。

這些功能在使用前皆會另行告知,並標示 AI 生成的結果。AI 產出內容僅供參考——做出重要決定前,請務必確認原始出處並諮詢專業人士。