「閒置 GPU 也要用起來」…公開打通 AIDC 瓶頸的「OpenK-Cloud」

韓國電子通信研究院（ETRI）公開了用於解決 AIDC 瓶頸的「OpenK-Cloud」。ETRI 公開了可在單一雲端環境中高效率整合異質 AI 半導體、並支援不中斷服務的平台技術，並於 10 日在韓國科學技術會館舉辦了「openKcloud DevDay 2026」。「OpenK-Cloud」在本文中以英文字母原樣保留。

當天的主題演講由 ETRI 技術總監崔賢華主持。崔賢華技術總監指出 AIDC 的結構性限制，並提出為克服這些限制而開發的「OpenKcloud」之開發現況、主要成果與藍圖。

崔賢華技術總監說明，近來 AI 基礎設施的核心課題，在於取得加速器之後，如何將異質晶片在單一雲端中進行整合管理，以及與服務連動運作的能力日益重要。他並表示，為支援企業環境中順暢的實際服務運作，雲端平台技術是不可或缺的。

照片為崔賢華 ETRI 技術總監在活動上發表演說的畫面，由權英碩記者拍攝。崔賢華技術總監指出，AIDC 基礎設施營運最大的盲點是資源效率低落。在加速器持續短缺的情況下，他說資料中心 GPU 配置率約為 75%，但 GPU 實際運作率仍停留在 50%至 60% 的水準。

崔賢華技術總監表示，AIDC 營運中即使資源已充分部署、實際使用率仍偏低，原因在於 AI 服務架構的變化。隨著 AI 服務朝向 agent 型態演進，他說除了模型服務外，對前處理邏輯的處理需求也在擴大。因此，他指出 CPU 瓶頸與排程限制正成為資源浪費的主要原因。

他表示，每 1 個加速器至少需要 8~11 個 CPU 核心。此外，他說即使伺服器內有剩餘 GPU 資源，若缺乏足夠對應的 CPU，就會發生 GPU 孤立。也就是說，隨著 GPU 與 CPU 的配對被打破，即使還有閒置資源，也難以在實際服務中運用。

此外，他說在高密度 GPU 結構中，會以每台伺服器 8 張 GPU 的方式綁定運作。不過，由於有些服務配置單位是 4 張或 6 張 GPU，因此在配置 4 張、6 張之後，剩下的 1~2 張 GPU 很難有效拆分利用。他說，這種以伺服器為單位的 GPU 綁定結構，是限制剩餘 GPU 運用的因素。

崔賢華技術總監也說，將剩餘 GPU 與其他伺服器資源組合後再分割利用，也有其限制。他表示，因為每經過 1 次網路交換器，延遲約會增加 20%。他說，GPU 分割利用的困難，以及網路延遲的物理極限，都是妨礙資源運用的因素。

全球大型科技企業 Google、AWS、Microsoft 正推動轉向 agentic enterprise。這些企業為了消除基礎設施失衡，也同步推進 Kubernetes orchestration 結合與自家晶片導入。

ETRI 以解決同樣課題為目標，開發了基於 Kubernetes 的平台「OpenK-Cloud」。ETRI 並一併公開了實證資料。

「OpenK-Cloud」可自動偵測安裝於實體伺服器上的加速器。自動偵測對象包括 FuriosaAI、Rebellions、Tenstorrent 等加速器。此外，「OpenK-Cloud」也能無人化佈建專用驅動程式與 SDK。

「OpenK-Cloud」的核心技術是「無中斷滾動更新」。這項技術以不中斷服務、依序套用的方式運作。在升級晶片驅動程式時，會先將執行中的工作自動移轉到其他伺服器（node），再安全清空該伺服器，之後重新開機並復原。ETRI 表示，藉此已實現服務不中斷的驅動程式升級管理體系。

運算分離技術則是在本地伺服器 AI 加速資源不足時，能將工作移轉至遠端伺服器加速器而設計，且不需要開發者直接修改程式碼。這項技術著重於即時分析網路回應速度與快取狀態，選擇最佳伺服器，以限制效能下降。實際對 Rebellions 的「AtomPlus」與 Tenstorrent 的「P150」進行測試後，網路延遲增加幅度被抑制在約 10%，從而證明遠端分散式加速的實效性。

崔總監表示，至今主要都集中在各項功能的實證（PoC）。他接著說，從明年起將著重推進 LLM 服務與 operator 營運整體的最佳化技術強化，並計畫跨越單純 benchmark 階段。此外，他也表示，將把國產 NPU 投入 MRI 基礎疾病預測等高難度醫療、生技實際推論服務，並推動取得商用 reference。

來源: IT DAILY · Kwon Young-seok 原文: https://www.itdaily.kr/news/articleView.html?idxno=242814

參考資料

• https://www.itdaily.kr/news/articleView.html?idxno=242814