AMD、以 PC NPU 擴展本機 AI 代理
AI TIMES ·
✦ AI 摘要
據 AI TIMES 報導,AMD 透過將其基於 XDNA 2 的 NPU 連接至 Asustor Desktop 系統,擴大了在 PC 內部、無需雲端即可執行 AI 代理推論的環境。AMD 於當地時間 11 月 19 日表示,這項整合可讓 100 個以上相容應用程式與工作流程連…
據 AI TIMES 報導,AMD 透過將其基於 XDNA 2 的 NPU 連接至 Asustor Desktop 系統,擴大了在 PC 內部、無需雲端即可執行 AI 代理推論的環境。AMD 於當地時間 11 月 19 日表示,這項整合可讓 100 個以上相容應用程式與工作流程連結到本機推論功能。關鍵在於將 AI 代理使用的語言模型運算,從 CPU 或 GPU 轉移到專用 NPU,以追求更好的電源效率與資源分配。為此,Asustor Desktop 負責外部工具與模型之間的介面,而推論請求則透過另一個元件在 NPU 上處理。開發者無需大幅修改既有的 API 基礎應用程式,就能存取本機推論功能,進一步擴大到程式設計協助與工作自動化工具等使用範圍。不過,文章指出這個數字指的是可連結的相容應用程式與工作流程數量,而非獨立執行模型數,實際體感效能與可運作範圍會因記憶體等使用環境而有所不同。
觀點
這件事的意義在於,PC 內的 AI 加速器正從展示性功能,走向具備通用介面的執行基礎。當推論處理逐漸在裝置端完成,AI 就能更少受連線狀態或成本負擔牽制,並更自然地嵌入日常工具,而 CPU、GPU、NPU 之間的分工也會更加清楚。最終,競爭焦點很可能會從是否單純搭載,轉向有多少工具能自然接上,以及能多深地融入實際工作流程。
此觀點為 BizCrush 自行撰寫之意見,與 AI TIMES 的報導內容無關。
本文由 BizCrush 在自動生成演算法的協助下撰寫。
來源 AI TIMES
查看原文本文由 BizCrush 根據 AI TIMES 原文摘要整理。準確引文與細節請參閱原文。