Intel 開源自家 NPU 加速函式庫 提供開發者對程式進行最佳化 提供更多 AI 應用

Intel 開源自家 NPU 加速函式庫 提供開發者對程式進行最佳化 提供更多 AI 應用

在去年 Intel 公布新一代具備 NPU 設計的 Meteor Lake 處理器後,其對 AI 加速的功能也讓 Intel 在行銷面上打出了『AI PC』的口號,不過 AI 除了硬體之外,是否有一般使用者可運用的軟體,才更是 AI PC 的普及關鍵。而為了讓軟體開發者有更多誘因推出支援 Meteor Lake NPU 架構的 AI 應用,Intel 在稍早宣布將其 NPU 加速函式庫(Acceleration Library)在 Github 上開源,讓開發者更容易取得進而運用。


Intel 開源自家 NPU 加速函式庫 提供開發者對程式進行最佳化 提供更多 AI 應用
Intel 將其 NPU 加速函式庫開源並且公布在 Github 上。

目前這個加速函式庫是基於 Python 語言,並且如 TensorFlow 或是 PyTorch 般提供容易開發的 Framework 框架以及高階使用介面,讓程式開發人員在將其運用到 AI 相關程式時更有效率。另外 Intel 也在 Github 表示未來這個函式庫也將持續擴充功能,將會支援包括 Float16、8-bit Quantization、LLM MLP horizontal fusion implementation、Torch Compile 等功能,Intel 也在 Github 上提供了簡單的套用範例,可以運來運作如 Tiny-llama 等小型化的大型語言模型。

Intel 開源自家 NPU 加速函式庫 提供開發者對程式進行最佳化 提供更多 AI 應用
目前 Intel NPU 加速函式庫預計加入的支援項目。

Intel NPU 加速函式庫的 Github 開源連結在此:

https://github.com/intel/intel-npu-acceleration-library
應用前景應該不錯~

從影像辨識開始,提升影像辨識的準確率和效率。 到自然語言處理,語音助理、聊天機器人等領域,提升自然語言處理的準確率和流暢度。希望可以讓 AI PC更普及,甚至行動裝置 AI~
AI應用越來越廣了~
等著看吧
看AI會把我們帶往何處
你好:目前AI將電腦操作即將脫離一個口令一個動作的傳統約束,以後人類只要在高層次上告訴機器意圖,電腦自動推論即可完成一些列操作。

比如早期打電動要一個一個按,以後只要下達命令,機器自動幫你獲勝,可以說是從小兵升級成5星上將,指揮全局任務即可。
FireMars
那有什麼意義?跟玩放置遊戲不是一樣?不如看直播算了[笑到噴淚]
以後操作電腦都是用口令,不必再用手輸入指令。

Linux這方面不知道能不能趕上來,Windows 12搞不好就會這樣了。
這麼說來我也買過一支INTEL的NPU Movidius Neural Compute Stick
直接拿 NVIDIA 顯卡應該還是比較快? XD
不過,就不知道 Intel 的 NPU 以後使用的彈性有多大了?
科技始終來自人性
人性始終懶惰
AI便是輔助人性的懶惰
看好AI的發展
KHeresy wrote:
直接拿 NVIDIA...(恕刪)


當然!nVidia的CUDA目前所有的AI 運算都支持,直接拿來使用時最方便的。
Meteor Lake的NPU目前算力不足以應付傳說中的下一代Windows的要求。除非微軟降低規格,否則應該是過度產品。
關閉廣告
文章分享
評分
評分
複製連結

今日熱門文章 網友點擊推薦!