在去年 Intel 公布新一代具備 NPU 設計的 Meteor Lake 處理器後,其對 AI 加速的功能也讓 Intel 在行銷面上打出了『AI PC』的口號,不過 AI 除了硬體之外,是否有一般使用者可運用的軟體,才更是 AI PC 的普及關鍵。而為了讓軟體開發者有更多誘因推出支援 Meteor Lake NPU 架構的 AI 應用,Intel 在稍早宣布將其 NPU 加速函式庫(Acceleration Library)在 Github 上開源,讓開發者更容易取得進而運用。
Intel 將其 NPU 加速函式庫開源並且公布在 Github 上。
目前這個加速函式庫是基於 Python 語言,並且如 TensorFlow 或是 PyTorch 般提供容易開發的 Framework 框架以及高階使用介面,讓程式開發人員在將其運用到 AI 相關程式時更有效率。另外 Intel 也在 Github 表示未來這個函式庫也將持續擴充功能,將會支援包括 Float16、8-bit Quantization、LLM MLP horizontal fusion implementation、Torch Compile 等功能,Intel 也在 Github 上提供了簡單的套用範例,可以運來運作如 Tiny-llama 等小型化的大型語言模型。
目前 Intel NPU 加速函式庫預計加入的支援項目。
Intel NPU 加速函式庫的 Github 開源連結在此:
https://github.com/intel/intel-npu-acceleration-library