EdgeFirst Perception Index：首個全流程 AI 視覺基準測試發布

Au-Zone Technologies 近日宣布推出 EdgeFirst Perception Index（EFPI），這是一項季度性基準測試，旨在衡量完整的 AI 視覺處理流程——從圖像采集到檢測輸出的每個階段——覆蓋開發者日常使用和實際部署的各類硬件平臺。

與僅關注推理性能的基準測試或廠商自定義的 TOPS 評分不同，EFPI 在所有目標平臺上采用統一的 EdgeFirst Profiler 工具、框架和測試方法，為每項配置發布詳細的性能分析報告，內容涵蓋完整的驗證精度評分、各階段延遲細分、內存與功耗測量，并最終歸納為兩項核心指標：核心吞吐量（去除主機開銷后的加速器峰值性能）和實際吞吐量（已部署流程端到端的真實幀率）。所有測試結果均鏈接至公開的 EdgeFirst Studio 會話，任何人均可免費查看和評估。

YOLO26：首次獨立邊緣端驗證

EFPI 第二季度版本是首個在邊緣 AI 硬件上對 YOLO26 這一最新 YOLO 架構進行獨立驗證的基準測試，測試對象涵蓋獨立 NPU 和集成 SoC 加速器。四個 YOLO 系列（YOLOv5、YOLOv8、YOLO11 和 YOLO26）均在 nano、small 和 medium 模型規格下完成驗證，共產生 330 余份公開的 EdgeFirst Studio 會話記錄。在 NVIDIA Jetson Orin Nano 上，YOLO26n 檢測任務通過 TensorRT 實現了 251 FPS 的實際吞吐量，與同一硬件上的 YOLOv8n 相差不超過 4%，證明新架構在邊緣端幾乎不存在吞吐量損耗。

全平臺橫向測評

在基于 YOLOv8n 檢測任務的全平臺橫向測評中，Apple M2 Max 通過 CoreML 以 791 FPS 的實際吞吐量位居榜首；搭載 NVIDIA RTX 4060 GPU 的 x86_64 桌面平臺通過 CUDA 實現 351 FPS；NVIDIA Jetson Orin Nano Super 通過 TensorRT 達到 260 FPS；四個 YOLO 系列在所有平臺上的精度均與 FP32 參考值保持一致。

嵌入式層級覆蓋多款離散與集成 NPU 平臺，從低于 7 瓦功耗的邊緣加速器到量產 SoC 模塊，可下載報告中包含各階段延遲瀑布圖、各精度級別的精度對比以及能效對比表。

主機端流程開銷是關鍵瓶頸

預處理、內存拷貝和后處理往往在實際吞吐量中占據主導地位。開源的 EdgeFirst SDK 有效消除了這一瓶頸。在 Apple M2 Max 上，該 SDK 通過 CoreML 實現檢測性能 12.8 倍的提升；Jetson Orin Nano 通過 TensorRT 實現 6.8 倍提升；嵌入式 NPU 平臺在 YOLOv8n 檢測任務上實現 2 至 12 倍不等的提升——均在相同硬件和相同模型條件下取得。分割任務的提升幅度更為顯著，在同一芯片上最高可達 23 倍。

每瓦性能表現

從每瓦幀率的維度來看，EFPI 中的邊緣 NPU 平臺相較桌面 GPU 具有數量級級別的能效優勢，測試基于相同模型和相同 COCO 驗證集。NVIDIA RTX 4060 在 115 瓦 TDP 下實現 351 FPS，約合 3 FPS/W；而低于 7 瓦功耗的邊緣加速器在同一模型上仍可維持實時吞吐量，功耗僅為前者的一小部分。各平臺詳細的每瓦性能數據（含遙測信息）可在可下載報告中查閱。

INT8 精度恢復

邊緣 NPU 平臺運行全整數 INT8 計算，量化損耗客觀存在，檢測精度通常下降三至五個百分點。Au-Zone 的 Smart Quantizer 通過圖分割技術解決了這一問題——為每個輸出頭分配獨立的校準范圍，無需重新訓練模型。在 EFPI 覆蓋的嵌入式 NPU 平臺上，Smart Quantizer 可將 INT8 模型的檢測精度恢復至與 FP32 參考值相差兩個百分點以內，并在分割任務上恢復高達 24 個百分點的掩碼精度，將原本無法實際部署的默認導出模型轉化為可用的生產級模型。

EFPI 為季度性報告。第二季度版本涵蓋四個 YOLO 系列的目標檢測與實例分割任務；后續版本將擴展至姿態估計和旋轉邊界框任務，并超越驗證性分析，對包含相機、視頻和 ROS 2 感知流程的完整場景進行基準測試，涵蓋多模型與多任務工作流。其余平臺與模型組合及新款芯片將隨驗證會話完成后陸續納入。

EFPI 第二季度的性能分析測試在來自 Apple、Intel、NVIDIA、NXP Semiconductors、Ezurio、PHYTEC、Toradex 的設備與平臺上進行，AI 模型由 Ultralytics 提供。

Q&A

Q1：EdgeFirst Perception Index 和普通推理基準測試有什么區別？

A：EFPI 測量的是從圖像采集到檢測輸出的完整 AI 視覺流程，而不僅僅是推理階段。它使用統一工具和方法覆蓋所有硬件平臺，提供兩項核心指標：核心吞吐量（加速器峰值性能）和實際吞吐量（端到端真實幀率），還包含各階段延遲細分、內存與功耗數據，比單一的 TOPS 評分或推理測試更能反映實際部署表現。

Q2：YOLO26 在邊緣硬件上的性能表現如何？

A：YOLO26 是首次在邊緣 AI 硬件上獲得獨立驗證的最新 YOLO 架構。在 NVIDIA Jetson Orin Nano 上，YOLO26n 通過 TensorRT 實現 251 FPS 的實際吞吐量，與 YOLOv8n 在同一硬件上的成績相差不超過 4%，說明新架構在邊緣端幾乎沒有額外的性能損耗。

Q3：Au-Zone 的 Smart Quantizer 是如何解決 INT8 量化精度損失問題的？

A：邊緣 NPU 運行 INT8 計算時，檢測精度通常會下降三到五個百分點。Smart Quantizer 通過將模型計算圖進行分割，為每個輸出頭分配獨立的校準范圍來彌補這一損失，且無需重新訓練模型。測試結果顯示，使用 Smart Quantizer 后，INT8 模型檢測精度可恢復至與 FP32 相差兩個百分點以內，分割任務掩碼精度最高可恢復 24 個百分點。