PyTorch: ExecuTorch dolazi na Arm Cortex-A, Cortex-M i Ethos-U85 NPU za edge AI inferenciju
ExecuTorch on Arm je nova PyTorch Foundation inicijativa objavljena 12. svibnja 2026. koja proširuje ExecuTorch runtime na Arm Cortex-A i Cortex-M CPU-ove te Ethos-U NPU akceleratore. OPT-125M transformer i MobileNetV2 model rade na Raspberry Pi 5 i Ethos-U85 s 256 MAC jedinica, a Arm Education repozitorij donosi praktične labove za edge AI deployment.
Ovaj članak generiran je uz pomoć umjetne inteligencije na temelju primarnih izvora.
PyTorch Foundation je 12. svibnja 2026. objavio službenu proširenje ExecuTorch runtimea na Arm Cortex-A, Cortex-M i Ethos-U NPU platforme. Inicijativa donosi efikasnu PyTorch inferenciju na edge uređaje s ograničenim resursima — wearables, smart kamere, IoT sustave — uz zadržavanje PyTorch developer experience-a.
Koji Arm hardver ExecuTorch sada podržava?
CPU strana pokriva Cortex-A platforme poput Raspberry Pi 5 i Cortex-M mikrokontrolere. ExecuTorch koristi KleidiAI mikrokernele i Neon arhitektonske značajke kroz XNNPACK backend, što daje značajno smanjenje latencije u odnosu na PyTorch eager mode. PyTorch dokumentacija upozorava: bez XNNPACK delegacije runtime može imati veću latenciju od eager moda iako zadržava manji footprint.
NPU strana cilja Ethos-U akceleratore koji se obično kombiniraju s Cortex-A ili Cortex-M CPU-om. Primjer hardvera je Ethos-U85 s 256 MAC (multiply-accumulate) jedinica, koji ExecuTorch tretira kao primarni deployment target.
Koje modele tutorial pokriva?
Dokumentacija demonstrira tri scenarija. OPT-125M transformer model pokreće se na Raspberry Pi 5 kroz XNNPACK CPU backend. MobileNetV2 INT8 model deploya se na Ethos-U NPU kroz EthosUQuantizer i EthosUCompileSpec API. MobileNetV2 + LRN slučaj prikazuje kako runtime tretira nepodržane operatore.
Što developeri dobivaju u Arm Education repozitoriju?
GitHub repozitorij arm-education/executorch_on_arm_labs sadrži praktične labove za CPU inferenciju na Raspberry Pi 5, hardver-akceleriranu inferenciju s Ethos-U NPU-om i Model Explorer Adaptere (razvio ih Arm) za vizualizaciju .pte fajlova, backend partitioniranja, TOSA reprezentacije i VGF fajlova za Arm ML SDK Vulkan. Lab content su pripremili Marcelo Rovai (UNIFEI University, Edge AI Foundation) i akademski recenzenti iz IIIT Bangalore.
Položaj u edge AI ekosustavu
Deployment pipeline pretvara PyTorch model kroz quantizaciju, TOSA (Tensor Operator Set Architecture) reprezentaciju i Vela optimizaciju u .pte artifakt. Statički computation graph osigurava predvidljivo izvršavanje na constrained sustavima. ExecuTorch tako pozicionira PyTorch ekosustav kao serious player za edge inferenciju gdje su do sada dominirali TensorFlow Lite Micro i ONNX Runtime.
Česta pitanja
- Koji se modeli mogu pokrenuti kroz ExecuTorch na Arm hardveru?
- Dokumentacija demonstrira OPT-125M transformer model na Raspberry Pi 5 (Cortex-A) i quantizirane MobileNetV2 (INT8) modele na Ethos-U NPU-u; svi modeli moraju biti PyTorch-compatible i exportable u lightweight .pte (PyTorch Export) format.
- Što daje XNNPACK backend delegacija?
- XNNPACK backend koristi KleidiAI mikrokernele i Neon arhitektonske značajke pa donosi značajno smanjenje latencije na Cortex-A CPU-u; bez XNNPACK delegacije ExecuTorch može imati veću latenciju od PyTorch eager moda iako zadržava manji runtime footprint.