Optimera och distribuera djupinlärningsmodeller över Intel-hårdvara
Konvertera tränade modeller till ett mellanformat och kör högpresterande inferens med Model Optimizer och Inference Engine, som hanterar CPU:er, GPU:er och NPU:er. Intel Corporation tillhandahåller detta öppen källkod-verktyg för desktop- och edge-utveckling, med Python- och C++-API:er samt Visual Studio-integration. Det stöder TensorFlow, PyTorch, ONNX, Keras och PaddlePaddle, och inkluderar kvantisering och GenAI-distributionsverktyg. Verktyget passar AI-utvecklare och ingenjörer som riktar sig mot Intel-baserad hårdvara för låg latens och hög genomströmning av inferens.
Vad gör OpenVINO för distribuerade modeller?
OpenVINO konverterar och förbereder modeller genom att använda Model Optimizer för att översätta TensorFlow, PyTorch, ONNX, Keras och PaddlePaddle-artiklar till en Intermediate Representation. Dessutom tillämpar Neural Network Compression Framework kvantisering och andra optimeringar för att minska modellens storlek. Inference Engine kör sedan dessa IR-filer på stödda Intel-processorer och grafik, vilket gör att samma konverterade modell kan köras på olika Intel-enheter.
Påverkar det systemets prestanda under inferens?
Verktygssatsen dirigerar exekvering till den bästa tillgängliga Intel-enheten så att CPU, integrerad eller diskret GPU, eller NPU kan utföra inferens. Stödet för Intel Core, Xeon, Atom-processorer och Arc, UHD eller Iris Xe-grafik är uttryckligt, och Inference Engine riktar enhetsanpassade primitiva för att sänka latens och öka genomströmning under körning. Utvecklare kan välja enhetsspecifika backend-lösningar för att balansera CPU-belastning och acceleratoranvändning.
Är det säkert och hanterbart för produktionsmiljöer?
OpenVINO fungerar under en öppen källkodslicens och integreras med utvecklararbetsflöden genom Python- och C++-API:er och Visual Studio-krokar. Verktygssatsen tillhandahåller modellkonverterings- och optimeringssteg före exekvering, vilket minskar behovet av att ändra produktionsbinärer vid körning. Open Model Zoo tillhandahåller förtränade modeller, och OpenVINO GenAI lägger till pipelines för generativa modeller, vilket tillsammans gör att team kan återanvända granskade tillgångar istället för att distribuera otilltestade modellbinärer direkt.
Lämplig för Intel-fokuserade AI-team; kräver kunskap om modeller och distribution
Verktygslådan passar utvecklare och datavetare som måste få högpresterande inferens på Intel-hårdvara och som kan arbeta med modellkonverteringssteg och enhetsval. En enda varning: team som är obekanta med arbetsflöden för modelloptimering står inför en inlärningskurva eftersom processen kräver att modeller konverteras till IR-formatet och att komprimeringssteg tillämpas innan distribution.
