OpenVINO toolkit e le sue prestazioni nella rete neurale

OpenVINO ™ toolkit, l'Open Visual Inference e Neural network Optimization è un toolkit che offre agli sviluppatori prestazioni che migliorano sempre di più nella rete neurale, prestando l'attenzione su una varietà di processori Intel® aiutandola per lo sviluppo di applicazioni per la visione in tempo reale. Il toolkit consente l'apprendimento profondo e una facile esecuzione eterogenea su più piattaforme, fornendo implementazioni su architetture cloud su dispositivi periferici. Questa distribuzione open source offre flessibilità e disponibilità alla comunità degli sviluppatori per innovare le soluzioni di deep learning e AI.

OpenVINO è unico per l'apertura e la flessibilità del software, nonché per i suoi numerosi modelli di deep learning. Invece di un pacchetto binario limitato, OpenVINO toolkit è disponibile anche come open source con licenza Apache.

Nessun altro toolkit offre tale flessibilità. OpenVINO supporta un numero completo di modelli di apprendimento profondo.

Deep Learning Deployment Toolkit

Questo toolkit consente agli sviluppatori di distribuire modelli di deep learning predefiniti attraverso un'API del motore di inferenza C ++ di alto livello integrata con la logica dell'applicazione. La versione open source comprende due componenti, il Model Optimizer e Inference Engine, nonché CPU, GPU e plug-in eterogenei per accelerare l'inferenza di deep learning su CPU Intel® e Intel® Processor Graphics. Supporta modelli pre-addestrati da Open Model Zoo insieme a oltre 100 modelli open source e pubblici formati utilizzando framework popolari come Caffe, Tensorflow, MXNet e ONNX.

Le ottimizzazioni e gli strumenti del Deep Learning framework

Semplificano la distribuzione stanno promuovendo l'adozione di applicazioni di inferenza su piattaforme Intel®. La riduzione della precisione del modello è un modo efficiente per accelerare l'inferenza sui processori che supportano la matematica a bassa precisione, con larghezza di banda di memoria ridotta e operazioni per ciclo migliorate.

Attualmente, ci sono due modi tradizionali per ottenere una riduzione della precisione del modello:

• Allenamento a bassa precisione dall'inizio o successiva messa a punto. Questo metodo richiede l'accesso all'infrastruttura di addestramento, al set di dati e alla conoscenza dei parametri e della procedura di addestramento.
• Quantizzazione post-training senza coinvolgimento di alcun processo di training.

Per migliorare le prestazioni su questi carichi di lavoro, sono necessari i seguenti passaggi utilizzando Intel Distribution di OpenVINO toolkit:

1. Converti il modello dal formato di framework originale utilizzando lo strumento Strumento per ottimizzare il modello. Ciò produrrà il modello in formato Intermediate Representation (IR).
2. Eseguire la calibrazione del modello utilizzando lo strumento di calibrazione all'interno della distribuzione Intel di OpenVINO toolkit. Accetta il modello in formato IR ed è indipendente dal framework.
3. Utilizzare il modello aggiornato in formato IR per eseguire l'inferenza.