Modelli più piccoli e previsione più grande

I metodi di compressione come l'eliminazione dei parametri e la sommatoria possono ridurre le reti neurali per l'uso in dispositivi come gli smartphone con un impatto minimo sulla precisione, ma esacerbano anche la distorsione di una rete. I modelli compressi funzionano meno bene per gruppi di persone sotto rappresentati? Sì, secondo una nuova ricerca.

Un team di Google guidato da Sara Hooker e Nyalleng Moorosi ha esplorato l' impatto della compressione sulla capacità dei modelli di riconoscimento delle immagini di funzionare con precisione in vari gruppi umani. Gli autori hanno anche proposto un modo per classificare i singoli esempi in base alla loro difficoltà di classificazione.

In un lavoro precedente , i membri del team hanno dimostrato che i modelli di riconoscimento delle immagini compresse, sebbene mantenessero la loro accuratezza complessiva, avevano problemi a identificare le classi che erano rare nei loro dati di allenamento. Per scoprire se tale lacuna si traduce in pregiudizi nei confronti di tipi umani sotto rappresentati, i ricercatori hanno addestrato modelli per riconoscere una particolare classe (persone con capelli biondi), li hanno compressi e misurato le differenze nella loro accuratezza tra diversi tipi di persone. Ciò ha consentito loro di valutare la differenza di prestazioni tra i modelli compressi e non compressi rispetto ai gruppi sottostanti.

Gli autori hanno addestrato una serie di ResNet-18 su CelebA , un set di dati di volti di celebrità, per classificare le foto di persone con i capelli biondi. (CelebA è nota per la produzione di modelli distorti .) Quindi hanno compresso i modelli utilizzando varie combinazioni di potatura e quantizzazione.

• Utilizzando sia modelli compressi che non compressi, hanno previsto etichette bionde / non bionde per il set di test CelebA. Hanno confrontato le prestazioni di modelli non compressi e compressi nella classificazione di immagini di giovani, anziani, uomini, donne, giovani uomini, uomini anziani, giovani donne e donne anziane. Questo ha dato loro una misura di come la compressione ha influenzato il bias del modello contro questi gruppi.
• Per classificare gli esempi di quanto fossero difficili da classificare, gli autori hanno trovato la differenza tra il numero di previsioni "bionde" da modelli non compressi e compressi per un dato esempio, e l'hanno aggiunta alla differenza tra il numero di previsioni "non bionde" di gli stessi modelli. La somma ha prodotto un punteggio sulla coerenza con cui i modelli hanno etichettato un dato esempio.
• Per rendere più facile lo studio di varie combinazioni di immagine e modello, i ricercatori hanno utilizzato una soglia variabile per identificare gli esempi etichettati in modo meno coerente in percentuale (designati "CIE" nella galleria sopra).

Eliminazione del 95% dei parametri del modello ha aumentato il tasso di falsi positivi "biondi" per le donne (che costituivano il 14% del set di dati) in media del 6,32%, ma ha aumentato tale percentuale per gli uomini (meno dell'1% del set di dati ) del 49,54%.  Inoltre, il metodo di classificazione è riuscito a identificare gli esempi più difficili da classificare. Un modello sfoltito al 95% era accurato al 93,39% sull'intero set di dati, ma accurato al 43,43% sugli esempi etichettati in modo meno coerente dell'1%. Un modello non tagliato ha avuto più o meno gli stessi problemi. Era accurato al 94,76% sull'intero set di dati, ma accurato al 55,35% sull'1% degli esempi etichettati in modo meno coerente.

La compressione del modello è una parte importante delle implementazioni pratiche: la spedizione di una rete neurale da 10 MB per un dispositivo mobile è molto più accettabile rispetto alla spedizione di un modello da 100 MB. Ma se la compressione esacerba i pregiudizi, dobbiamo controllare e affrontare sistematicamente questi problemi.

Questo lavoro è un promemoria che non è sufficiente per ottimizzare l'accuratezza della classificazione complessiva. Dobbiamo assicurarci che i nostri modelli funzionino bene anche su varie sezioni di dati.

Fonte: deeplearning.ai