Possiamo rendere l’intelligenza artificiale meno razzista?

Tre anni fa, uno studio della Georgia Tech ha scoperto un grave difetto nei veicoli a guida autonoma: trovano molto più difficile vedere i pedoni dalla pelle più scura. I ricercatori stavano testando con quanta precisione i modelli di rilevamento degli oggetti basati sull’intelligenza artificiale dei veicoli rilevassero i pedoni di razze diverse. Ma indipendentemente dalle variabili che hanno cambiato – quanto fosse grande la persona nell’immagine, se fosse parzialmente bloccata, a che ora del giorno fosse – lo squilibrio è rimasto, sollevando il timore che nelle applicazioni della vita reale, le persone razzializzate potessero essere maggiormente a rischio di essere investito da un’auto a guida autonoma. È solo uno dei troppi esempi che mostrano come l’IA possa essere distorta e, di conseguenza, danneggiare gruppi già emarginati.

“Pensa a qualcosa come il rilevamento del melanoma”, afferma Shingai Manjengwa, direttore dell’istruzione tecnica presso il Vector Institute for Artificial Intelligence. Una delle promesse dell’IA è che possiamo scattare una foto di una strana lentiggine o talpa con il nostro telefono e caricarla su una piattaforma sanitaria per determinare se dobbiamo preoccuparcene. “Ma cosa succede se c’è un problema con quel modello e dice ‘Stai bene’?” dice Manjenwa. “Sappiamo tutti che il cancro è una di quelle cose in cui se lo prendi presto, hai maggiori possibilità di sopravvivenza e di cura. La possibilità di danni è il motivo per cui dobbiamo affrontare i pregiudizi”.

Gli informatici sanno da anni che i pregiudizi sono un problema nell’IA, ma non hanno sempre preso sul serio questo potenziale danno.

“All’epoca, i ricercatori stavano solo cercando di costruire l’algoritmo di intelligenza artificiale più veloce ed efficace. Non stavano davvero considerando l’impatto che quegli algoritmi avrebbero avuto sulla vita delle persone”, afferma Elissa Strome, direttore esecutivo della Strategia AI pancanadese presso CIFAR, un’organizzazione di ricerca. “Ora c’è molto più riconoscimento di quanto sia critico questo problema.”

L’intelligenza artificiale viene utilizzata nella vendita al dettaglio, nel settore bancario, nella polizia e nell’istruzione, nelle app a cui ci rivolgiamo per divertimento (come Snapchat e Netflix) e nei programmi che gli operatori sanitari utilizzano per determinare come allocare le cure. Sia che tu stia richiedendo un prestito o passando i controlli di sicurezza in aeroporto, l’IA può influire sulla fluidità (o meno) di tale processo; e poiché l’IA ha la tendenza a replicare e spesso amplificare qualsiasi distorsione nei dati a cui viene applicata, le potenziali conseguenze sono di vasta portata. Come dice Strome, “la distorsione nell’IA è qualcosa su cui dobbiamo lavorare molto duramente e in modo davvero intenzionale”.

Come si verifica la distorsione nell’IA?

Tutto dipende dalle persone. L’intelligenza artificiale viene sviluppata in fasi: prima viene progettato l’algoritmo, quindi il sistema viene addestrato utilizzando enormi set di dati, quindi viene distribuito, dove continua a perfezionare le sue previsioni utilizzando dati del mondo reale. Golnoosh Farnadi, un membro accademico principale e presidente canadese CIFAR AI presso l’istituto di ricerca Mila di Montreal, chiama questo processo la pipeline AI. Spiega che “il problema del razzismo può apparire ovunque in questa pipeline” spesso a causa della mancanza di consapevolezza delle persone coinvolte.

Tanto per cominciare, le squadre omogenee per razza, genere e classe, come lo sono ancora molte squadre tecnologiche, possono introdurre involontariamente pregiudizi durante la progettazione del proprio algoritmo. Prendi COMPAS, un sistema software legale che utilizza l’intelligenza artificiale per calcolare se è probabile che gli imputati recidivano. I giudici di diversi stati degli Stati Uniti utilizzano queste previsioni nelle loro decisioni di condanna.

Ma secondo un’indagine ProPublica del 2016, i progettisti del software non hanno tenuto adeguatamente conto del modo in cui età, razza e sesso possono influenzare gli arresti precedenti o i contatti con la polizia, il che significava che “spesso si prevedeva che gli imputati neri fossero a un punto più alto rischio di recidiva di quanto non fossero in realtà”, afferma il rapporto. Gli imputati bianchi, d’altra parte, “erano spesso previsti per essere meno rischiosi di quanto non fossero”. (La società contesta i risultati.)

Gli algoritmi possono anche apprendere la distorsione dai dati su cui sono stati addestrati. I prodotti IBM per il riconoscimento facciale, ad esempio, erano accurati al 97% nella previsione del sesso, a condizione che il soggetto avesse la pelle chiara. Ma quando il soggetto aveva la pelle scura, la percentuale è scesa al 78%. Il motivo per cui questi algoritmi erano così pessimi nell’analisi dei soggetti dalla pelle scura è perché non erano stati addestrati su dati che includessero abbastanza foto di persone razzializzate.

Perché non possiamo ottenere dati migliori?

Questo perché “i dati sono molto costosi”, afferma Foteini Agrafioti, chief science officer di RBC e capo di Borealis AI. “Non è possibile creare un nuovo set di dati a causa del costo, quindi si desidera sfruttare ciò che già esiste”.

Wikipedia è usata spesso nell’apprendimento automatico, perché è enorme e contiene molto testo. Così sono i social media. “Ma queste piattaforme sono prevenute per definizione perché gli esseri umani forniscono tali informazioni e gli esseri umani stessi sono prevenuti”, afferma Agrafioti.

E, naturalmente, algoritmi distorti possono rimanere intrappolati in un ciclo di feedback di dati errati. Un ottimo esempio di ciò è un software di polizia predittiva chiamato PredPol, che utilizza i dati storici per prevedere dove si verificheranno i crimini al fine di suggerire dove la polizia dovrebbe pattugliare. Naturalmente, dal momento che le persone razzializzate sono state storicamente eccessivamente sorvegliate, questo aumenta la probabilità che anche loro vengano presi di mira dalle previsioni di PredPol.

E secondo un’indagine di Gizmodo e The Markup, è esattamente quello che è successo. Quando i giornalisti hanno esaminato un archivio dei dati del programma risalenti al 2018, hanno scoperto che diversi quartieri bianchi, a reddito medio e alto sono passati anni senza avere una sola previsione di un crimine. Al contrario, i quartieri più poveri abitati da neri e ispanici hanno visto molte previsioni sui crimini, a volte fino a 11.000 al giorno.

“Il software spesso raccomandava pattuglie quotidiane dentro e intorno agli alloggi pubblici e sovvenzionati, prendendo di mira i più poveri tra i poveri”, hanno scritto i giornalisti. (L’amministratore delegato ha affermato che l’analisi dei giornalisti era incompleta.) Sebbene fosse impossibile per i giornalisti dire se questo focus avesse portato a specifici arresti, arresti o uso della forza, se fosse stata arrestata anche una sola persona, quei dati sarebbero stati poi reinseriti in l’analisi del software, giustificando ulteriormente un’ulteriore attività di polizia in queste aree.

La revisione intenzionale del materiale di formazione per i programmi di intelligenza artificiale può porre sfide di per sé. Quando gli sviluppatori di OpenAI stavano creando DALL-E 2, un programma che genera immagini dal testo, hanno cercato di filtrare le immagini sessuali dai suoi dati di allenamento per impedirgli di replicare i pregiudizi verso le donne che si trovano comunemente in quel tipo di contenuto. L’IA ha risposto generando meno immagini di donne in generale.

OpenAI ha anche riscontrato problemi durante la revisione dell’addestramento per il suo chatbot GPT-3 in modo che fosse meno prevenuto nei confronti dei musulmani. Il codice comprenderebbe il contesto in un pezzo di finzione sull’islamofobia, per esempio? O sarebbe solo un altro testo che afferma i suoi pregiudizi?

Come possiamo anche iniziare ad affrontare questo?

Prova di distorsione. Anche in un mondo in cui la tecnologia era perfettamente diversificata e i dati erano totalmente imparziali, i pregiudizi su razza, genere, abilità, classe e corporatura possono insinuarsi nella pipeline. Gli sviluppatori avranno sempre bisogno di un sistema per identificare i problemi.

È qui che entrano in gioco i metodi tecnici, afferma Manjengwa, incluso il doppio controllo dei risultati generati dall’IA. Alla Vector, il suo team ha creato un corso di cinque settimane che addestra gli sviluppatori a identificare i pregiudizi nel loro algoritmo.

“Non dobbiamo limitarci a seguire questo, dove siamo tipo, ‘Oh, non è colpa di nessuno, non lo sapevamo'”, dice.

E un giorno, quel test potrebbe far parte dell’algoritmo stesso. “Ci sono molte persone in questo momento che stanno dedicando la propria carriera alla creazione di algoritmi che si correggono automaticamente”, afferma Agrafioti. “Fondamentalmente, anticipano che qualcosa può andare storto, quindi controllano automaticamente se stessi e cercano di evidenziare le aree in cui potrebbero non essere all’altezza”.

L’approccio “human-in-the-loop” è già ampiamente utilizzato ovunque, da Meta a EY, ma quando si tratta di prevenire il razzismo, non è ancora una soluzione perfetta. Per prima cosa, gli esseri umani sono altrettanto vulnerabili ai pregiudizi, che si tratti di pregiudizi razziali o di automazione (quando le persone non forniscono un controllo adeguato ai risultati perché credono inconsciamente che la macchina sia corretta).

Il governo può svolgere un ruolo nel ridurre i pregiudizi?

Molti esperti, tra cui Manjengwa, la pensano così. Crede che le persone abbiano bisogno di opportunità di ricorso quando l’IA porta a pratiche discriminatorie. L’intelligenza artificiale viene già utilizzata per determinare tutto, da chi ottiene un mutuo, a chi entra negli istituti di istruzione secondaria, a quali pazienti COVID ricevono l’ossigeno di cui hanno bisogno, a chi viene rilevato il viso su quel nuovo divertente filtro TikTok a cosa sei addebitato per una corsa Uber o Lyft. E questo sta accadendo senza una supervisione ufficiale.

“In questo momento, se penso che l’app di Uber mi abbia fatto pagare più del mio collega, anche se partiamo dallo stesso posto per andare nello stesso posto, non mi resta che andare al telegiornale, l’azienda lo smentisce e basta,” dice. “Più utilizziamo l’IA, più abbiamo bisogno di un posto dove andare che offra possibilità di ricorso e possa istituire una sorta di revisione tecnica su ciò che fanno gli algoritmi”.

Farnadi indica i processi di approvazione del governo per i prodotti farmaceutici come esempio di come potrebbero funzionare le normative. “Quando le aziende escogitano un nuovo medicinale, non possono semplicemente immetterlo sul mercato”, afferma. “Devono soddisfare gli standard e devono essere responsabili. Dovremmo averlo anche nell’IA”.

In effetti, alcuni esperti ritengono che la supervisione del governo possa essere l’unico modo in cui questi cambiamenti necessari avvengano. Secondo Parham Aarabi, professore e direttore dell’Applied AI Group presso l’Università di Toronto, se ci fosse un mandato che richiedesse all’IA di “lavorare per tutti, avrebbe un enorme impatto sulla rimozione, o almeno sulla riduzione dei pregiudizi nell’IA”. .”

E questo è importante, dice Aarabi, perché le aziende tecnologiche non hanno fretta di apportare queste modifiche da sole. “Quando abbiamo escogitato casi molto ovvi che mostrano che le principali aziende tecnologiche e prodotti tecnologici hanno un pregiudizio, alcuni, ma non tutti, hanno cercato di risolvere i problemi. Ma è qualcosa che dovranno fare. Ci sarà una resa dei conti”.

Possiamo correggere i pregiudizi nell’IA?

Sì. Non è un compito facile, ovviamente, e come sottolinea Agrafioti, è improbabile che un singolo gruppo, azienda o istituzione accademica trovi la soluzione perfetta. Invece, dice, la risposta probabilmente verrà fuori dalla collaborazione, motivo per cui Borealis ha sviluppato una piattaforma chiamata RESPECT AI. Consente ai ricercatori di condividere gli ostacoli che hanno incontrato nel proprio lavoro e, cosa altrettanto importante, le migliori pratiche che stanno sviluppando per superarli. La difficoltà di risolvere questo problema sottolinea solo il motivo per cui deve essere risolto.

“Se non stiamo facendo nulla oggi”, dice Farnadi, “stiamo effettivamente tornando indietro nella storia e cancelleremo tutto ciò che è successo per preservare i diritti delle donne e delle diverse razze”.

Stacy Lee Kong scrive di tecnologia per MaRS. Torstar, la società madre del Toronto Star, ha collaborato con MaRS per evidenziare l’innovazione nelle aziende canadesi.

Disclaimer Questo contenuto è stato prodotto nell’ambito di una partnership e pertanto potrebbe non soddisfare gli standard del giornalismo imparziale o indipendente.

.

Leave a Comment