Blog

Nov 09, 2023

Deja vu dell'algoritmo AI razzista con ChatGPT: informatico

In 1998, I unintentionally created a racially biased artificial intelligence

Nel 1998, ho creato involontariamente un algoritmo di intelligenza artificiale basato su pregiudizi razziali. Ci sono lezioni in quella storia che risuonano ancora più forte oggi.

I pericoli di parzialità ed errori negli algoritmi di intelligenza artificiale sono ormai ben noti. Perché, allora, negli ultimi mesi c’è stata una raffica di errori da parte delle aziende tecnologiche, soprattutto nel mondo dei chatbot AI e dei generatori di immagini? Le versioni iniziali di ChatGPT hanno prodotto risultati razzisti. I generatori di immagini DALL-E 2 e Stable Diffusion hanno entrambi mostrato pregiudizi razziali nelle immagini create.

La mia epifania come scienziato informatico maschio bianco è avvenuta mentre insegnavo in un corso di informatica nel 2021. La classe aveva appena visto una video poesia di Joy Buolamwini, ricercatrice e artista di intelligenza artificiale e autodefinita poetessa del codice. La sua video poesia del 2019 "AI, Ain't I a Woman?" è una devastante denuncia di tre minuti sui pregiudizi razziali e di genere nei sistemi di riconoscimento automatico dei volti, sistemi sviluppati da aziende tecnologiche come Google e Microsoft.

I sistemi spesso falliscono nei confronti delle donne di colore, etichettandole erroneamente come maschi. Alcuni dei fallimenti sono particolarmente eclatanti: i capelli della leader nera per i diritti civili Ida B. Wells sono etichettati come un "berretto di pelle di cocco"; un'altra donna nera è etichettata come dotata di "baffi da tricheco".

Ho avuto un terribile momento di déjà vu in quella lezione di informatica: all'improvviso mi sono ricordato che anch'io una volta avevo creato un algoritmo basato su pregiudizi razziali. Nel 1998 ero uno studente di dottorato. Il mio progetto prevedeva il monitoraggio dei movimenti della testa di una persona in base all'input di una videocamera. Il mio relatore di dottorato aveva già sviluppato tecniche matematiche per seguire accuratamente la testa in determinate situazioni, ma il sistema doveva essere molto più veloce e più robusto. All’inizio degli anni ’90, ricercatori di altri laboratori avevano dimostrato che le aree color pelle di un’immagine potevano essere estratte in tempo reale. Quindi abbiamo deciso di concentrarci sul colore della pelle come ulteriore segnale per il tracker.

Ho usato una fotocamera digitale – ancora una rarità a quel tempo – per scattare alcune foto della mia mano e del mio viso, e ho anche fotografato le mani e i volti di altre due o tre persone che si trovavano nell'edificio. È stato facile estrarre manualmente alcuni pixel del colore della pelle da queste immagini e costruire un modello statistico per i colori della pelle. Dopo alcune modifiche e debug, abbiamo ottenuto un sistema di tracciamento della testa in tempo reale sorprendentemente robusto.

Non molto tempo dopo, il mio consulente mi chiese di mostrare il sistema ad alcuni dirigenti dell’azienda in visita. Quando entrarono nella stanza fui subito inondato di ansia: i dirigenti erano giapponesi. Nel mio esperimento casuale per vedere se un semplice modello statistico avrebbe funzionato con il nostro prototipo, avevo raccolto dati da me stesso e da una manciata di altre persone che si trovavano nell'edificio. Ma il 100% di questi soggetti aveva la pelle “bianca”; i dirigenti giapponesi no.

Miracolosamente, il sistema ha comunque funzionato abbastanza bene sui dirigenti. Ma sono rimasto scioccato dalla consapevolezza di aver creato un sistema basato su pregiudizi razziali che avrebbe potuto facilmente fallire per altre persone non bianche.

Come e perché scienziati ben istruiti e ben intenzionati producono sistemi di intelligenza artificiale distorti? Le teorie sociologiche del privilegio forniscono una lente utile.

Dieci anni prima che creassi il sistema di tracciamento della testa, la studiosa Peggy McIntosh propose l'idea di uno "zaino invisibile" portato in giro dai bianchi. All'interno dello zaino c'è un tesoro di privilegi come "Posso fare bene in una situazione difficile senza essere considerato un merito per la mia razza" e "Posso criticare il nostro governo e parlare di quanto temo le sue politiche e il suo comportamento senza essere visto come un outsider culturale."

Nell'era dell'intelligenza artificiale, quello zaino ha bisogno di alcuni nuovi elementi, come "I sistemi di intelligenza artificiale non daranno scarsi risultati a causa della mia razza". Servirebbe anche lo zaino invisibile di uno scienziato bianco: "Posso sviluppare un sistema di intelligenza artificiale basato sul mio aspetto e sapere che funzionerà bene per la maggior parte dei miei utenti".

Un rimedio suggerito per il privilegio dei bianchi è essere attivamente antirazzisti. Per il sistema di head tracking del 1998, potrebbe sembrare ovvio che il rimedio antirazzista sia quello di trattare allo stesso modo tutti i colori della pelle. Certamente possiamo e dobbiamo garantire che i dati di allenamento del sistema rappresentino la gamma di tutti i colori della pelle nel modo più equo possibile.