Blog

Oct 20, 2023

I modelli di intelligenza artificiale giudicano erroneamente le violazioni delle regole: decisioni tra uomo e macchina

Summary: Researchers found AI models often fail to accurately replicate human

Riepilogo: I ricercatori hanno scoperto che i modelli di intelligenza artificiale spesso non riescono a replicare accuratamente le decisioni umane riguardanti le violazioni delle regole, tendendo a giudizi più severi. Ciò è attribuito al tipo di dati su cui vengono addestrati questi modelli; spesso etichettati in modo descrittivo piuttosto che normativo, il che porta a interpretazioni diverse delle violazioni delle regole.

La discrepanza potrebbe comportare gravi conseguenze nel mondo reale, come sentenze giudiziarie più severe. Pertanto, i ricercatori suggeriscono di migliorare la trasparenza del set di dati e di abbinare il contesto di formazione al contesto di distribuzione per modelli più accurati.

Aspetti principali:

Fonte:CON

Nel tentativo di migliorare l’equità o ridurre gli arretrati, i modelli di apprendimento automatico sono talvolta progettati per imitare il processo decisionale umano, come decidere se i post sui social media violano le politiche sui contenuti tossici.

Ma i ricercatori del MIT e di altri istituti hanno scoperto che questi modelli spesso non replicano le decisioni umane sulle violazioni delle regole. Se i modelli non vengono addestrati con i dati giusti, è probabile che diano giudizi diversi, spesso più severi, rispetto a quelli umani.

In questo caso, i dati “giusti” sono quelli che sono stati etichettati da esseri umani a cui è stato chiesto esplicitamente se gli elementi sfidano una determinata regola. La formazione prevede di mostrare a un modello di apprendimento automatico milioni di esempi di questi "dati normativi" in modo che possa apprendere un compito.

Ma i dati utilizzati per addestrare i modelli di apprendimento automatico sono generalmente etichettati in modo descrittivo, il che significa che agli esseri umani viene chiesto di identificare caratteristiche reali, come, ad esempio, la presenza di cibo fritto in una foto.

Se i "dati descrittivi" vengono utilizzati per addestrare modelli che giudicano le violazioni delle regole, ad esempio se un pasto viola una politica scolastica che vieta il cibo fritto, i modelli tendono a sovrastimare le violazioni delle regole.

Questo calo di precisione potrebbe avere gravi implicazioni nel mondo reale. Ad esempio, se un modello descrittivo viene utilizzato per prendere decisioni sulla probabilità che un individuo possa recidivare, i risultati dei ricercatori suggeriscono che potrebbe esprimere giudizi più severi di quelli che farebbe un essere umano, il che potrebbe portare a importi di cauzione più elevati o condanne penali più lunghe.

"Penso che la maggior parte dei ricercatori di intelligenza artificiale/apprendimento automatico presumano che i giudizi umani sui dati e sulle etichette siano distorti, ma questo risultato dice qualcosa di peggio.

"Questi modelli non riproducono nemmeno giudizi umani già distorti perché i dati su cui vengono addestrati hanno un difetto: gli esseri umani etichetterebbero le caratteristiche delle immagini e del testo in modo diverso se sapessero che quelle caratteristiche sarebbero usate per un giudizio.

"Ciò ha enormi implicazioni per i sistemi di apprendimento automatico nei processi umani", afferma Marzyeh Ghassemi, assistente professore e capo dell'Healthy ML Group presso il Computer Science and Artificial Intelligence Laboratory (CSAIL).

Ghassemi è l'autore senior di un nuovo articolo che descrive in dettaglio questi risultati, pubblicato oggi su Science Advances. Insieme a lei nell'articolo ci sono l'autrice principale Aparna Balagopalan, una studentessa laureata in ingegneria elettrica e informatica; David Madras, uno studente laureato presso l'Università di Toronto; David H. Yang, un ex studente laureato che ora è co-fondatore di ML Estimation; Dylan Hadfield-Menell, un assistente professore del MIT; e Gillian K. Hadfield, cattedra Schwartz Reisman in Tecnologia e Società e professoressa di diritto presso l'Università di Toronto.

Discrepanza nell'etichettatura

Questo studio è nato da un progetto diverso che ha esplorato come un modello di apprendimento automatico può giustificare le sue previsioni. Mentre raccoglievano i dati per quello studio, i ricercatori hanno notato che gli esseri umani a volte danno risposte diverse se viene chiesto loro di fornire etichette descrittive o normative sugli stessi dati.

Per raccogliere etichette descrittive, i ricercatori chiedono agli etichettatori di identificare caratteristiche fattuali: questo testo contiene un linguaggio osceno? Per raccogliere etichette normative, i ricercatori danno agli etichettatori una regola e chiedono se i dati violano tale regola: questo testo viola la politica linguistica esplicita della piattaforma?