Londa Schiebinger è professoressa di storia della scienza all'università di Stanford e dirige il progetto Gendered Innovations in science, health and medicine, engineering and environment, finanziato dalla Commissione Europea, dalla Nsf (National science foundation) e dall'università di Stanford. Sarà ospite degli Open Innovation Days a Padova il prossimo venerdì 26 ottobre dove parlerà, in aula Archivio Antico alle 14.30, di “innovazioni per una scienza paritaria” (il giorno dopo sarà in Aula Magna alle 14.30 con l'open talk Innovazioni di genere nella ricerca scientifica e tecnologica).

Lo scorso luglio, assieme al collega James Zou, ha pubblicato un articolo di commento su Nature intitolato “L'intelligenza artificiale può essere sessista e razzista: è ora di renderla equa”.

Esistono una serie di problemi strutturali con i software di intelligenza artificiale che secondo Londa Schiebinger richiedono soluzioni altrettanto strutturali. Un software di riconoscimento facciale usato dalle fotocamere Nikon ad esempio interpreta come asiatiche le persone con gli occhi socchiusi. Perché? Sostanzialmente perché non gli insegniamo a riconoscere le minoranze sottorappresentate nella nostra società.

Un ordine di problemi deriva dai dati, o meglio da come vengono raccolti i dati che vanno poi ad alimentare gli algoritmi e i software di intelligenza artificiale. ImageNet ad esempio è un database di immagini utilizzato da moltissimi sistemi di visione automatizzati (computer vision); il 45% di queste immagini viene dagli Stati Uniti, che ospitano solo il 4% della popolazione mondiale; le immagini provenienti dalla Cina e dall'India (che ospitano il 36% della popolazione mondiale) contribuiscono solo per il 3% al database. I sistemi di riconoscimento facciale già in commercio quando hanno a che fare con donne di colore sbagliano spesso (35% delle volte) nel riconoscere il genere, rispetto a quando le donne sono di carnagione chiara (0,8%). Un programma di machine-learning è molto bravo a svolgere i compiti che noi gli assegniamo. Ma se i dati che gli forniamo sono dati che contengono dei bias, cioè delle distorsioni per come sono essi stessi organizzati, il programma non farà altro che riflettere nel suo comportamento quei bias, culturali, etnici o di genere che siano.

Un secondo ordine di problemi è legato a come sono costruiti gli algoritmi dei programmi di intelligenza articifiale. Quando Google Translate traduce notizie dallo spagnolo all'inglese ad esempio capita spesso che le frasi riferite al femminile finiscano al maschile, come “lui ha scritto” o “lui ha detto”. Un algoritmo che fa associazioni tra parole (AI auditor) solitamente accosta “uomo” a “dottore” e “donna” a “infermiere”, “uomo” a “programmatore” e “donna” a “casalinga” (homemaker).

Quali potrebbero essere le conseguenze della presenza di questi bias in una società sempre più dipendente da sistemi di automazione?

I programmi di intelligenza artificiale sono locomotive alimentate con i big data che la nostra società produce. Questi dati, e i programmi costruiti attorno ad essi, altro non sono che lo specchio delle nostre inclinazioni. E prima di correggere i software forse dovremmo pensare a correggere alcune nostre, a volte inconsapevoli, tendenze a considerare l'uomo bianco, occidentale e civilizzato, l'archetipico modello di un'umanità invero molto più complessa e ricca di diversità.