Bias algoritmici e oggettificazione dei corpi femminili
A partire dall'inchiesta del Guardian sugli algoritmi di content moderation analizziamo il problema dei bias, del loro impatto sulla società e presentiamo alcune possibili soluzioni.
Si sente spesso parlare di bias nell’ambito dell’intelligenza artificiale (AI) ed ancora più spesso si sente parlare di bias di genere. Poiché la discriminazione di genere è un fatto sociale certo, si è sempre sospettato che come tutti i fatti sociali, venisse tradotto ed impresso negli algoritmi. Molto raramente però se ne è avuta prova. Ora la si ha. Il The Guardian ha pubblicato un’inchiesta dal titolo ‘There is no standard’: investigation finds AI algorithms objectify women’s body.
La storia dell’inchiesta è degna di nota. Tutto nasce dalla curiosità di Gianluca Mauro, founder e CEO di AI Academy, che si accorge che un suo post Linkedin riceve 29 impressions in un’ora, quando di solito i suoi post ne ricevono 1000. Mauro si chiede se le due donne raffigurate nell’immagine che aveva scelto per il suo post potessero essere un problema. Le donne nell’immagine indossano un top. Allora cancella il post e ne prepara un altro: stesso testo, immagine diversa. 849 views in un’ora. Così Mauro ipotizza che il post con l’immagine delle due donne in top sia stato soppresso, shadowbanned. Lo shadowbanning si riferisce alla decisione di una piattaforma social di limitare la portata di un account o di un post. Se un ban regolare comporta il blocco attivo di un post/account, che viene notificato all’utente, lo shadowbanning non è un processo trasparente e molto spesso l’utente non ne è a conoscenza.
La domanda da porsi è: perché tra i due post di Mauro solo il primo verrebbe messo in shadowban? Per poter rispondere, bisogna risalire ai dati che sono stati etichettati, labelled, per il training degli algoritmi di content moderation che vengono utilizzati per moderare i contenuti sulle piattaforme. Nello specifico gli algoritmi di content moderation analizzati da Mauro sono quelli di Microsoft, azienda proprietaria di Linkedin (ma anche Google e Amazon). Microsoft per esempio vende questi algoritmi sul sito, come tools per identificare immagini raffiguranti materiale per adulti. Così che i developers evitino di mostrare tali contenuti con i loro software. Gli algoritmi in questione hanno dei filtri per identificare contenuti violenti, pornografici ed espliciti. L’ultimo criterio viene chiamato “raciness”: quanto un’ immagine è sessualmente suggestiva e provocante.
Come impara un algoritmo di machine learning a distinguere un contenuto sessualmente provocante da uno non provocante? Dipende dalle “etichette”, labels, che vengono assegnate alle immagini utilizzate nel dataset di training. Che cosa si evince dagli esperimenti condotti da Mauro? La donna viene oggettificata e tale oggettificazione è profondamente incorporata nel sistema AI, per utilizzare le parole di Leon Derczynski, IT University of Copenhagen. Infatti, se si confrontano due immagini, una raffigurante una donna in bikini, una raffigurante un uomo in costume da bagno, si nota che la prima viene valutata come sessualmente provocante dall’algoritmo (e quindi shadowbannata), la seconda no. Questo vale per svariate caratteristiche topiche e tipiche del corpo femminile.
Vediamo alcuni esempi: nell’inchiesta gli algoritmi vengono testati su immagini rilasciate dal US National Cancer institute, sono immagini istruttive su come praticare un esame clinico del seno eppure vengono assolutamente catalogate come “explicitly sexual in nature”. Lo stesso vale per addomi di donne in stato gravidico, oppure per spalle-clavicole femminili. L’esperimento che ci permette di capire quanto esplicito ed assurdo sia il bias: quello in cui Mauro utilizza una sua immagine a torso nudo (torso nudo maschile) e il suo torso nudo con indosso un reggiseno. L’immagine senza reggiseno ottiene un punteggio di raciness inferiore al 22%, quella con il reggiseno ottiene un punteggio di raciness di 97%. E’ quindi palese che il reggiseno sia considerato un simbolo pornografico, invece che un indumento utilizzato ogni giorno dalla maggior parte degli individui che si identificano come donne. Questo è ciò che si intente quando si dice che la donna viene sessualmente oggettificata.
L’inchiesta presa in esame nei paragrafi precedenti è solo un esempio di bias che emergono (possono emergere) negli algoritmi e, come ho sostenuto all’inizio di questo issue, nonostante si continui a parlare di bias algoritmici, non sembra che si siano trovate molte soluzioni a riguardo. Qui di seguito alcuni esempi di soluzioni possibili (o meglio direzioni) ed annessi ostacoli.
Il Reinforcement Learning from Human Feedback (RLHF): Anthropic, in The Capacity for Moral Self-Correction in Large Language Models, verificano l'ipotesi secondo cui i language models (LM) addestrati con apprendimento per rinforzo da feedback umano (RLHF) hanno la capacità di "auto-correggersi moralmente", cioè evitare di produrre output dannosi, se istruiti a farlo. Conducono tre esperimenti diversi, ognuno dei quali è diretto a comprovare diversi aspetti della possibile emergent ability algoritmica di autocorreggersi moralmente. Scoprono che la capacità di auto-correzione morale emerge con modelli di 22 miliardi di parametri e generalmente migliora con l'aumentare della dimensione del modello e l'addestramento RLHF. Sembra che con quella dimensione di parametri, i LM acquisiscano due capacità utili per l'auto-correzione morale: (1) possono seguire le istruzioni e (2) possono apprendere concetti normativi complessi di danno come stereotipizzazione, pregiudizio e discriminazione. Pertanto possono seguire le istruzioni per evitare determinati tipi di output moralmente dannosi. Fidandoci dei risultati di ricerche come questa, sembra che vi siano motivi di cauto ottimismo riguardo alla possibilità di addestrare modelli di linguaggio a rispettare i principi etici.
La cura del dato: gli algoritmi ML imparano dai dati che costituiscono il dataset di training. Se nelle performance di un algoritmo si evidenziano dei bias, è certo che tali bias si riflettono nel dataset. Il motivo per cui vi sono i bias nel dataset è la labellizzazione che viene condotta dagli uomini. Quindi, seguendo il principio di causalità, se ci si prende cura della qualità del dato, la probabilità che l’algoritmo sia di buona qualità, è immensamente più alta. Perché questo non accade? Perché pagare persone per labellizzare i dati, è costoso e le compagnie tech tendono a fare outsourcing per questo servizio. Un esempio è OpenAI, che fa outsourcing in Kenya per la labellizzazione di contenuti violenti di ChatGPT. Oltre ai problemi che l’outsourcing pone di per sé, rispetto a lavoratori sottopagati e alla mancanza di diritti, esiste anche il problema del clash di culture. Tutti i bias che emergono negli algoritmi già esistono nelle nostre società quando ci si prende cura delle soggettività che etichettano i dati, ci si prende cura dei dati, degli algoritmi e dell’impatto che questi hanno sulla società.
La democratizzazione degli algoritmi: nel luglio del 2021 Twitter introdusse la bias bounty challenge, dove incitavano gli user a trovare i bias nei loro algoritmi in cambio di un compenso in denaro. Il coinvolgimento della società civile è un aspetto estremamente importante nella democratizzazione delle tecnologie AI. Irene Solaiman in The Gradient of Generative AI Release: Methods and Considerations, analizza l’impatto che hanno le AI generative sulla società. E’ molto interessante notare come nella sua ricerca emerga una correlazione tra la detenzione del potere dei monopoli dell’AI e la mitigazione dei rischi sulla società.
Spesso quando si parla dei problemi che l’AI porta con sé, si pensa che si debba scegliere tra la risoluzione di quei problemi (i.e. bias di genere) o il progresso tecnologico. Aut-Aut. Per esempio credere che risolvere i bias algoritmici non porti ad un progresso sociale, è un bias, o come lo definisce Diletta Huyskes, head of Privacy Network, il “paradosso dell’innovazione”.