AIMOOC 7.1 - AI e pregiudizi - Teresa Numerico

AIMOOC 7.1 teresa numerico
INTELLIGENZA ARTIFICIALE #AIMOOC
teresa numerico
7.1 INTELLIGENZA ARTIFICIALE
E PREGIUDIZI DI GENERE
mooc.uniurb.it/aimooc

Intelligenza artificiale e
pregiudizi di genere
L’8 marzo della tecnologia
teresa numerico
teresa.numerico@uniroma3.it
8 marzo 2021

Sintesi
• Premessa e dati sulla presenza delle donne nella Silicon Valley
• Categorizzazione algoritmica e metodi di astrazione
• Automatizzare il linguaggio
• Il visibile e l’invisibile nella rappresentazione dei gruppi
• Osservazioni finali

Premessa
Sulla presenza delle donne nella Silicon Valley

Donne al
computer
durante la II
Guerra
Mondiale a
Bletchley park
(UK)
https://medium.com/@AINowInstitute/
whitewashing-tech-why-the-erasures-
of-the-past-matter-today-
166d0d5e2789

Dartmouth college negli anni Sessanta
• How computing pioneers at Dartmouth in the 1960s gave rise to the
macho tech culture we see today.
• Looking back at that time, it also seems safe to conclude “computing
Dartmouth style” was a decidedly masculine endeavour
A People’s History of Computing in the United States By Joy Lisi
Rankin (Slate, 1, nov 2018)

Fonte D’Ignazio, Klein, data feminism, 2020, p. 27

La situazione delle donne nei posti di lavoro tecnologici
(2020)
• 26% dei lavori tecnologici sono svolti da donne
• Solo il 3% dei lavori relativi ai computer sono svolti da
donne afroamericane, 6% da donne asiatiche, 2% da
donne ispaniche
• 50% di queste donne dicono di aver sperimentato una
discriminazione di genere sul posto di lavoro.
• Di positivo possiamo dire che in america si sta
riducendo il gap stipendiale nei lavori che richiedono
alte competenze
https://builtin.com/women-tech/women-in-tech-
workplace-statistics

Link alla
descrizione della
protesta “Google
walkout for real
change” Nov,1
2018
• https://nymag.com/intelligencer/2019/02/can-
the-google-walkout-bring-about-change-at-tech-
companies.html

Google licenzia Timnit Gebru (ethical AI team)
• https://www.youtube.com/watch?v=vDtOxrV9Bqc
• Schwab C.(2021)‘This is bigger than just Timnit’: How
Google tried to silence a critic and ignited a
movement, in fastcompany (26-02-2021)
https://www.fastcompany.com/90608471/timnit-
gebru-google-ai-ethics-equitable-tech-movement

La testimonianza di Timnit Gebru licenziata da
Google a dicembre 2020
• “It wasn’t enough that they created a hostile work
environment for people like me [and are building]
products that are explicitly harmful to people in our
community. It’s not enough that they don’t listen
when you say something,” Gebru says. “Then they try
to silence your scientific voice.”
https://www.fastcompany.com/90608471/timnit-
gebru-google-ai-ethics-equitable-tech-movement

Margaret Mitchell
viene licenziata il 19
febbraio scorso - lei
è l’altra coleader del
google Ethical AI
team
Ethics washing

La disparità nei dirigenti delle aziende della
Silicon valley
• The sound of disparity in the Silicon Valley
https://www.revealnews.org/blog/the-sound-of-disparity-data-
directed-silicon-valley-diversity-choir/
La valle oscura di Anna Wiener racconta il sottile ma profondo
ambiente di ostilità e discriminazione che si trova di fronte una giovane
donna decisa a fare carriera tra le start-up della Silicon Valley (Adelphi,
2020)

Il funzionamento della
categorizzazione algoritmica
Pattern recognition e sistemi di raccomandazione

Gli errori della classificazione
• L’ornitorinco fu scoperto nel 1799 in australia, ma quando
arrivò in Europa gli esperti si convinsero che era un falso
animale perché non corrispondeva alle classificazioni vigenti
• Solo nel 1939 il National Geographic ne studiò le
caratteristiche
• È un mammifero, ma depone le uova
• allatta i suoi cuccioli, ma non ha i capezzoli, secerne il latte
direttamente dalla pelle, come fosse sudore, è velenoso, un
caso quasi unico tra i mammiferi
• Ha i piedi palmati, la coda da castoro, il becco di un'anatra e il
pelo di una lontra...

Pattern recognition e algoritmi di
raccomandazione
• Il pattern recognition (riconoscimento di modelli) è
alla base delle tecniche algoritmiche di
raccomandazione, previsione e fraud detection
• Si tratta di metodi che si propongono di trovare
delle regolarità individuando schemi di
comportamento uniforme nell’ambito delle serie di
dati usate per l’addestramento

Criteri di astrazione nel pattern recognition
• Principio di induzione su una serie di eventi (quello che è
accaduto in passato si ripeterà in futuro)
• Principio di somiglianza: oggetti simili (secondo un criterio)
si comporteranno probabilmente in maniera simile in
alcune circostanze
N.B. tali principi sono probabilistici: hanno bisogno di una
rappresentazione matematica per prevedere l’evento futuro
e l’associazione o profilazione (es. collaborative filtering di
Amazon, algoritmi di Netflix e spotify)

Clusterizzazione e induzione sono interpretazioni anche
se usano la matematica
• Nella vita sociale e nella storia collettiva e personale
quando si esercita il giudizio, questo è basato
sull’interpretazione
• Le interpretazioni sono incerte e la loro forza dipende
dal potere della soggettività che le esprime
• La classificazione ha vincitori e sconfitti, non è
neutrale

Algoritmi per la selezione e
l’organizzazione delle previsioni
• L’organizzazione dei contenuti digitali, compresi
immagini, suoni e video è basata sul funzionamento
dei sistemi di raccomandazione che cercano
somiglianze nei dati del passato e li riproducono nel
presente
• si può dimostrare che gli algoritmi tendono a
reiterare e anzi amplificare gli stereotipi e pregiudizi
di cui sono intessuti i dati sui quali si sono addestrati
• Amplificano i bias seppelliti nei corpora attraverso
bias algoritmici che sono anche più invisibili perché
considerati neutrali e tecnici

I sistemi tecnici incorporano giudizi
(sostenere i bias)
• tech designers encode judgments into technical systems but claim
that the racist results of their designs are entirely exterior to the
encoding process
• Race itself [can be understood] as a kind of tool – one designed to
stratify and sanctify social injustice as part of the architecture of
everyday life
Ruha benjamin 2019, pp.11-12, 17

4 meccanismi critici per l’archiviazione e la
selezione algoritmica
• La parzialità e il rumore dei dati di partenza
• L’orientamento dei dati di training usati per
addestrare l’algoritmo
• Il meccanismo di interpretazione dei dati offerto
dall’algoritmo
• La definizione di ciò che viene considerato un
successo per l’output, cioè il risultato ottenuto

Tra ultra-empirismo e razionalismo ideologico
• L’idea di usare criteri univoci e prestabiliti per
interpretare dati complessi e incerti produce esiti
incontrollati
• È guidata da una fede ultra-empirista nella possibilità
che i fenomeni siano correttamente rappresentati dai
dati, come se i dati fossero privi di interpretazione
• E da una fiducia estrema nella possibilità che le
correlazioni individuate siano rappresentative di una
razionalità adamantina
• Ne consegue la tendenza a riprodurre il passato nella
previsione del futuro che penalizza gruppi già oggetto
di discriminazione, introducendo bias algoritmici (per
esempio nel caso delle discriminazioni di genere)

Il tentativo di
automazione del
reclutamento di
Amazon
• “Everyone wanted this holy grail,” one of the
people said. “They literally wanted it to be an
engine where I’m going to give you 100 resumes,
it will spit out the top five, and we’ll hire those.”
• Ma si è scoperto che l’algoritmo discriminava le
candidate
https://www.reuters.com/article/us-amazon-com-jobs-automation-
insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-
idUSKCN1MK08G

Automatizzare il linguaggio e i
suoi demoni
La tendenza dei big data a incorporare pregiudizi di genere viene amplificata dai
potenti sistemi intelligenti per comprendere e riprodurre il linguaggio

GloVe e i pregiudizi culturali su
genere e origine etnica
• GloVe is a machine learning algorithm used
in NLP that shows biases similar to those of
humans
• The number, variety and substantive
importance of our results raise the
possibility that all implicit human biases are
reflected in the statistical properties of
language.
• Our work has implication for AI and machine
learning because of the concern that these
technologies may perpetuate cultural
stereotypes.
Caliskan, Bryson Narayanan 2017, 185

Responsabilità delle machine e stereotipi
culturali
• Our findings suggest that if we build and intelligent
system that learns enough about the properties of
language to be able to understand and produce it, in
the process it will also acquire historical cultural
associations, some of which can be objectionable.
• Further concerns may arise as AI is given agency in
our society. If machine learning technologies used for
say résumé screening were to imbibe cultural
stereotypes, it may result in prejudiced outcomes
Caliskan, Bryson Narayanan 2017, 185

Il traduttore di Google tende a modificare il sesso
delle professioni assecondando i cliché
• Per google translate non esistono le donne storiche,le
presidenti i soldati e i dottori donne, mentre la
qualifica di infermiere riguarda solo le donne
• Nicolas Kayser-Bril 17 settembre 2020 Algorithm
Watch
https://algorithmwatch.org/en/story/google-
translate-gender-bias/

Quando più grande è troppo grande nei
modelli del linguaggio?
• L’articolo per il quale Gebru è stata licenziata: Emily
M. Bender, Timnit Gebru, Angelina McMillan-Major,
and Shmargaret Shmitchell. 2021. On the Dangers of
Stochastic Parrots: Can Language Models Be Too Big?.
In Conference on Fairness, Accountability, and Trans-
parency (FAccT ’21), March 3–10, 2021, Virtual Event,
Canada.ACM, NewYork, NY, USA, 14 pages.
https://doi.org/10.1145/3442188.3445922
http://faculty.washington.edu/ebender/papers/Stoch
astic_Parrots.pdf

La rappresentazione dei gruppi etnici e
femminili in google e il ruolo dell’arte
Il funzionamento del filtro: la mediazione tra visibile e invisibile

Tra visibile e invisibile
• What are computers meant to recognize in an image and what is
misrecognized or even completely invisible? Next, we look at the
method for introducing images into computer systems and look at
how taxonomies order the foundational concepts that will become
intelligible to a computer system.
Crawford Paglen 2019

Fonte excavating.ai

Facial recognition failure with afro american
women
Nell’articolo Gender Shades (2018)
Joy Buolamwini e Timnit Gebru
hanno dimostrato che i sistemi di
riconoscimento facciale tendevano a
non funzionare bene quando i volti
erano quelli di donne afroamericane,
mostrando che i data base di
immagini sui quali erano addestrati i
metodi di riconoscimento erano privi
di sufficienti esempi di quella
categoria
In conseguenza di questo risultato alcune
aziende come IBM ha cercato di fare
accordi con paesi africani per avere
accesso a esempi di volti che potessero
risolvere il problema della diversity

La distinzione tra gay e straight
• Preciado segnala un articolo di Wang e Kosinski (2018) che si propone
di usare una deep neural network per riconoscere dal volto delle
persone il loro orientamento sessuale. Gay o Straight? Vi si dichiara
che la rete neurale è in grado, se gli si forniscono almeno 5 foto del
soggetto di stabilire se è o meno omosessuale nel 93% negli uomini e
nel 81% nelle donne
• Il progetto simile a tanti altri è preoccupante perché, diversamente
dai criminologi del passato, questi strumenti hanno a disposizione più
di 35.000 immagini di volti postate dagli utenti di un sito di online
dating in modo volontario e pubblico
Preciado 2019, p. 086

3x3x6 Taiwan pavilion Venice biennale 2019
• We are neither
homosexual nor
heterosexual but our
visual epistemologies are;
we are neither white nor
black but we are teaching
our machines the
language of
technopatriarchal
binarism and racism.
3x3x6 shows this by
allowing physical and
virtual visitors to send
selfies to the online
exhibition system
• Preciado 2019, p. 086

(Magritte 1929)
La Trahison des
images
(Paglen
2019/Magritte Ceci
n’Est Pas une Pomme
1964)
The Treachery of
Object Recognition

osservazioni finali

Pattern recognition: tra epistemologia e politica
• Non c’è nessuna neutralità nei giudizi degli
algoritmi
• Li gestiscono imprese private e tendono a
realizzare meccanismi di standardizzazione
• è oscuro quali siano i loro obiettivi e cosa sia
considerato un successo
• Come lavorano per pulire i dati?
• Qual è il sistema di matematizzazione e
valutazione dei dati?

questioni critiche
• Il modo in cui si cercano le regolarità e le abitudini
delle persone non è mai innocente
• Include una visione pregiudiziale su “how differences
are ‘latently encoded’” (Chun 2019, 65)
• è urgente monitorare il tasso di errore degli strumenti
algoritmici anche rispetto alla capacità umana: quanti
falsi positivi? e quanti falsi negativi si ottengono?
• La normatività della categorizzazione e l’effetto di
previsioni che si autoavverano

Come decolonizzare l’Intelligenza
artificiale?
• L’intelligenza artificiale si basa sugli stereotipi propri della relazione
coloniale con con minoranze e marginalità varie
• Non solo tende a riprodurre gli stereotipi di genere, ma ogni forma di
diversità intersezionale tende a essere schiacciata e minacciata nella
sua identità complessa
• I meccanismi di astrazione che sono alla base della classificazione dei
sistemi di AI spingono sottilmente e implicitamente ad amplificare i
pregiudizi contenuti in dati e algoritmi per dare loro senso
• È necessario aumentare la consapevolezza di questi problemi per
poter intervenire e risolverli

fonti bibliografiche
• Benjamin R. (2019) Race after technology, Polity Press, London.
• Chun W. (2019) Queerying Homophily, in Pattern discrimination, Minnesota univ.
Press, lunenburg.
• Buolamwini, J., & Gebru, T. (2018, January). Gender shades: Intersectional accuracy
disparities in commercial gender classification. In Conference on fairness,
accountability and transparency (pp. 77-91).
• Kate Crawford and Trevor Paglen, “Excavating AI: The Politics of Training Sets for
Machine Learning (September 19, 2019) https://excavating.ai
• Gillespie, T. (2014). The relevance of algorithms. Media technologies: Essays on
communication, materiality, and society, 167, 167.
• Preciado Paul B. (2019) Dissident interfaces: Shu Lea Cheang’s 3x3x9 and the digital
avant-garde, in 3x3x6 catalogo del Taiwan Pavilion, Venice Biennale (2019) curated
by P.B. Preciado, Taipei Fine Arts Museum, Taiwan, pp. 069-090.
• Rouvroy, A., & Berns, T. (2013). Gouvernementalité algorithmique et perspectives
d'émancipation. Réseaux, (1), 163-196.
• Steyerl H. (2019) A sea of data: pattern recognition and corporate animism (forked
version), in Pattern discrimination, Minnesota univ. Press, lunenburg, pp.1-22.
• Wang, Y., & Kosinski, M. (2018). Deep neural networks are more accurate than
humans at detecting sexual orientation from facial images. Journal of personality
and social psychology, 114(2), 246, preprint available: https://psyarxiv.com/hv28a/

Altri Link utili
• Data+ feminism Lab @ MIT (Catherine D'Ignazio Director)
https://dataplusfeminism.mit.edu/
• Chan A., Chinasa T. O., Terner Z., Wang A. (2021) The Limits of Global
Inclusion in AI Development in Arxiv
https://arxiv.org/pdf/2102.01265.pdf

AIMOOC 7.1 - AI e pregiudizi - Teresa Numerico

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie AIMOOC 7.1 - AI e pregiudizi - Teresa Numerico

Ähnlich wie AIMOOC 7.1 - AI e pregiudizi - Teresa Numerico (20)

Mehr von Alessandro Bogliolo

Mehr von Alessandro Bogliolo (20)

AIMOOC 7.1 - AI e pregiudizi - Teresa Numerico