I modelli matematici gestiscono la nostra economia, dalle pubblicità alle prigioni.

Questi modelli possono venire usati per scremare i CV, misurare la produttività di un lavoratore, determinare il candidato migliore per comprare una casa o per ricevere un prestito, misurare la pericolosità e il crimine in un quartiere e molti altri modi. Molte aziende che usano questi modelli guardano ai propri profitti per verificare se il modello matematico funziona, e di conseguenza maggiori profitti indicano che l’algoritmo sta funzionando bene per loro, e diventa un indice di verità.

Questi modelli matematici sono spesso considerati imparziali, oggettivi e sempre corretti. Negli ultimi anni però sono emersi molti studi che esaminano l’impatto del design di questi algoritmi, e di come molti di essi siano discriminatori. Infatti molti dei modelli matematici che regolano i più svariati ambiti della nostra vita, dal merito creditizio al monitoraggio lavorativo, sono abitualmente creati (anche involontariamente) con dei pregiudizi e bias che li rendono strumenti di disuguaglianza sociale. In questo articolo verranno esaminati 3 problemi che si possono trovare in questi modelli, e cosa questo comporta a livello sociale e per i data scientists in tutto il mondo.

Algorithmic bias

Problema 1: Feedback

I modelli matematici che tengono in piedi l’economia delle analitiche avanzate sono basati su scelte umane. Le scelte di chi li progetta. È molto semplice scegliere e imprimere le proprie ideologie all’interno di un modello ed a volte queste scelte possono sembrare non intenzionali. Algoritmi e software quindi possono includere pregiudizi, fraintendimenti al loro interno, che diventano invisibili a tutti tranne ai matematici e data scientists che li hanno progettati, e che hanno conseguenze molto evidenti, come rendere i ricchi più ricchi i poveri più poveri. 

 Il problema è che le vittime di questi errori a livello di sistema spesso non hanno i mezzi per capire di essere stati vittima di un errore e una discriminazione a livello di algoritmo, e anche se avessero il dubbio sarebbe quasi impossibile da provare dato che gli algoritmi non possono essere controllati.

I modelli statistici hanno bisogno di feedback per imparare dai propri errori, altrimenti finiscono per definire la propria realtà e usarla per giustificare i risultati ottenuti. Questo succede molto spesso, e gli errori continuano a ripetersi. Queste discriminazioni si verificano sulle basi del reddito, classe, genere, razza, etnia, ed in genere sono le masse ad essere valutate, standardizzate e gestite da macchinari, che puniscono più facilmente chi è già in una condizione di svantaggio. Gli errori quindi entrano in loop in quanto gli algoritmi non i imparano dai propri errori e non riconoscono i propri bias.

Problema 2: La realtà 

I tecnici potrebbero non accorgersi mai dei propri bias internalizzati, che proprio perché sono internalizzati non vengono notati. Spesso i data scientists possono perdere il contatto con la realtà delle persone dall’altro lato dell’algoritmo. Ovviamente tutti si rendono conto che un errore da parte di un algoritmo potrebbe avere come conseguenza essere scartati da un lavoro, perdere una casa, essere licenziati, non venire ammessi ad un’università, essere fermati dalla polizia, andare in prigione, ma allo stesso tempo il fatto che queste conseguenze siano  reali ed accadano a persone reali viene ignorato. Queste persone vengono considerate incidenti di percorso all’interno di un sistema che funziona e che fattura.

Problema 3: Dati assenti 

Un’altra conseguenza di non prestare attenzione né interrogarsi riguardo ai propri bias internalizzati è il fatto che spesso non ci si accorge dei dati che mancano. Per esempio Caroline Criado Perez nel suo libro “Invisible Women” presenta il gender data gap, ovvero il fatto che l’essere uomo e l’essere bianco sono caratteristiche vengono spesso universalizzate e considerate “la norma”, e niente al di fuori di essa viene analizzata. Macchine, orari di lavoro, uffici, cure mediche sono studiate e progettate dal punto di vista maschile. Questo comporta che  per una donna sia più probabile avere una malattia che non viene diagnosticata, morire in un incidente d’auto, subire molestie sessuali all’interno del posto di lavoro, e avere un telefono di dimensioni sbagliate etc.

Come poter ripensare i modelli

Lavorare con dati incompleti o non tenere conto di discriminazioni internalizzate e sistemiche comporta problemi di discriminazioni all’ interno di lavoro, istruzione, carceri, e penalizza chi è considerato “diverso” in ogni circostanza. Il problema è che algoritmi  software e algoritmi si supportano a vicenda, dato che interi modelli di business di aziende come università private, di prestiti personali etc si basano su questi modelli. 

Ovviamente le ingiustizie e le discriminazioni sulle basi di genere, sessualità, razza, ci sono sempre state, ma i processi decisionali umani possono evolvere, mentre le macchine no. 

Le analitiche avanzate non possono inventare un futuro migliore, per questo c’è bisogno di immaginare e creare modelli migliori che tengano conto di giustizia, diversità, e che siano implementati all’interno degli algoritmi. Anche se significa dare priorità alla giustizia sul profitto. 

I modelli matematici devono ritornare ad essere strumenti e come data scientists e aziende tech è nostra responsabilità ammettere che gli algoritmi  non possono fare tutto, che è necessario testare e controllarli per assicurarsi che non ci siano bias. Se continuiamo a trattare i modelli matematici come assoluti e oggettivi continueremo ad evitare di ammettere la nostra responsabilità all’ interno di questi sistemi. Il mese del pride non serve a dipingere la nostra azienda di arcobaleno, ma ci offre la possibilità di riflettere su ciò che è importante per noi e ricordarci che il primo pride è stata una lotta all’ ingiustizia, alla violenza e alla discriminazione. Per questo dobbiamo riflettere e re-immaginare i nostri valori e la nostra realtà. É uno sforzo ed una lotta per essere uniti e stravolgere le regole del gioco, ripartendo dai nostri valori.

Vuoi conoscere di più sull’argomento? Scopri di più qui sotto o leggi il nostro blog

È ora di ripensare al potere degli algoritmi

Mirradio: Algoritmi e bias