Il pregiudizio delle macchine e la fisiognomica machine learned · 2016-11-26 by mmzz
Vediamo sempre più diffuso l’impiego del machine learning (ML).
Uno degli impieghi più recenti è nella lotta contro il crimine.
Nel film Minority Report non sono macchine, o perlomeno non solo macchine, a combattere il crimine prima che accada. Ci sono i precog, in grado di vedere brevemente nel futuro.
P.K.Dick ci da questa spiegazione – fantascientifica— del funzionamento della squadra pre-crimine.
Il machine learning non ci da spiegazioni scientifiche di come funziona una previsione.
Costruisce un modello sulla base di algoritmi e voluminosi insiemi di dati dai quali “impara” quali sono i fattori rilevanti. L’umano può confermare i risultati giusti e rafforzare l’apprendimento.
Ad esempio questo articolo: Automated Inference on Criminality using Face Images, dichiara che, a partire da un insieme di fotografie omogenee prese in pari numero tra persone condannate per gravi reati e incensurati, la macchina ha appreso come distinguere le persone appartenenti ai due gruppi, e di conseguenza è ora in grado di inferire correttamente, a partire da una fotografia, a quale dei due gruppi una persona appartiene.
Questo consentirebbe di identificare eventuali “tratti innati” del criminale senza alcun “pregiudizio” dovuto a “past experience, race, religion, political doctrine, gender, age” (p.2) e in assenza di fatica, privazione dal sonno, o cattiva alimentazione. Tutte cose che capitano agli umani, ma non alle macchine, che quindi sono “oggettive” e sono in grado di identificare i tratti innati nascosti nelle più “delicate caratteristiche” del volto.
Pensavamo che la fisiognomica e le dottrine del darwinismo sociale fossero morte e sepolte, ma sono pronte a resuscitare dietro la presunta neutralità dello strumento tecnologico.
Vi è una pericolosa seduzione antiscientifica dietro il machine learning, che avevo già messo in evidenza in una critica di certi procedimenti statistici “black box” che compivano inferenze saltando ogni processo esplicativo.
All’epoca (2003) dimostrammo , con MC Martini che il segno politico dei parlamentari italiani era associabile a quello zodiacale in modo statisticamente significativo.
La seduzione è quella di saltare il processo esplicativo, la spiegazione, del perché il fenomeno può essere descritto in un certo modo.
Nel caso in questione nessuno sente il bisogno di capire perché le foto dei detenuti/pregiudicati e quelle degli incensurati liberi risultino diverse.
Il problema che vi è il rischio che qualcuno sia sedotto della “oggettività” e “scientificità” del procedimento offerto dal machine learning e adottare il modello “fisiognomico” correndo il rischio di rafforzare le cause (che restano ignote) per cui (forse) il modello funziona.
Certamente nessuno verrà incriminato in base alla foto sul passaporto, ma le implicite previsioni fatte seguendo il modello descrittivo contribuiranno ulteriormente alla costruzione del criminale prima che questo abbia mai commesso un crimine.
E’ la famosa profezia che si autoavvera di Robert K. Merton.
Certo, si può dire che questi comportamenti discriminanti non sono una novità: la diffidenza verso certi “brutti ceffi” o persone con segni visibili di una certa appartenenza sociale o etnica… Banalmente: pregiudizio.
Potremmo dire che il machine learning rappresenta l’automazione del progiudizio.
Il ML non richiede un modello che sia esplicativo di nessi causali, tuttavia produce un modello descrittivo (ma opaco), usabile come modello predittivo e una possibile pericolosa conseguenza è che
finisca per diventare prescrittivo.
Prima di adottare modelli ML in contesti socialmente rilevanti che possano avere conseguenze per i cittadini sarebbe ragionevole pretendere che i nessi causali dietro al modello vengano esplicitati e validati.
Altrimenti qualsiasi scelta che si appoggi sul modello dovrebbe essere deprecata.
Se non mi spieghi perchè la macchina decide, in base a quali variabili, non posso accettare di piegare il mio giudizio al suo pregiudizio.
Festa Della Repubblica digiuno - pensieri dalla zona di interdizione/2