“Siamo disposti ad accettare il fatto che a decidere il lavoro del futuro della nostra bambina sia un algoritmo che la discrimina perché il suo genere non è rappresentato nelle stanze in cui viene costruito?”
Questa la domanda di chiusura del TED talk di Giulia Baccarin, ingegnere biomedico e imprenditrice, soprannominata “la regina degli algoritmi” per aver dato vita a sistemi innovativi utili alla manutenzione predittiva di macchine industriali.
Una donna in IT di successo che mette in evidenza un rischio: quello di una Intelligenza Artificiale che possa generare in futuro macchine pronte a prendere decisioni autonome ma cresciute a pane e linguaggio (e dati) infarciti di stereotipi e pregiudizi.
Il rischio esclusione è concreto?
“Non so fino a che punto il problema sia degli algoritmi o della mancanza e/o scarsa biodiversità dei dati“ – commenta Marco Caressa. “Come la tesi sperimentale della Baccarin in realtà era più utile ai nonni che alle nonne perché il suo panel di tester era solo maschile, così gli algoritmi ragionano sui dati che hanno. Se tu predisponi un algoritmo recruiter per trovare candidati per ruoli che richiedano determinate competenze e background, il problema non è che ignorano questo o quel gruppo sociale, ma il fatto che gli elementi di quel gruppo sociale che hanno mediamente quelle competenze e quel background sono di meno. Quindi i dati su cui l’algoritmo lavora devono essere unbiased e rappresentativi di tutte le possibilità, ma se per una posizione professionale io istruisco l’algoritmo a trovarmi candidati tra laureati STEM, se poi la proporzione è 80 uomini e 20 donne il problema purtroppo non è dell’algoritmo, ma del fatto che abbiamo una forte sperequazione tra uomini e donne per quel tipo di background.
Cioè è un problema sociale, culturale e politico. Perché le ragazze che poi diventano donne non sono incentivate o incuriosite ai percorsi di studio STEM? Cosa facciamo per incentivarle o incuriosirle? Quando studiavo ingegneria il rapporto ragazzi/ragazze era 100 a 1 (a ingegneria nucleare non ce n’era nessuna!). Oggi sarà migliorato un po’ ma siamo lontani dal 50%-50% che sarebbe auspicabile e se avessimo 50 e 50 l’algoritmo selezionerebbe diversamente. Possiamo sempre introdurre un parametro di configurazione quote rosa nell’algoritmo ma il problema sociale rimarrebbe comunque. Quindi ho apprezzato tantissimo il TED speech della Baccarin, ma un po’ mi ha lasciato perplesso quando fa l’esperimento del cellulare in sala chiedendo di cercare CEO. Mi devo stupire che ci siano poche donne e questo mi riporta al problema culturale e dei percorsi che dicevamo prima, ma non mi devo stupire che ci siano pochi disabili, perché statisticamente è una popolazione poco numerosa ed evidentemente sarà poco rappresentata in ogni professione.
Sempre riguardo i dati, il vero problema credo sia la loro protezione. Se ipoteticamente facessimo un colloquio di lavoro in chat, senza poter vedere o sentire il candidato e quindi sapere se sia uomo o donna (una specie di test di Turing insomma) è probabile che elimineremmo alcuni pregiudizi. Il fatto è che più sanno di me più possono usarlo contro di me. Bello l’esempio della Baccarin sull’amica che aveva la depressione e che forse non sarebbe riuscita a fare carriera se avessero potuto prevedere mesi prima questo suo problema. Immaginiamo cosa significherebbe per l’HR avere a disposizione i dati del genoma dei candidati per concludere che è meglio non assumere Tizio che ha una probabilità del 70% di ammalarsi di tumore entro 18 mesi.
Dobbiamo fare un salto culturale perché il management delle nostre aziende è spesso imbelle e scarso. Ricordo un servizio tv su una giovane ricercatrice con PhD in biotecnologie, ragazza madre. In Italia non trovava nulla né in azienda né in università. Scrisse a un professore in Francia dicendo di averlo visto a una conferenza e di sognare di lavorare per lui. Dopo 2 giorni gli arrivò una mail del professore che la invitava a Parigi, dove venne assunta in un centro di ricerca. In quel contesto c’era una predilezione per le ragazze madri perché hanno una resilienza e una motivazione feroce che gli altri non hanno; per questo le mettono in condizione di operare al meglio con un nido attrezzato nel centro di ricerca. Filantropia? No. Managerialità”.
Colpa degli algoritmi o dei dati?
“Non credo ci siano algoritmi che contengono esplicitamente delle if per discriminare il genere, l’etnia, la religione, ecc.” – dice Paolo Caressa.
“Gli algoritmi di cui parliamo sono quelli di Machine Learning, che in sostanza sono tutti algoritmi di ottimizzazione, cioè a partire da un certo insieme di dati che si sottopone loro, che tentano di inferire informazioni che non sono evidenti o non sono presenti esplicitamente nei dati, e per farlo usano un procedimento iterativo, tipicamente non lineare, che combina in modo casuale i dati disponibili numerose volte.
In questo senso gli algoritmi di Machine Learning incarnano i giudizi sintetici a priori del grande filosofo Immanuel Kant: contengono una parte a priori, cioè prestabilita, universale e deterministica, che è poi l’algoritmo stesso, e una parte sintetica, che è data dalla loro applicazione ai dati. Il bias di un algoritmo sta normalmente nella parte sintetica, nei dati.
Infatti un algoritmo di Machine Learning senza dati o con pochi dati è perfettamente inutile. Inversamente, un mucchio di dati senza un algoritmo di questo tipo ad elaborarli è inutilizzabile se non in modo molto elementare e per trarre informazioni che sono di per sé evidenti.
Facciamo un esempio: ci sono programmi che prendono in input testi nelle lingue umane, per esempio in inglese, e sono poi in grado di generare nuovi testi nello stile e con il contenuto di quelle lingue. Se l’algoritmo è ben fatto, dando in input al programma i discorsi di Joseph Goebbels ne avremo in output frasi e discorsi razzisti, sessisti, violenti e chissà che altro. Ma la colpa di questo bias è chiaramente del dato che viene dato in input al programma: lo stesso identico programma cui vengano dati in input i libri del Mahatma Gandhi produrrebbe discorsi edificanti e massime di saggezza.
In effetti questi programmi possono essere usati per misurare il grado di discriminazione di un corpus di documenti.
A ben vedere, accade con questi algoritmi quello che accade con qualsiasi entità in grado di apprendere incondizionatamente e acriticamente: per esempio, se fin da piccolo si educasse un bimbo alla superiorità degli uomini rispetto alle donne, come è accaduto sistematicamente ed esplicitamente nel passato e come in modo larvale continua ad accadere, il bimbo diverrà un adulto che, sinceramente e convintamente, crede nella superiorità maschile. Lo stesso vale per la superiorità razziale, religiosa e di qualsiasi altra natura: l’attitudine discriminatoria e i pregiudizi si apprendono nell’infanzia e poi è difficile sradicarli.
Pertanto, per impedire che un algoritmo discrimini una donna o una bambina non bisogna cambiare l’algoritmo, ma far sì che i dati disponibili siano in media meno sessisti e misogini. E l’unico modo per farlo è cambiare il comportamento degli uomini, non delle macchine”.
E se il futuro riservasse un modello di potere molto al maschile?
“A mio avviso – sostiene Grazia Cazzin – il problema non è tanto che nelle stanze in cui viene costruito l’algoritmo il genere femminile non sia rappresentato, quando più che i dati storici con cui ogni algoritmo apprende e tara i suoi comportamenti raccontano il mondo lavorativo e la società che conosciamo e che già discrimina le possibilità di futuro della nostra bambina.
Gli algoritmi sono in grado di intercettare le nuove tendenze e variazioni, per cui dando sufficiente respiro a questo, le chance potrebbero aumentare. Ma quello che farei con i modelli evoluti sarebbe più sviluppare modelli genetici in grado di dimostrarci dove andremo con un modello di potere molto al maschile, con tutto ciò che ne deriva sui versanti delle dinamiche sociali. E provando a perturbare il modello stesso con elementi più affini al genere femminile valutare quali benefici se ne potrebbero avere.
La scommessa però rimane sulla volontà di cedere ogni tanto il passo e non credo che un algoritmo possa arrivare alla complessità della nostra volontà”.
“In realtà – conclude Stefano Epifani, Presidente del Digital Transformation Institute – penso che la domanda di Giulia Baccarin sarebbe più corretta se posta in modo diverso: siamo disponibili ad accettare il fatto che a decidere il lavoro del futuro della nostra bambina sia un algoritmo la modalità in cui è formulato non viene condivisa con la società in cui sarà utilizzato?.
Nella domanda originale si da per scontato che un algoritmo discrimini. Non è l’algoritmo a discriminare, ma la scelta a monte di chi lo scrive che non può essere – come sottolinea Baccarin – fatta in stanze chiuse delle quali non si condividano le dinamiche. Sono queste scelte che vanno discusse e definite nell’ambito di politiche sociali specifiche ed attente.
Non sono certo che la soluzione passi da un semplicistico egualitarismo che taglia le differenze in nome di un tanto fantasioso quanto dannoso siamo tutti uguali, che fa sì che il sistema non debba tenere in considerazione le differenze (di genere come altre). Sono invece convinto che tali differenze (tra donne e uomini, ma anche tra giovani e meno giovani, tra normodotati e diversamente abili, e – in generale – tra chi è in una posizione di maggiore forza e chi, invece, ha esigenze diverse che vanno tutelate) debba prenderle in considerazione, e con grande attenzione, il sistema politico (che poi deve generare quello informatico). E quello che serve oggi, al solito, è la consapevolezza da parte di una classe politica (che mai come in questo periodo si sta dimostrando inadeguata e cialtrona) che alcune scelte non sono più rimandabili. Perchè, come dicevo prima, non è l’algoritmo a discriminare o meno, ma la logica politica di chi lo disegna. E dobbiamo passare da logiche e politiche orientate a non discriminare a logiche e politiche orientate a valorizzare le differenze e farne tesoro per la società. Perché se non è questa l’essenza reale delle Smart City e della Smart Society allora stiamo davvero tutti perdendo tempo. Ma per farlo ci vorrebbero politici consapevoli di questa dinamica di cambiamento, e su questo, evidentemente, dobbiamo ancora fare molta strada. La soluzione, purtroppo, non sarà evitare il problema, ma vedere questo problema risolto in stanze di cui probabilmente non conosceremo nemmeno gli occupanti.
Gli algoritmi aiutano a capire, ma per capire bisogna porre le giuste domande e farlo con i giusti obiettivi.”
