L’APPROFONDIMENTO – Software pericolosi
Trentacinque anni fa, il 17 Gennaio 1987, un Paziente oncologico si recava allo Yakima Valley Memorial Hospital (nello stato di Washington, USA) per un trattamento radioterapico da effettuare con Therac-25, un acceleratore che – per la tecnologia di allora – era all’avanguardia. Tuttavia, a fronte di una dose programmata di 85 rad, la dose erogata da Therac-25 fu superiore di oltre 100 volte.
Altri 5 casi di gravissimo sovradosaggio si erano verificati con lo stesso acceleratore in quattro centri nordamericani nei due anni precedenti. Questi incidenti non sono stati certo gli unici che si sono verificati in radioterapia (o più in generale in medicina), ma vengono ancora studiati per quella che risultò essere stata la loro causa: un malfunzionamento software.
Infatti, il responsabile del danno arrecato da Therac-25 ai Pazienti era stato il software realizzato per rendere più sicuri alcuni passaggi “manuali” della procedura radioterapica. Gli errori di programmazione di questo software, inizialmente negati dal produttore, furono laboriosamente individuati e la correzione arrivò solo dopo alcuni tentativi parzialmente efficaci.
Va sottolineato che nei 35 anni trascorsi dall’incidente del 1987 il software è diventato molto più sofisticato ma – al tempo stesso – enormemente più pervasivo. Per questo oggi è ancora più importante che l’affidabilità dei software sia sempre verificata con grande scrupolo.
Basta pensare al difettoso funzionamento del software progettato per aiutare i piloti e aumentare la sicurezza in volo, che è stato chiamato in causa nella genesi di due disastri aerei che hanno coinvolto aeroplani Boeing 737 MAX.
Anche in medicina molti software vengono continuamente progettati e introdotti nella pratica clinica per guidare il comportamento degli operatori e aumentare la qualità dell’assistenza. In particolare, negli ultimi anni sono aumentate – per numero e importanza – le applicazioni di intelligenza artificiale volte ad aiutare i medici nella diagnosi e nella cura dei Pazienti.
La finalità di questi software è migliorare i processi decisionali del medico, grazie all’elaborazione di enormi masse di dati, non dominabili dal cervello umano. Ma il modo con cui i sistemi di intelligenza artificiale arrivano a produrre i loro risultati non è sempre comprensibile dagli utilizzatori, che devono spesso accettare tali risultati solo sulla base dell’affidabilità che questi software hanno dimostrato nella fase sperimentale precedente alla commercializzazione.
In sostanza vengono adottate decisioni suggerite dall’intelligenza artificiale senza poter capire come il software sia arrivato a suggerire quelle decisioni. E ciò può comportare la comparsa di problemi inaspettati.
Per esempio, un recentissimo articolo pubblicato su Nature dimostra come le decisioni suggerite da alcuni algoritmi di intelligenza artificiale sfavoriscano Pazienti di sesso femminile appartenenti a classi socioeconomiche svantaggiate.
In pratica è più probabile che una persona malata venga erroneamente classificata come sana dal software se è una donna afroamericana di basso reddito piuttosto che un maschio bianco con elevate risorse economiche.
Le ragioni per le quali il software effettui in modo sistematico queste sotto-diagnosi nei gruppi più svantaggiati della popolazione non sono facilmente individuabili (per le caratteristiche proprie dell’intelligenza artificiale accennate prima), ma è molto preoccupante pensare che l’intelligenza artificiale possa contribuire a esacerbare diseguaglianze sistemiche nell’accesso ai servizi sanitari.
È un allarme che non va ignorato. Deve esserci un impegno continuo degli sviluppatori e degli utilizzatori ad analizzare criticamente il funzionamento dei software la cui utilizzazione cresce in modo esponenziale in medicina e altrove. Un’analisi rigorosa è di particolare importanza anche per contrastare il bias cognitivo che ci spinge a ritenere che gli algoritmi – con il loro illimitato potere di calcolo – siano sempre nel giusto e che siano inerentemente più affidabili del nostro limitato cervello umano.
Davide Caramella
