Da tempo la pubblica amministrazione ha cominciato a fare ricorso alla gestione automatizzata dei dati. Il boom dell’intelligenza artificiale ha fornito un’ulteriore spinta. La tentazione, del resto, è forte: meno personale richiesto, meno tempo, meno risorse: in una parola, più efficienza.
La macchina non si stanca, può processare miliardi di informazioni al secondo, una mole di lavoro che prima avrebbe richiesto settimane. Eppure, l’esperienza ha mostrato i limiti di un approccio eccessivamente sbilanciato verso l’ottimismo: come nel caso di Syry, il sistema olandese che ha spedito verifiche fiscali a migliaia cittadini. Inchieste indipendenti hanno mostrato che l’algoritmo era distorto, curvato da pregiudizi. E a farne le spese sono le categorie più svantaggiate: sia per le distorsioni implicite nelle black box dei software, sia perché – in caso di problemi – per queste ultime è più difficile ottenere giustizia.
Su base volontaria
Fermare le conseguenze di un sistema mal tarato è difficile: una delle caratteristiche principali è la scalabilità, cioè la possibilità di prendere migliaia di decisioni all’istante. Per questo un lavoro come quello dell’Osservatorio sull’Amministrazione automatizzata è fondamentale. Avviato nel 2018 da un gruppo di volontari, ha appena pubblicato un rapporto che mappa i sistemi in uso in Italia, Stato che – sorprendentemente – è secondo solo ai Paesi Bassi quanto a impiego di queste tecnologie in Europa.
Il rapporto è una base imprescindibile per qualunque ricerca sul tema focalizzata sulla Penisola. “Ma, dopo averlo preparato, troviamo preoccupante che un compito del genere sia toccato a noi”, dice a Wired Marta Marchiori, dottoranda in Intelligenza artificiale all’università di Pisa, tra le curatrici del volume. Il perché è presto detto: “Manca un registro pubblico aggiornato e sistematico che evidenzi l’utilizzo di sistemi avanzati di intelligenza artificiale nella pubblica amministrazione del nostro paese”, prosegue. Un compito che di recente si è data l’Agenzia per l’Italia digitale (Agid) con il suo piano per l’AI nella PA. Marchiori precisa: “È chiaro che il nostro lavoro ha dei limiti: del resto è stato realizzato su base volontaria. Ma, nondimeno, è un’occasione per evidenziare il divario enorme che c’è fra quello che dovrebbe essere e la situazione reale”.
Rischio deresponsabilizzazione
Ma perché le pubbliche amministrazioni si rivolgono sempre più spesso a questo tipo di sistemi? La risposta si trova nelle prime pagine. “Molto spesso, l’automazione è vista come un modo per migliorare la qualità dei servizi e aumentarne l’efficienza”, si legge, “data la possibilità di trattare ed incrociare enormi quantità di dati in tempi molto brevi”. Ma, prosegue il testo, “prove crescenti suggeriscono che un utilizzo disattento, poco trasparente e non sufficientemente responsabile dei sistemi automatizzati nell’erogazione dei servizi pubblici può impattare criticamente la vita dei cittadini. Si fa riferimento ad ambiti particolarmente sensibili (lavoro, finanza, sanità, scuola etc.): laddove in precedenza uno stesso compito complesso e ad alta responsabilità era eseguito da un essere umano, oggi per la prima volta è possibile doversi confrontare con processi automatizzati senza esserne a conoscenza”.
Il rischio concreto dell’introduzione di questi tool è “la deresponsabilizzazione dell’amministrazione, che, invece di appoggiarsi a tali sistemi come strumento di supporto, spesso affida l’intero processo decisionale agli algoritmi. Una delle differenze più significative tra una decisione umana ed una automatizzata è la scalabilità degli output algoritmici: la capacità di analizzare enormi quantità di dati e di trovare correlazioni tra situazioni simili se ricorre una stessa variabile mette la macchina nella condizione di poter applicare una stessa decisione a milioni di persone nello stesso istante. Un rischio connesso è quello di eliminare la discrezionalità, raggruppando i cittadini in macro categorie definite in modo arbitrario dalla macchina stessa”. Un inferno distopico che per alcuni è già realtà, “come nel caso dell’assegnazione delle cattedre agli insegnanti di qualche anno fa”, riprende Marchiori. “E trovare un responsabile, in questi casi, diventa molto difficile”: di chi è la colpa, della casa produttrice del software, di chi l’ha allenato, del dirigente che l’ha scelto, di chi ha supervisionato o avrebbe dovuto farlo?
