L’intelligenza artificiale (IA) sta rapidamente trasformando una vasta gamma di settori, dalla sanità alla finanza, fino ai servizi pubblici. Tuttavia, insieme alle opportunità che l’IA offre, emergono anche nuove sfide e rischi, che includono questioni etiche, rischi per la sicurezza delle informazioni e impatti su individui e gruppi sociali.

Gestire efficacemente questi rischi è cruciale per garantire che i sistemi di IA non solo funzionino correttamente, ma rispettino anche le normative e proteggano gli interessi di tutte le parti coinvolte.

Servono processi di gestione e valutazione del rischio

L’adozione responsabile di soluzioni di IA richiede processi di gestione e valutazione del rischio che, oltre a mitigare potenziali minacce, contribuiscano a rafforzare la fiducia degli utenti, promuovendo uno sviluppo sostenibile e sicuro delle tecnologie di IA.

In questo contesto, gli standard ISO in tema di IA svolgono un ruolo di supporto alle organizzazioni:

1. La ISO/IEC 42001:2023 delinea i requisiti per un sistema di gestione dell’IA, proponendo un quadro regolamentare che copre l’intero ciclo di vita dei sistemi di IA, dalla progettazione alla dismissione. Questo standard può essere utilizzato come linea guida per assicurare che i sistemi di IA siano sicuri, affidabili e conformi a normative e standard etici, integrando processi di valutazione del rischio e dell’impatto.
2. La ISO/IEC 23894:2023 fornisce un quadro di riferimento per la gestione del rischio dei sistemi di IA (AI risk management) richiamando la struttura del più ampio standard ISO 31000:2018 sulla gestione del rischio generale. La gestione del rischio si concentra sui fattori che possono compromettere gli obiettivi dell’organizzazione, e quindi l’organizzazione in sé, integrando processi di valutazione del rischio dell’IA (AI risk assessment), comprensivi delle fasi di identificazione, analisi e ponderazione.
3. La ISO/IEC DIS 42005, attualmente in fase di sviluppo, si concentra invece sulla valutazione dell’impatto dei sistemi di IA. A differenza del risk management, che riguarda aspetti di governance aziendale, l’impact assessment adotta una prospettiva più ristretta, focalizzandosi sugli effetti specifici che i sistemi di IA possono avere su gruppi limitati di parti interessate, come singoli individui, gruppi sociali o la società nel suo complesso.

In questo articolo ci si concentrerà in particolare sulla valutazione del rischio e valutazione d’impatto dei sistemi di IA, secondo le linee guida dei citati standard ISO.

La valutazione del rischio nei sistemi di IA

Il processo di valutazione del rischio nei sistemi di intelligenza artificiale (AI Risk Assessment) si inserisce all’interno del più ampio quadro di gestione del rischio (AI Risk Management). Come delineato nella ISO/IEC 23894, questo processo segue una struttura simile a quella prevista dalla ISO 31000, articolandosi in diverse fasi chiave:

1. Communication and consultation
2. Scope, context and criteria
3. Risk assessment, che include:
   • Risk identification
   • Risk analysis
   • Risk evaluation
4. Risk treatment
5. Monitoring and review
6. Recording and reporting

Tali fasi rappresentano il fondamento per una gestione efficace dei rischi nei sistemi di IA.

Tuttavia, in questa sede ci concentreremo in particolare sulle specificità del Risk Assessment, un’attività fondamentale che deve essere integrata nel ciclo di vita del sistema di IA.

Risk Identification (identificazione dei rischi)

La fase di identificazione dei rischi si concentra sull’individuazione delle potenziali fonti di rischio associate ad un sistema di IA e può essere suddivisa nelle sottofasi di seguito dettagliate.

Identificazione degli asset

Come suggerito dal citato standard ISO, l’organizzazione deve identificare gli asset coinvolti nell’ambito del ciclo di vita del sistema di IA, valutando sia i beni “tangibili” (come dati, modelli utilizzati ed il sistema di AI nel suo complesso) che intangibili (come la reputazione e la fiducia).

L’identificazione dei beni interessati deve estendersi anche a quelli attinenti ai singoli individui (come, ad es., protezione dei dati personali, privacy, salute e sicurezza) e alla società (come, ad es., l’ambiente, i valori culturali e l’equità sociale).

Fonti di rischio

Le fonti di rischio possono derivare da diversi ambiti, come il contesto dell’organizzazione, i processi, le prassi operative, il personale, l’ambiente fisico, i dati, la configurazione del sistema di IA, le risorse hardware e software, nonché i fattori di dipendenza dai fornitori. Queste fonti devono essere identificate in relazione al contesto specifico in cui si inserisce il singolo sistema di IA.

Un esempio importante è rappresentato dalla complessità dell’ambiente in cui opera l’IA. Gli ambienti più complessi, come nel contesto della guida autonoma, possono introdurre rischi aggiuntivi rispetto ad ambienti più semplici, poiché risulta più difficile prevedere e predefinire tutte le possibili condizioni e scenari.

Altri rischi possono emergere dall’insufficiente chiarezza e trasparenza degli algoritmi utilizzati, che può compromettere la fiducia verso sistema di IA impiegato qualora non risulti chiaro il processo decisionale e le eventuali limitazioni del sistema. Il livello di automazione rappresenta un’ulteriore fonte di rischio: sistemi altamente automatizzati, dove le decisioni umane sono limitate, possono comportare problemi nella gestione delle transizioni tra controllo umano e autonomia del sistema.

I rischi legati all’apprendimento automatizzato sono strettamente collegati alla qualità dei dati. Se i dati di addestramento non sono rappresentativi o di qualità sufficiente, possono emergere problemi come bias (pregiudizi), perdita di equità o compromissione della sicurezza. Anche la gestione inadeguata dei dati può portare a rischi etici e legali.

A questo si aggiungono i problemi hardware, come malfunzionamenti tecnici o limitazioni di capacità che possono incidere sulle prestazioni del sistema, specialmente in scenari che richiedono una potenza di calcolo elevata.

Inoltre, i rischi possono derivare dal ciclo di vita del sistema di IA, dalla progettazione iniziale alla dismissione. Un design inadeguato, una validazione insufficiente o la mancata manutenzione possono comportare un aumento del rischio, specialmente se il sistema viene riutilizzato in contesti diversi da quelli per cui era stato originariamente progettato.

Infine, anche il grado di maturità tecnologica può avere effetti sul rischio: le tecnologie meno mature comportano rischi più elevati, poiché sono meno conosciute o testate in scenari reali, il che può rendere difficile prevedere tutte le possibili criticità operative.

Al contrario, tecnologie più mature possono offrire una base più solida di dati ed esperienze, garantendo maggiore stabilità e affidabilità del sistema. Tuttavia, l’affidamento su tecnologie consolidate può comportare rischi legati alla loro difficoltà di adattamento a nuovi scenari, riducendo la flessibilità e potenzialmente limitando l’innovazione o la capacità di rispondere rapidamente a cambiamenti normativi, operativi o tecnologici.

Eventi e risultati potenziali

L’organizzazione deve identificare i potenziali eventi che potrebbero derivare dall’uso del sistema di IA e che potrebbero avere conseguenze sugli asset identificati (tangibili o intangibili).

Gli eventi possono essere individuati attraverso vari metodi, come l’analisi di studi scientifici e pubblicazioni tecniche di settore, standard internazionali, dati di mercato riferiti a sistemi simili, rapporti di incidenti, simulazioni o contributi di esperti interni ed esterni.

Identificazione dei controlli

I controlli devono essere identificati per mitigare le fonti di rischio e gli eventi potenziali.

Tali controlli, che possono essere organizzativi o tecnici, devono essere documentati e la loro efficacia operativa valutata periodicamente.

È inoltre essenziale considerare l’eventuale non adeguatezza (fallimento) dei controlli selezionati per valutarne l’effetto sul rischio complessivo.

Identificazione delle conseguenze

Nell’identificazione dei rischi, l’organizzazione deve considerare non solo le fonti di rischio e gli eventi potenziali, ma anche le conseguenze che questi possono generare.

Le conseguenze per l’organizzazione possono includere tempi di riparazione, opportunità perse o guadagnate, costi finanziari, danni reputazionali, sanzioni e contenziosi legali. Questi impatti sono specifici per l’organizzazione e influenzano la sua capacità operativa e competitiva.

Le conseguenze per individui, gruppi e società includono la perdita di riservatezza, compromissione della sicurezza, lesione di diritti umani, equità, incremento dell’impatto ambientale, etc. e possono essere oggetto di una specifica valutazione d’impatto (AI Impact Assessment, v. infra).

Risk Analysis (analisi del rischio)

Una volta identificate le fonti di rischio e le potenziali conseguenze, l’organizzazione deve passare alla fase di analisi del rischio, che prevede la valutazione più puntuale – ad es., attraverso l’assegnazione di valori – degli impatti e della probabilità di accadimento di tali rischi. Questa fase può essere suddivisa nelle seguenti sottofasi.

Valutazione degli impatti

L’organizzazione deve distinguere tra tre categorie principali di impatto: aziendale, individuale e sociale:

1. L’analisi dell’impatto aziendale esamina il grado in cui i rischi possono influenzare l’organizzazione, considerando sia impatti tangibili (costi operativi, sanzioni) sia intangibili (reputazione). È fondamentale stabilire la criticità degli impatti e i criteri per determinarne l’importanza.
2. L’analisi dell’impatto sugli individui valuta come il sistema di IA possa influenzare i diritti fondamentali, la privacy, la sicurezza e l’equità in rapporto ai singoli. Sono inclusi elementi come il rischio di bias, l’uso dei dati personali e le implicazioni etiche e legali per gli individui.
3. L’analisi dell’impatto sociale si concentra sugli effetti che il sistema di IA potrebbe avere su singole comunità e sulla società nel suo insieme. Questo include la valutazione dell’ampiezza dell’impatto sociale e culturale e di come l’IA possa accentuare o mitigare disuguaglianze esistenti.

Valutazione della probabilità

Oltre alla definizione del grado di impatto, è importante valutare la probabilità che si verifichino le conseguenze identificate.

Tale probabilità può essere determinata qualitativamente o quantitativamente e dipende da fattori come la frequenza delle minacce, l’efficacia dei controlli e il contesto socioeconomico o geografico.

L’analisi della probabilità permette di identificare le aree critiche dove intervenire con attività di trattamento del rischio.

Risk Evaluation (prioritizzazione e valutazione del rischio)

La fase di Risk Evaluation segue strettamente le indicazioni della ISO 31000:2018 e si concentra sulla valutazione complessiva dei rischi in relazione ai criteri definiti dall’organizzazione. Durante questa fase:

1. i rischi precedentemente identificati e analizzati vengono confrontati con i criteri di rischio dell’organizzazione per determinare quali richiedano interventi di mitigazione o azioni correttive;
2. la valutazione consente di stabilire le priorità, distinguendo tra i rischi che necessitano di un trattamento immediato o prioritario e quelli che possono essere accettati o semplicemente monitorati nel tempo.

A differenza delle prime due fasi, questa fase non contiene indicazioni specifiche legate all’IA, ma si riferisce alle pratiche standard di gestione del rischio delineate nella ISO 31000.

AI Impact Assessment

L’Impact Assessment, secondo la ISO/IEC 42005, è un processo mirato a valutare e gestire gli effetti (danni e benefici) che un sistema di intelligenza artificiale (IA) può avere su individui, gruppi e società.

Questo processo può concentrarsi sulla valutazione di conformità rispetto ad alcuni principi delineati dalla ISO in questione.

Responsabilità (Accountability)

L’adozione di sistemi di IA introduce nuove sfide in termini di accountability, ridefinendo i confini della responsabilità tra gli attori coinvolti nel ciclo di vita del sistema. È fondamentale identificare chi, tra sviluppatori, fornitori e utilizzatori, risponde delle decisioni e dei risultati prodotti dall’IA, soprattutto quando questi influenzano direttamente diritti fondamentali, opportunità di vita o la sicurezza delle persone. In assenza di una chiara definizione dell’assetto delle responsabilità, possono emergere vuoti organizzativi che rischiano di lasciare scoperti gli interessi delle parti coinvolte, aggravando i rischi operativi e legali.

Trasparenza (Transparency)

La mancanza di trasparenza può portare a una mancata consapevolezza sui rischi o a un uso inappropriato del sistema, con potenziali conseguenze dannose.

La trasparenza è cruciale per generare fiducia. Un sistema di IA deve essere comprensibile e accessibile ai soggetti potenzialmente coinvolti, che devono avere informazioni chiare sul funzionamento, quali siano i limiti, le prestazioni e i dati su cui si basa.

Se queste informazioni non sono adeguatamente comunicate, il rischio è che gli utenti possano non comprendere l’accuratezza o l’affidabilità delle decisioni del sistema di IA o, peggio, non sapere di interagire con un sistema di IA.

Equità e non discriminazione

I sistemi di IA, se non adeguatamente progettati, possono non solo perpetuare ma anche amplificare pregiudizi e disuguaglianze preesistenti. È cruciale che gli algoritmi siano sviluppati per garantire un trattamento equo e imparziale, evitando qualsiasi forma di favoritismo o discriminazione basata su fattori demografici come età, genere, religione o altre caratteristiche personali.

La valutazione delle prestazioni del sistema deve essere orientata a rilevare eventuali discrepanze tra i diversi gruppi e a identificare potenziali rischi di esclusione o rappresentazioni distorte di particolari categorie di individui.

Privacy

La gestione della privacy e la protezione dei dati personali sono particolarmente rilevanti nei sistemi di IA, soprattutto quando tali sistemi trattano dati particolari o sensibili.

L’analisi deve verificare che il sistema operi in conformità con le normative vigenti come il GDPR, garantendo che le informazioni raccolte e utilizzate siano strettamente necessarie e adeguatamente salvaguardate, in coordinamento con altre analisi come la PIA.

Affidabilità (Reliability)

L’affidabilità è un aspetto critico nei sistemi di IA, soprattutto se utilizzati in contesti dove è richiesta alta precisione o continuità operativa. Un sistema di IA affidabile è quello che soddisfa in modo coerente i requisiti di prestazione previsti.

Tuttavia, possono verificarsi problemi come errori di previsione, falsi positivi o negativi, che possono avere un impatto diretto sulle parti interessate.

La valutazione deve prendere in considerazione non solo le prestazioni attuali del sistema, ma anche la sua capacità di gestire cambiamenti futuri, come l’aggiornamento dei modelli o la gestione della deriva dei dati (data drift), che può compromettere l’efficacia del sistema nel tempo.

Sicurezza (Safety)

L’adozione di sistemi di IA introduce nuove sfide in termini di sicurezza, intesa come protezione della vita umana, della salute, della proprietà e dell’ambiente.

La sicurezza del sistema di IA deve essere garantita in tutte le fasi del suo ciclo di vita, prevedendo misure che evitino comportamenti imprevisti o dannosi, soprattutto in contesti critici come la sanità, i trasporti, l’energia, le infrastrutture e altri settori industriali.

Un malfunzionamento in questi ambiti può avere conseguenze gravi, rendendo necessario un monitoraggio costante e l’applicazione di rigorosi standard di sicurezza.

Spiegabilità (Explainability)

È necessario che le parti interessate siano in grado di comprendere come il sistema di IA assume decisioni, specialmente in contesti in cui tali decisioni potrebbero essere contestate o revisionate.

La mancanza di spiegabilità può portare a una percezione di “scatola nera” che ostacola la fiducia nel sistema, riducendo la capacità degli utenti di valutare la correttezza o l’affidabilità dei risultati prodotti.

Un’adeguata spiegabilità aiuta a garantire che le parti interessate possano prendere decisioni informate basate sui risultati del sistema di IA.

Impatto ambientale

L’analisi dell’impatto ambientale dei sistemi di IA non può essere trascurata, soprattutto in considerazione delle risorse computazionali necessarie per il loro funzionamento.

I sistemi di IA, in particolare quelli più avanzati, possono richiedere elevati livelli di potenza di calcolo, con conseguenze significative in termini di consumo energetico e sostenibilità ambientale.

La valutazione deve includere sia gli impatti diretti, come il consumo di risorse durante il ciclo di vita del sistema, sia quelli indiretti, come la promozione di comportamenti insostenibili da parte dei consumatori.

È necessario trovare un equilibrio tra le opportunità offerte dall’IA e l’impatto che essa può avere sull’ambiente, esplorando soluzioni che promuovano l’efficienza energetica e riducano il footprint ecologico.

Questi obiettivi o principi – come responsabilità, trasparenza, equità, privacy, affidabilità, sicurezza e impatto ambientale – possono essere utilizzati come baseline per valutare lo scostamento in una valutazione d’impatto.

Possono, inoltre, essere integrati con altri obiettivi specifici, consentendo un’analisi più ampia delle conseguenze e dei benefici derivanti dall’adozione di sistemi di IA.

Interconnessione tra AI Risk Assessment e AI Impact Assessment

L’AI Risk Assessment e l’AI Impact Assessment sono interconnessi, ma operano su livelli e con obiettivi differenti all’interno del quadro generale della gestione del rischio nei sistemi di intelligenza artificiale.

Entrambi i processi giocano un ruolo cruciale nel ciclo di vita della gestione del rischio, ma con un’attenzione specifica a differenti aspetti.

L’AI Risk Assessment, come delineato nella ISO/IEC 23894, è un’attività di gestione del rischio complessiva che considera l’intera organizzazione. Questo processo valuta i rischi legati a varie dimensioni dell’organizzazione: strategia, governance, compliance, aspetti finanziari ed economici, tecnologie e persone, etc. È un processo iterativo che aiuta l’organizzazione a orientarsi tra rischi e opportunità, fornendo un supporto strategico per il raggiungimento degli obiettivi. I rischi vengono identificati, analizzati e valutati rispetto al potenziale effetto sugli obiettivi dell’impresa e dimensioni sopraindicate.

L’AI Impact Assessment, regolato dalla ISO/IEC 42005, assume una prospettiva più limitata ma altrettanto critica. A differenza del risk assessment, che mantiene un focus ampio, l’impact assessment si concentra specificamente sugli impatti che un sistema di IA può avere su alcune parti interessate: individui, gruppi di individui e la società nel suo complesso. Inoltre, si occupa degli usi concreti o potenziali dell’IA, secondo una visione più orientata al prodotto o servizio, piuttosto che sugli aspetti gestionali o strategici generali dell’organizzazione.

Complementarità dei due processi

L’AI Risk Assessment e l’AI Impact Assessment sono complementari. Mentre il risk assessment fornisce una valutazione olistica dei rischi per l’organizzazione, l’impact assessment approfondisce gli impatti specifici che il sistema di IA può avere sui diritti umani, sulla privacy, sull’equità e sulla giustizia sociale.

L’impact assessment, pertanto, si concentra sugli impatti sociali, etici e legali, fornendo informazioni più dettagliate per valutare come il sistema di IA influenzi individui e gruppi sociali vulnerabili.

I risultati dell’AI Impact Assessment costituiscono un input fondamentale per una gestione complessiva del rischio che sarebbe incompleta senza un’accurata analisi degli impatti del sistema di IA su individui e società.

L’AI Impact Assessment è volto a garantire che i potenziali impatti sociali ed etici siano esaminati e integrati nelle decisioni strategiche.

Come indicato dalla ISO 42005, l’AI Impact Assessment può essere eseguita a livello di sistema, da team che gestiscono lo sviluppo e la manutenzione del sistema di IA, concentrandosi sugli impatti concreti che il sistema può avere nelle sue applicazioni pratiche.

Questo coinvolgimento diretto a livello di sistema dovrebbe assicurare che i potenziali impatti siano identificati nel contesto tecnico-operativo, fornendo informazioni cruciali al livello più alto dell’organizzazione.

Collegamenti con la gestione del rischio e altri processi di conformità

L’Impact Assessment deve essere integrato con i processi di gestione del rischio e con le pratiche di conformità per garantire un approccio olistico.

Le peculiarità dei sistemi di IA richiedono che l’Impact Assessment non solo informi la gestione del rischio, ma influenzi anche le politiche aziendali e le decisioni strategiche.

Ad esempio, un impatto significativo identificato potrebbe richiedere una revisione delle politiche aziendali sull’uso dei dati o la modifica delle strategie di sviluppo dei prodotti di IA.

L’integrazione con altri processi aziendali, come la compliance etica e legale, è fondamentale per garantire che l’organizzazione operi in modo responsabile e trasparente.

Sfide e considerazioni future

L’implementazione dei processi di Risk e Impact Assessment nella gestione di un sistema di intelligenza artificiale presenta sfide complesse, che vanno oltre quelle dei settori tradizionali.

La complessità tecnica dell’IA, la sua capacità di evolversi autonomamente e il trattamento di dati, anche personali e particolari, introducono incertezze che complicano la gestione dei rischi.

Le difficoltà legate alla trasparenza e alla responsabilità, soprattutto in relazione agli impatti etici e sociali, rappresentano ulteriori ostacoli. Inoltre, la carenza di competenze specifiche e l’integrazione di questi processi nei sistemi di gestione esistenti costituiscono ulteriori sfide per le organizzazioni.

Un approccio integrato tra i diversi processi ed attività di gestione del rischio è cruciale per massimizzare le possibilità che i sistemi di IA operino in modo sicuro, equo e responsabile. Le organizzazioni devono adottare strategie chiare e strumenti adeguati alla gestione dei rischi e degli impatti, coinvolgendo tutte le parti interessate e affrontando le questioni etiche e sociali con la stessa attenzione riservata ad altri rischi.

Guardando al futuro, la capacità delle organizzazioni di adattarsi rapidamente ai cambiamenti tecnologici e normativi sarà determinante per l’implementazione sicura dei sistemi di intelligenza artificiale.

Tecnologie come l’IA generativa e i sistemi autonomi avanzati presenteranno nuove sfide ma anche significative opportunità.

Un approccio preventivo e responsabile alla gestione del rischio e dell’impatto sarà fondamentale per massimizzare i benefici dell’IA mitigando le potenziali conseguenze negative.