Dall’automazione alla responsabilità: il ruolo del CIO nell’era dell’AI

Una decisione presa con l’AI può avere effetti su un cliente, modificare una transazione o avviare un’attività in un altro sistema aziendale.

Se in seguito occorrerà ricostruire l’accaduto, il registro della singola applicazione offrirà soltanto una parte della storia. Per arrivare fino in fondo serviranno anche le informazioni ricevute dal sistema, le autorizzazioni disponibili e i passaggi che avranno prodotto il risultato.

È su questa capacità di ricostruzione che Gartner richiama l’attenzione nelle Top Strategic Predictions for 2027 and Beyond. La società di ricerca prevede che entro il 2030 l’80% delle aziende Global 500 affiderà formalmente al CIO o al Chief AI Officer la responsabilità di raccogliere e conservare la documentazione delle attività svolte dai sistemi di AI.

Gartner definisce questa figura “evidence custodian“, un garante della tracciabilità il cui compito è fare in modo che l’azienda possa ricostruire che cosa ha fatto un sistema, con quali dati e autorizzazioni e con quali effetti.

Quali informazioni servono per ricostruire le attività dell’AI

Il compito descritto da Gartner riguarda l’identificazione, la raccolta e la conservazione delle informazioni che documentano l’uso dell’AI. Secondo Janelle B. Hill, distinguished vice president analyst della società di ricerca, questi dati devono poter dimostrare un impiego responsabile della tecnologia ed essere disponibili anche nel caso di una controversia legale.

Conta inoltre il modo in cui vengono conservati: una ricostruzione attendibile richiede che le registrazioni siano protette da modifiche successive.

Per spiegare una decisione occorre collegare informazioni che spesso si trovano in ambienti diversi. Tra queste rientrano le richieste rivolte al sistema e le risposte prodotte, la versione del modello impiegata, i dati consultati e i permessi attivi al momento dell’azione. Anche gli interventi umani, i risultati dei test e la configurazione del sistema contribuiscono a chiarire il percorso dall’input all’esito finale.

Un registro applicativo può mostrare, per esempio, che un dato è stato modificato. Per comprendere l’operazione serve però risalire alla richiesta che l’ha avviata, alle informazioni utilizzate e all’eventuale approvazione ricevuta. La documentazione delle attività deve mantenere collegati questi passaggi e renderli recuperabili a posteriori.

Perché gli agenti autonomi rendono più difficile la ricostruzione

Con l’AI agentica, la sequenza delle attività si allunga. Un agente può ricevere un obiettivo, consultare documenti, chiamare strumenti esterni e intervenire su più applicazioni. Durante l’esecuzione può incontrare un errore, riprovare un’operazione o richiedere un’approvazione. La richiesta iniziale e la risposta conclusiva descrivono soltanto gli estremi di quella sequenza.

Per capire che cosa sia successo occorre seguire anche le chiamate ai sistemi, le risposte ricevute, le eccezioni e gli eventuali tentativi ripetuti. Se un agente dispone un rimborso e, dopo un’interruzione, ritenta l’operazione, la verifica deve arrivare fino al sistema di pagamento: è lì che si può accertare quante transazioni siano state effettivamente eseguite. Allo stesso modo, i permessi da esaminare sono quelli in vigore quando l’agente ha agito, che potrebbero essere diversi dai permessi attuali.

Secondo Hill, l’autonomia degli agenti richiede anche confini operativi espliciti, capaci di stabilire quali dati possano usare e quali azioni possano compiere. La documentazione permette poi di verificare se abbiano operato entro quei confini e quali controlli siano intervenuti lungo il percorso.

Il limite dei registri frammentati

La difficoltà per molte imprese sta nel collegare e conservare le informazioni già generate dai sistemi. Registri separati, input mancanti e periodi di conservazione differenti possono lasciare disponibili soltanto parti della sequenza. Una registrazione relativa all’applicazione AI, per esempio, perde valore se le informazioni sulle autorizzazioni o sulla transazione finale vengono eliminate prima che sia necessario esaminarle.

A questa frammentazione si aggiungono le funzionalità di AI integrate nei prodotti acquistati dai fornitori. Il CIO deve sapere quali attività registra la piattaforma, per quanto tempo conserva i dati e se permette di esportarli per una verifica. La stessa esigenza riguarda gli impieghi di AI che sfuggono ai canali aziendali approvati: senza una visione del loro utilizzo, la ricostruzione delle attività resta parziale.

Per questo la documentazione va prevista lungo l’intero ciclo di vita del sistema, dalla configurazione e dai test fino all’uso operativo. L’obiettivo è poter ricondurre un’azione alla richiesta che l’ha avviata e verificare quali dati, versioni e autorizzazioni abbiano contribuito al risultato.

Una responsabilità da distribuire nell’organizzazione

La previsione di Gartner indica il CIO o il Chief AI Officer come figura formalmente incaricata della documentazione delle attività dell’AI. La società di ricerca invita le aziende a valutare le proprie capacità di gestione di queste informazioni e ad assegnare responsabilità chiare per le azioni dei sistemi. La previsione non precisa quale forma assumerebbe l’incarico contrattuale né se comporterebbe una responsabilità legale personale del dirigente.

Sul piano operativo, la raccolta delle informazioni coinvolge diverse funzioni. L’IT governa piattaforme e integrazioni; la sicurezza presidia accessi e monitoraggio; gli uffici legali e di gestione del rischio contribuiscono a stabilire quali dati conservare e come renderli utilizzabili in caso di verifica. I responsabili delle attività aziendali conoscono invece il processo in cui l’AI viene impiegata e gli effetti delle sue decisioni.

Questo coordinamento serve a dare un significato ai dati tecnici. Ricostruire che un agente ha eseguito una chiamata a un’applicazione è un passaggio; stabilire perché quell’azione fosse consentita e chi fosse responsabile del processo richiede anche la documentazione delle approvazioni e delle regole adottate dall’azienda.

Da dove può partire il CIO

Il termine del 2030 riguarda la previsione di Gartner, mentre la capacità di ricostruire le attività dipende da decisioni prese durante la progettazione e l’adozione dei sistemi.

Una prima verifica consiste nello scegliere un’azione AI con effetti concreti e chiedere a chi non ha sviluppato l’applicazione di ricostruirla usando soltanto le informazioni conservate. Il percorso dovrebbe restare comprensibile anche quando si è verificato un errore o un nuovo tentativo di esecuzione.

Il risultato di questa prova può indicare dove intervenire: nei criteri di conservazione dei prompt e dei dati sul funzionamento del sistema, negli identificativi che collegano le attività tra applicazioni oppure nei requisiti richiesti ai fornitori per l’esportazione dei registri. Prima di concedere a un agente il permesso di modificare dati nei sistemi di produzione, l’azienda può così verificare se sarà in grado di spiegare le sue azioni dopo che sono avvenute.