Quali informazioni può consultare un agente intelligente? Quali operazioni può eseguire senza autorizzazione? E chi ne verifica i risultati? Sono interrogativi che l’adozione dell’intelligenza artificiale porta sempre più spesso sulle scrivanie dei responsabili IT e della sicurezza. Al CIOsumm.it 2026, Enrico Frumento, Cyber Security Research Lead di Cefriel, richiama la necessità di mantenere il giudizio umano al centro della governance dei sistemi e delle loro azioni.
Il rischio non riguarda soltanto la possibile fuoriuscita di dati riservati e proprietà intellettuale, ma anche le operazioni che gli agenti possono compiere orchestrando strumenti e applicazioni differenti. Una capacità che impone un’attività di valutazione continua: come sottolinea Frumento, «il rischio legato all’AI va valutato in maniera continua, non ogni giorno o ogni ora, ma costantemente».
Indice degli argomenti
AI governance: dal codice al rischio semantico
I modelli linguistici possono generare informazioni inesatte, riprodurre bias, perdere il contesto e fornire risposte apparentemente autorevoli senza riconoscere la propria incertezza. Sono inoltre estremamente sensibili alla formulazione delle richieste: «basta cambiare una singola parola o un aggettivo perché il risultato cambi completamente».
A queste criticità si aggiunge il rischio delle istruzioni malevole, capaci di indurre il sistema a eseguire azioni non autorizzate. È il fenomeno del promptware, termine che combina prompt e malware. Nei sistemi basati su modelli linguistici, infatti, contenuti da elaborare e istruzioni operative convivono nello stesso contesto. Un testo apparentemente innocuo può quindi contenere comandi nascosti in grado di alterare il comportamento del sistema. «Il promptware è una minaccia che opera a livello semantico, risultando molto più difficile da individuare», osserva Frumento.
Anche l’impiego di un secondo modello incaricato di rilevare queste anomalie non elimina il problema, poiché il sistema di controllo può a sua volta commettere errori. Frumento richiama, a questo proposito, casi di skill e prompt contenenti istruzioni occulte che inducono il modello a trasmettere dati verso destinazioni esterne quando l’utente richiede informazioni riservate.
I limiti delle difese e il rischio della shadow AI
La difficoltà nasce da una caratteristica strutturale dei modelli linguistici. Nei software tradizionali, dati e istruzioni rimangono separati: il programma (ad esempio C o Python) esegue il codice e utilizza i dati come input. Nei sistemi basati su LLM, invece, entrambe le componenti convivono nello stesso contesto espresso in linguaggio naturale. Di conseguenza, un contenuto che dovrebbe essere trattato come semplice informazione può essere interpretato come un’istruzione da eseguire. È questa ambiguità, osservata anche dal crittografo Bruce Schneier, a rendere particolarmente complessa la difesa dagli attacchi di prompt injection.
«I problemi del promptware, delle allucinazioni e dell’AI che rivela informazioni non dovute sono destinati a rimanere finché sarà utilizzato questo specifico paradigma di AI», osserva Frumento.
Del resto, secondo il Cost of a Data Breach Report 2025 di IBM, tra le 600 organizzazioni coinvolte nello studio, il 13% ha segnalato compromissioni di modelli o applicazioni di intelligenza artificiale, mentre il 20% ha dichiarato violazioni riconducibili alla shadow AI, cioè all’utilizzo di strumenti non autorizzati o sottratti alla supervisione aziendale. Lo stesso report evidenzia tuttavia che le organizzazioni che adottano in modo esteso AI e automazione nelle attività di cybersecurity registrano tempi di risposta e costi di gestione delle violazioni inferiori.
Governare la filiera: modelli e dati di addestramento
La verifica della filiera riguarda la provenienza dei modelli, i dati utilizzati per addestrarli e i comportamenti che possono manifestare. Frumento richiama i rischi legati all’adozione di strumenti scaricati da piattaforme come Hugging Face senza informazioni sufficienti sul loro sviluppo. «Su DeepSeek c’è stato uno studio relativamente recente sulla prima versione rilasciata, in cui si è notato che nel momento in cui il modello rilevava che l’utente non era cinese, inseriva una percentuale significativamente più alta di vulnerabilità nel codice prodotto», osserva il ricercatore di Cefriel.
Il tema si intreccia con quello della sovranità tecnologica. «In Europa non c’è praticamente nessuno che addestri modelli di fascia alta, fatta forse eccezione per Mistral», osserva Frumento. «Molti modelli europei si fermano a dimensioni relativamente contenute e non esistono ancora foundation model di grandi dimensioni interamente addestrati nel continente».
I rischi del vibe coding e l’estensione della AI Bill of Materials
La necessità di estendere i controlli emerge con ancora maggiore evidenza nel vibe coding, dove il software viene sviluppato attraverso istruzioni in linguaggio naturale rivolte all’AI. Il rischio non riguarda soltanto il codice generato, ma anche le librerie e le dipendenze suggerite dal modello.
Pacchetti provenienti da repository come PyPI possono infatti contenere componenti malevole o vulnerabili. Inoltre, le procedure di installazione possono eseguire codice prima ancora dell’avvio dell’applicazione. «Con decine di milioni di download ogni mese, l’impatto potenziale di questi attacchi è enorme e la superficie di rischio va ben oltre il singolo modello», sottolinea Frumento.
Per questo la verifica deve comprendere l’intero ecosistema che rende possibile il funzionamento dell’AI. È la logica della AI-BOM (AI Bill of Materials), ossia l’inventario completo di modelli, software, componenti e dipendenze che concorrono al comportamento del sistema.
Come osserva Frumento, l’AI-BOM non si limita al modello principale, ma include anche adapter, prompt, architetture RAG e server MCP (Model Context Protocol), gli elementi che consentono all’intelligenza artificiale di interagire con dati e applicazioni aziendali e che rappresentano, a loro volta, una potenziale superficie di attacco.
Modelli “abliterati” e democratizzazione del cybercrime
Un ulteriore elemento di preoccupazione è rappresentato dai cosiddetti modelli abliterati, modificati per ridurre o rimuovere i meccanismi di sicurezza che impediscono la generazione di contenuti dannosi. Secondo Frumento, questi sistemi possono essere utilizzati per ottenere istruzioni che i modelli commerciali tendono normalmente a bloccare, comprese quelle legate allo sviluppo di malware.
L’aspetto più critico, tuttavia, è la facilità di accesso a queste tecnologie. «Ho installato sul mio portatile un modello abliterato da 21 GB in circa venti minuti», racconta. «Alla richiesta di generare un malware distruttivo, il sistema ha prodotto non solo il codice, ma anche la documentazione, i componenti necessari all’attacco, l’infrastruttura di comando e controllo e perfino i contenuti per campagne di phishing».
Secondo il manager, questa evoluzione sta abbassando drasticamente la soglia tecnica necessaria per condurre attacchi informatici. «Si è passati dagli attori sponsorizzati dagli Stati ai gruppi criminali organizzati, fino ad arrivare a una dimensione quasi consumer e oggi folk-grade, in cui anche persone prive di competenze avanzate possono disporre di strumenti capaci di generare impatti rilevanti».
Il risultato è una progressiva democratizzazione del cybercrime che amplia il numero dei potenziali attaccanti e allarga il perimetro delle vittime, dalle grandi aziende fino alle microimprese.
Human in control: le sette decisioni non delegabili
Su questa base, Frumento individua sette decisioni che devono restare in capo ai vertici aziendali:
- Mappare la presenza dell’AI in azienda, includendo gli utilizzi informali già attivi.
- Definire quali dati non devono mai entrare in strumenti AI non autorizzati, presidiando l’interfaccia critica tra modelli e credenziali aziendali.
- Comprendere il cambio di paradigma della cybersecurity, passando dalla protezione di software deterministico alla tutela di «software che interpreta intenzioni».
- Trattare gli output e i contenuti esterni come materiale da verificare sempre.
- Non collegare agenti AI a e-mail, file e sistemi interni senza controlli e procedure per richiedere l’intervento di un responsabile, evitando che un agente acceda a più informazioni di quante ne debba gestire.
- Utilizzare l’AI nella difesa con responsabilità, audit e processi definiti.
- Curare la qualità dei dati interni, da cui dipende l’affidabilità dei risultati.
Zero Trust e verifiche lungo il ciclo di vita
Cefriel richiama una combinazione di controlli: simulazioni di attacco per individuare vulnerabilità, filtri per riconoscere istruzioni malevole e verifiche lungo l’intero ciclo di vita del modello. Il principio Zero Trust richiede di verificare accessi e operazioni anche quando provengono da sistemi già integrati nell’ambiente aziendale.
FAQ: Intelligenza Artificiale
Che cos’è l’intelligenza artificiale?
L’intelligenza artificiale è la disciplina che studia la progettazione, lo sviluppo e la realizzazione di sistemi hardware e software dotati di capacità caratteristiche dell’uomo, come ragionamento, apprendimento, pianificazione e adattamento. Si tratta di un ramo della computer science che studia lo sviluppo di sistemi in grado di emulare le capacità cognitive umane, permettendo alle macchine di apprendere dall’esperienza, adattarsi a nuovi input e svolgere compiti che tradizionalmente richiedono l’intelligenza umana. L’AI non ha una definizione univoca e condivisa, poiché comprende un ampio spettro di discipline, dalla neurologia all’informatica, dalla neurobiologia alla matematica.
Quali sono le principali tecniche di apprendimento nell’intelligenza artificiale?
Le principali tecniche di apprendimento nell’intelligenza artificiale si suddividono in tre approcci fondamentali: l’apprendimento supervisionato, l’apprendimento non supervisionato e l’apprendimento per rinforzo. Nell’apprendimento supervisionato, l’algoritmo viene addestrato su un dataset etichettato per prevedere output corretti. L’apprendimento non supervisionato lavora su dati non etichettati per scoprire pattern o strutture intrinseche. L’apprendimento per rinforzo permette a un agente di imparare a prendere decisioni interagendo con un ambiente e ricevendo feedback sotto forma di ricompense o penalità. A questi si aggiunge il deep learning, una sottocategoria del machine learning che utilizza reti neurali artificiali con molti strati per modellare ed estrarre caratteristiche complesse dai dati.
Come è nata e si è evoluta l’intelligenza artificiale nel corso della storia?
L’intelligenza artificiale ha radici che risalgono al XVII secolo, quando furono costruite le prime macchine in grado di effettuare calcoli automatici da Blaise Pascal e Gottfried Wilhelm von Leibniz. Tuttavia, è nel 1943 che la gestazione dell’AI si avvicina al termine con il lavoro del neurofisiologo Warren Sturgis McCulloch e del matematico Walter Harry Pitts, che teorizzarono come semplici neuroni potessero essere combinati per calcolare operazioni logiche elementari. La locuzione “intelligenza artificiale” venne utilizzata per la prima volta nel 1955 dai matematici e informatici John McCarthy, Marvin Minsky, Nathaniel Rochester e Claude Shannon, in preparazione della conferenza di Dartmouth del 1956, considerata la vera “sala parto” dell’intelligenza artificiale. Dopo un periodo di grandi aspettative (1950-1965), l’AI attraversò una fase di difficoltà negli anni ’60, per poi rinascere negli anni ’80 grazie agli studi di Jay McClelland e David Rumelhart sul connessionismo e le reti neurali. Oggi, l’evoluzione delle nanotecnologie e lo sviluppo di algoritmi sempre più sofisticati hanno portato a una nuova generazione di AI capace di apprendimento autonomo e analisi complesse.
Qual è la differenza tra intelligenza artificiale debole e intelligenza artificiale forte?
La differenza tra intelligenza artificiale debole (weak AI) e forte (strong AI) rappresenta una distinzione fondamentale nel campo dell’AI. L’intelligenza artificiale debole agisce e pensa simulando di essere intelligente, ma non lo è realmente. Essa risponde a problemi sulla base di regole conosciute, confrontando casi simili ed elaborando soluzioni razionali senza una vera comprensione. Si occupa essenzialmente di problem solving, simulando il comportamento umano senza comprendere totalmente i processi cognitivi. L’intelligenza artificiale forte, invece, possiede capacità cognitive non distinguibili da quelle umane. Include i “sistemi esperti” che riproducono prestazioni e conoscenze di persone esperte in un determinato ambito, utilizzando un motore inferenziale che, come la mente umana, passa da una proposizione assunta come vera a una seconda proposizione con logiche deduttive o induttive. La caratteristica distintiva di questi sistemi è l’analisi del linguaggio per comprenderne il significato, elemento essenziale per una vera intelligenza.
Quali sono le applicazioni pratiche dell’intelligenza artificiale nel mondo aziendale?
L’intelligenza artificiale trova numerose applicazioni pratiche nel mondo aziendale, trasformando processi e strategie. Nel settore finanziario, l’AI viene utilizzata per personalizzare tassi di interesse, rilevare frodi e migliorare i servizi finanziari attraverso l’analisi dei dati sulle abitudini di rimborso e altri comportamenti dei clienti. Nel marketing e nelle vendite, le tecnologie cognitive aiutano a ottenere una comprensione a 360 gradi dei clienti, prevedendo le loro esigenze e migliorando la loro esperienza, portando a un migliore ingaggio e strategie più efficaci. Nell’industria manifatturiera, l’AI viene implementata per la manutenzione predittiva, consentendo di prevedere guasti e anomalie prima che si verifichino, riducendo i tempi di inattività e migliorando l’efficienza operativa. Altre applicazioni includono l’automazione di processi, l’ottimizzazione della supply chain, il supporto decisionale basato sui dati e il miglioramento della sicurezza informatica.
Come funziona il machine learning e quale relazione ha con l’intelligenza artificiale?
Il machine learning è un sottogruppo dell’intelligenza artificiale che conferisce alle macchine la capacità di ricevere dati e modificare gli algoritmi man mano che acquisiscono più informazioni su ciò che stanno elaborando. Si tratta di sistemi di apprendimento automatico che permettono alle macchine di adattarsi e migliorarsi senza necessità di riprogrammazione da parte dell’uomo. Il machine learning automatizza la costruzione di modelli analitici, utilizzando reti neurali, modelli statistici e ricerche operative per trovare informazioni nascoste nei dati e rispondere a nuovi input esterni. Può essere implementato attraverso diversi approcci, come l’apprendimento supervisionato, non supervisionato e per rinforzo. Un esempio classico di machine learning è un sistema di visione artificiale capace di riconoscere oggetti ripresi da una videocamera: l’algoritmo distingue tra animali, persone e cose, memorizzando nuove situazioni che arricchiscono la sua conoscenza. Il machine learning rappresenta il metodo che “allena” l’AI, consentendole di sviluppare capacità sempre più sofisticate di analisi e decisione.
Quali sono le tecnologie hardware che supportano lo sviluppo dell’intelligenza artificiale?
Lo sviluppo dell’intelligenza artificiale è supportato da diverse tecnologie hardware avanzate. Le GPU (Graphic Processing Unit), originariamente create per elaborare informazioni grafiche nei videogiochi, sono diventate fondamentali per l’AI grazie alla loro capacità di eseguire calcoli in parallelo, a differenza delle CPU che lavorano in modo seriale. Le TPU (Tensor Processing Unit), sviluppate da Google, sono circuiti specificamente progettati per operazioni di machine learning ad alto carico di lavoro, in particolare per ridurre il tempo dedicato alla fase inferenziale. Le ReRAM (memorie resistive ad accesso casuale) possono immagazzinare fino a 1 terabyte di dati in chip delle dimensioni di un francobollo, sono non volatili e consumano pochissima energia, rendendole ideali per costruire reti neurali. I computer quantistici rappresentano un’altra frontiera, operando secondo la logica quantistica che consente calcoli esponenzialmente più potenti rispetto ai computer tradizionali. Infine, i chip neuromorfici simulano il funzionamento del cervello umano, utilizzando una logica di funzionamento analogica che si attiva in maniera differente a seconda del gradiente di segnale scambiato tra le unità.
Quali sono i principali rischi e sfide etiche legati all’intelligenza artificiale?
L’intelligenza artificiale presenta numerosi rischi e sfide etiche che devono essere attentamente considerati. Tra questi, la sicurezza informatica è particolarmente critica: l’AI può essere utilizzata per creare attacchi più sofisticati, come il phishing personalizzato o la manipolazione di sistemi di sicurezza, e le stesse tecnologie AI possono essere vulnerabili ad attacchi che compromettono la loro integrità. Un altro rischio significativo è rappresentato dalle allucinazioni, ovvero la generazione di risposte false o imprecise presentate come fatti plausibili, che possono avere conseguenze gravi in settori come la sanità o la finanza. Vi sono poi preoccupazioni riguardo alla privacy dei dati, alla possibilità di bias e discriminazione nei sistemi AI, e all’impatto sull’occupazione. Questioni etiche emergono anche nel contesto delle auto autonome, come evidenziato dall’esperimento “The Moral Machine” che ha esplorato le scelte morali che un’auto a guida autonoma dovrebbe compiere in situazioni di emergenza, rivelando differenze culturali significative nelle preferenze etiche.
Come sta cambiando il ruolo del CIO con l’avvento dell’intelligenza artificiale?
Il ruolo del Chief Information Officer (CIO) sta subendo una profonda trasformazione con l’avvento dell’intelligenza artificiale. I CIO sono passati da gestori di sistemi IT a leader strategici che guidano l’innovazione e la trasformazione digitale all’interno delle loro organizzazioni. Sono ora responsabili di sviluppare strategie per integrare efficacemente l’AI nei processi aziendali, ottimizzando operazioni e riducendo costi attraverso l’automazione e l’analisi dei dati. I CIO devono garantire che i dati aziendali siano gestiti in modo sicuro e conforme alle normative sulla privacy, mentre implementano soluzioni AI che possono aiutare a identificare e mitigare le minacce alla sicurezza informatica. Devono anche pianificare e facilitare la formazione e lo sviluppo delle competenze necessarie per preparare il personale a lavorare con le tecnologie AI. La loro responsabilità si estende alla valutazione e alla scelta delle giuste piattaforme e infrastrutture per supportare soluzioni AI, considerando aspetti come scalabilità, interoperabilità e costi. Il CIO moderno deve gestire il cambiamento organizzativo che l’introduzione dell’AI comporta, affrontando le preoccupazioni dei dipendenti e promuovendo una cultura aziendale orientata all’innovazione.
Qual è la differenza tra intelligenza artificiale e intelligenza umana?
La differenza fondamentale tra intelligenza artificiale e intelligenza umana risiede nella capacità di creare valore in un sistema aperto e infinito. Mentre l’intelligenza artificiale opera in un sistema chiuso di valori già definiti, l’intelligenza umana si confronta con l’esperienza e con l’infinita variabilità del mondo. L’AI utilizza algoritmi basati sulle probabilità che possono intercettare il rapporto causa/effetto senza realmente comprenderlo, trasformando l’informazione in conoscenza attraverso modelli matematici. Al contrario, l’intelligenza umana è in grado di utilizzare l’invenzione e la fantasia per osservare il mondo in modi nuovi e inaspettati, esplorando possibilità che le macchine, con i loro algoritmi predefiniti, non possono concepire. Il linguaggio naturale utilizzato dalle macchine è efficiente nel trattare grandi volumi di dati, ma manca della profondità semantica e della capacità di innovare che caratterizza il linguaggio umano. Mentre l’AI può facilitare e ottimizzare molti aspetti della nostra vita, è l’intelligenza umana che mantiene la chiave dell’innovazione dirompente, capace di vedere oltre l’ovvio e di creare valore in modi che sfidano le convenzioni.
Partecipa alla community