AI spiegabile versus AI interpretabile: che cosa sono, come funzionano, casi d’uso e strumenti

pittogramma Zerouno

Technology InDepth

AI spiegabile versus AI interpretabile: che cosa sono, come funzionano, casi d’uso e strumenti

Indipendentemente dal livello di esperienza degli utenti e dalla loro professione (data science, sviluppatori, business line), l’interpretabilità permette di comprendere i modelli di intelligenza artificiale in modo semplice e trasparente.

09 Lug 2020

di Laura Zanotti - Fonte TechTarget

AI spiegabile e AI interpretabile: cosa sono, quali sono le differenze e a che cosa servono? La premessa è che dal deep learning al codice più semplice, tutti gli algoritmi dovrebbero essere trasparenti. I quadri di interpretabilità e spiegazione dell’intelligenza artificiale sono finalizzati a rendere l’apprendimento automatico più comprensibile all’uomo. Dal punto di vista etico e filosofico, la possibilità di far comprendere alle persone le logiche associate all’intelligenza artificiale contribuisce anche a smussare la diffidenza nei confronti di quell’automazione che applica criteri decisionali senza sentimento.

AI interpretabile e AI spiegabile: che cosa sono

La linea di demarcazione tra la AI spiegabile e l’AI interpretabile è la User Interface (UX). Indipendentemente dal livello di esperienza degli utenti, infatti, l’interpretabilità permette di comprendere i modelli di intelligenza artificiale in modo semplice e trasparente.

L’AI spiegabile applicata ai modelli black box (ovvero quei sistemi che gli utenti finali di solito non sanno come funzionano) significa che i data scientist e gli sviluppatori possono dare una spiegazione agli utenti del perché i modelli si comportano nel modo in cui si comportano. I test sul modello black box, infatti, valutano un sistema esclusivamente dall’esterno, senza che l’operatore o il tester sappiano cosa sta accadendo all’interno del sistema per generare risposte alle azioni di test. Una black box, dunque, si riferisce a un sistema il cui comportamento deve essere osservato nel suo complesso: in entrata e in uscita. Anche se la struttura interna dell’applicazione in esame può essere compresa, il tester sceglie di ignorarla.

Dallo sviluppo black box a quello white box

Lo sviluppo della scatola nera è attualmente il metodo principale di modellizzazione del deep learning. In questo approccio, milioni di punti dati vengono immessi nell’algoritmo, che va a identificare le correlazioni tra le caratteristiche specifiche dei dati per produrre un output. Il processo all’interno della scatola è per lo più auto-governato ed è generalmente difficile da interpretare per i data scientist, i programmatori e gli utenti.

La soluzione a questi problemi relativi alla gestione della black box non è facile: è il caso della pulizia dei set di dati di allenamento. Attualmente, la maggior parte degli strumenti di intelligenza artificiale sono sostenuti da reti neurali che sono difficili da decifrare. La fiducia nell’azienda e nel suo processo di formazione è un punto di partenza, ma gli esperti affermano che la vera soluzione ai modelli black box è un approccio formativo chiamato scatola di vetro o white box, proprio in virtù della sua trasparenza.

AI spiegabile e AI interpretabile 1

AI spiegabile e AI interpretabile: quali sono le differenze

Tra AI spiegabile e AI interpretabile la finalità degli ambiti operativi è la stessa, ovvero aiutare gli umani a capire il perché di una decisione presa da un sistema di intelligenza artificiale o di machine learning.

In un contesto tecnico, le differenze tra l’una e l’altra sono le seguenti:

  • l’interpretazione dell’Intelligenza Artificiale viene applicata al processo di esame degli algoritmi basati su regole
  • l’intellegibilità dell’AI viene applicata al processo di esame degli algoritmi di deep learning della black box

In un contesto funzionale le differenze tra AI spiegabile e AI interpretabile, si riferiscono:

  • al modo in cui i problemi associati all’intelligenza artificiale vengono presentati a diversi tipi di utenti
  • al modo in cui vengono rappresentati i componenti chiave dei diversi flussi di lavoro

Ricevere spiegazioni valide per un modello di intelligenza artificiale o di apprendimento automatico aumenta la fiducia degli utenti aziendali rispetto alla loro affidabilità. Fornire un alto grado di trasparenza relativamente all’AI e ai modelli di machine learning aiuta gli sviluppatori a difendere la validità dei loro modelli, fornendo spiegazioni utili ai decisori. Per i C-level, ad esempio, la trasparenza dei modelli di AI e di machine learning aiuta a potenziare l’adesione alle pratiche normative e al grado di responsabilità.

AI spiegabile vs AI interpretabile: esempi

WEBINAR
AI, protezione dei dati e flessibilità: anche questo è Storage
Intelligenza Artificiale
Storage

Nelle discussioni tecniche, l’intelligenza artificiale interpretabile riguarda il senso dei modelli di AI trasparenti, mentre l’AI spiegabile riguarda il senso di modelli relativi alle black box.

In un classico problema di regressione dell’apprendimento automatico, ad esempio, i dati di addestramento possono consistere in molte domande legate a una richiesta di prestito finanziario gestite da un responsabile preposto alla formazione del sistema. I modelli trasparenti sono sviluppati in una forma che un umano può seguire puntualmente. Un albero decisionale rappresenta una serie di decisioni esplicite come, ad esempio: “SE total_net_worth <20.000 POI nega il prestito”.

I modelli basati sulle black box più complessi possono includere un’analisi statistica delle parole associate all’accettazione del prestito. Ad esempio, le parole positive potrebbero apparire come {“ricchezza familiare”: 0,9462, “espansione”: 0,84716 …} e le parole negative potrebbero apparire come {“fallimento”: -0,89817 “,” default “:” -0,85617}. Dopo che il modello è stato addestrato, una persona potrebbe guardare quell’elenco di parole e interpretare ciò che il sistema sta cercando e quanto sta ponderando rispetto a quelle parole quando si valuta l’erogazione di un prestito.

Questa interpretazione viene in genere eseguita come un processo separato, dal momento che il modello sottostante non è interpretabile. L’essere umano, invece, crea un secondo modello che punta a determinare e spiegare cosa sta facendo il modello reale. Se il processo di concessione / rifiuto del prestito fosse modellato con il deep learning (il che non è di per sé intellegibile), questo modello secondario considererebbe che fattori come il patrimonio netto di una persona e la dimensione del prestito sono elementi importanti nel decidere o meno la concessione di un prestito.

L’AI dal punto di vista della user interface

La differenza tra AI spiegabile e AI interpretabile cambia se si considera la prospettiva della UX (User eXperience) rispetto ai diversi flussi di lavoro.

  • L’interpretabilità si concentra sulla rappresentazione
  • La spiegabilità si riferisce a una serie più ampia di considerazioni che rendono un sistema di intelligenza artificiale altamente comprensibile agli utenti umani

In che cosa consiste l’interpretazione dell’AI

L’obiettivo dell’interpretazione è tradurre le conoscenze utilizzate da un sistema di intelligenza artificiale in una rappresentazione direttamente chiara e trasparente agli utenti. Ad esempio, le regole if-then e le regole bayesiane sono interpretabili come umane e possono spiegare il motivo per cui una decisione viene presa da un agente di AI.

Due esempi di rappresentazioni interpretabili sono gli alberi decisionali che mostrano la logica di un’intelligenza artificiale e tutte le rappresentazione che mostrano come il comportamento di un’AI possa variare in base agli elementi contestuali di una certa attività. Quando gli alberi decisionali vengono utilizzati come rappresentazione interpretabile, le persone possono seguire e tenere traccia della logica utilizzata per l’alberatura e e quindi comprendere meglio cosa farà un’AI in varie situazioni.

In che cosa consiste la spiegabilità dell’AI

La spiegabilità descrive il processo che rende le interpretazioni accessibili agli utenti. Gli approcci di auto-spiegazione possono interagire con gli utenti al fine di determinare quali informazioni siano necessarie per soddisfare le esigenze di informazione degli utenti finali.

Le informazioni esplicative sono in genere presentate nel contesto di una finestra di dialogo interattiva e sono selezionate per rispondere alle domande degli utenti. Ad esempio, in risposta a un utente che chiede “Quali opzioni hai preso in considerazione?” e “Perché hai scelto questo?” un sistema auto-esplicativo potrebbe presentare percorsi di azione alternativi che sono stati considerati nell’esecuzione dell’attività e quindi confrontare i relativi vantaggi e svantaggi.

Diversi tipi di utenti dell’AI: gli sviluppatori

Le differenze tra AI spiegabile e AI interpretabile possono essere importanti per gli sviluppatori che personalizzano il modo in cui le applicazioni AI sono configurate per interagire con diversi tipi di utenti.

  • La spiegabilità è la misura decisionale di un esperto che capisce tutte le parti di un sistema. L’obiettivo della spiegabilità è una comprensione così profonda che l’esperto può costruirla, mantenerla e persino eseguirne il debug oltreché utilizzarla.
  • L’interpretabilità misura il modo in cui qualsiasi utente, specialmente un non esperto, sarà in grado di capire cosa il sistema stia facendo e perché, sia nel complesso che in un caso particolare. Ciò che l’utente capisce potrebbe essere tutt’altro che perfetto, ma quando il sistema non ha senso l’utente deve essere in grado di intervenire per modificare il risultato.

Strumenti di AI spiegabile e AI interpretabile

Gli esseri umani non possono assolutamente sapere tutto sul modo in cui un’organizzazione lavora e non devono interpretarla. Le piattaforme di machine learning stanno iniziando a includere alcune caratteristiche di intellegibilità e interpretabilità. Ecco di seguito qualche esempio:

Piattaforme di machine learning 2.0

Le piattaforme automatizzate di machine learning 2.0, come dotData, combinano la creazione e la scoperta attraverso automatismi di funzionalità corredati di spiegazioni in linguaggio naturale, il che rende i modelli più facili da comprendere e più semplici le interpretazioni di formule statistiche anche molto complesse.

Piattaforma SAS

La piattaforma SAS utilizza una scheda Approfondimenti dedicata alla spiegabilità dei modelli. Questa funzionalità utilizza framework molto diffusi tramite l’elaborazione del linguaggio naturale che aiutano a interpretare i modelli e a spiegare i risultati in un linguaggio semplice come, ad esempio:

  • PD (sviluppo professionale)
  • LIME (spiegazioni agnostiche del modello interpretabile locale)
  • ICE (impatto, sicurezza, facilità)
  • Kernel SHAP (spiegazioni additive di Shapley)

Strumenti di terze parti

Altre aziende, come ad esempio Fiddler, stanno costruendo strumenti di terze parti che apportano la spiegabilità ai modelli di deep learning costruiti con altri strumenti.

Strumenti Open source

Iniziano anche ad emergere numerosi strumenti open source per l’implementazione di AI spiegabili e interpretabili, tra cui:

  • IBM Explainability 360 di IBM
  • Microsoft InterpretML
  • SHAP
  • Alibi di Seldon

Aprire la black box

Quando i data scientist scelgono tra diversi algoritmi, le argomentazioni sull’AI spiegabile o l’AI interpretabile sono importanti.

  • I modelli trasparenti sono migliori dal punto di vista dello sviluppo, della distribuzione e della privacy
  • i modelli black box hanno prestazioni migliori e funzionano meglio quando si tratta di traduzione automatica, sintesi vocale o la robotica.

Secondo gli esperti, a parità di prestazioni i vantaggi dell’approccio trasparente risultano sempre vincenti. Non solo è più facile ispezionare questo tipo di approcci per confermare che stanno acquisendo caratteristiche sensibili. Essere in grado di rispondere a domande come “Perché il modello ha preso questa decisione particolare?” è sempre una buona pratica per la credibilità a un sistema automatico.

Anche se il deep learning ha avuto successo in molti contesti diversi, alcuni esperti ritengono che gli sviluppatori debbano evitare di applicarlo ad ogni problema. Il motivo è che questo approccio può comportare varie conseguenze negative per gli utenti del sistema quando le persone non capiscono perché un sistema di intelligenza artificiale prende le decisioni che prende.

Dato che metodi più trasparenti continuano progredire e a migliorare, si arriverà a un punto in cui il deep learning riuscirà a risolvere anche quei problemi in cui gli esseri umani prendono decisioni consapevoli come, ad esempio, assumere, concedere prestiti o determinare lo status delle parole.

Z

Laura Zanotti - Fonte TechTarget

Giornalista

Ha iniziato a lavorare come technical writer e giornalista negli anni '80, collaborando con tutte le nascenti riviste di informatica e Telco. In oltre 30 anni di attività ha intervistato centinaia di Cio, Ceo e manager, raccontando le innovazioni, i problemi e le strategie vincenti delle imprese nazionali e multinazionali alle prese con la progressiva convergenza tra mondo analogico e digitale. E ancora oggi continua a farlo...

Argomenti trattati

Approfondimenti

I
Intelligenza Artificiale
Tech InDepth

Articolo 1 di 5