Metriche NLP a supporto del business: che cosa sono e come vanno gestite

pittogramma Zerouno

TechTarget Tech InDepth

Metriche NLP a supporto del business: che cosa sono e come vanno gestite

Le metriche NLP applicate in modalità standard stanno diventando sempre più diffuse. Per il successo dei progetti aziendali, gli esperti suggeriscono agli utenti di concentrarsi sull’impostazione di parametri personalizzati

03 Lug 2020

di Laura Zanotti - Fonte TechTarget

Metriche NLP (Natural Language Processing) per la modellizzazione linguistica che aiutano sempre meglio i processi di business. Ennesima applicazione dell’Intelligenza Artificiale, questi indicatori supportano l’apprendimento non supervisionato (unsupervised learning).

Sempre più informazioni vengono create online ogni giorno e molte di esse provengono dal linguaggio umano naturale. Fino a poco tempo fa, le aziende non erano in grado di analizzare questo tipo di dati. I progressi nel campo dell’NPL consentono ai sistemi di analizzare e apprendere da una più ampia gamma di fonti di informazioni per rilasciare una grande quantità di servizi: dalle soluzioni per la domotica (come Alexa, Siri o Cortana) ai vari chatbot.

NPL: le sfide e le difficoltà

Lo sviluppo di applicazioni NLP è impegnativo perché i computer tradizionalmente richiedono agli umani di comunicare con loro:

  • attraverso un linguaggio di programmazione preciso, inequivocabile e altamente strutturato
  • attraverso un numero limitato di comandi vocali chiaramente enunciati

Il discorso umano, tuttavia, è spesso ambiguo e impreciso. La struttura linguistica può dipendere da molte variabili complesse, tra cui il gergo, i dialetti regionali o il contesto sociale. Altre difficoltà includono il fatto che le forme più astratte del linguaggio sono generalmente difficili da comprendere per i computer. Ad esempio, l’NPL non rileva facilmente il sarcasmo. Questi argomenti di solito richiedono più matrici di comprensione sovrapposti: l’uso delle parole utilizzate, il contesto in cui vengono utilizzate, il tono di voce con cui vengono pronunciate. Un altro problema è legato all’evoluzione della lingua e del modo in cui le persone ne fanno uso.

Come funziona l’elaborazione del linguaggio naturale: le tecniche

La sintassi e l’analisi semantica sono due tecniche principali utilizzate per l’elaborazione del linguaggio naturale. La sintassi è la disposizione delle parole in una frase secondo un criterio grammaticale. L’NLP applica le tecniche di sintassi per valutare il senso di una lingua, includendo:

  • l’analisi grammaticale della frase
  • la segmentazione delle parole, che divide un grande blocco di testo in sotto-unità di testo
  • la scansione della frase, che pone i confini di un periodo nel caso di testi molto ampi
  • la segmentazione morfologica, che divide le parole in gruppi interpretando le inflessioni

La semantica tiene conto dell’uso e del significato che stanno dietro le parole. Per comprendere il significato e la struttura delle frasi i programmi NLP utilizzano degli algoritmi. Le tecniche utilizzate includono:

  • la disambiguazione del senso delle parole, che ricostruisce il significato di una parola in base al contesto
  • il riconoscimento dell’entità denominata, che determina le parole che possono essere classificate in gruppi
  • la generazione del linguaggio naturale, che utilizzerà un database per determinare la semantica dietro le parole

METRICHE NLP

Gli strumenti a supporto del riconoscimento del linguaggio naturale

Gli attuali approcci all’NLP sono basati sull’apprendimento profondo, un tipo di Intelligenza Artificiale che esamina e utilizza modelli applicati ai dati per migliorare la comprensione di un programma. I modelli di deep learning richiedono enormi quantità di dati, classificati ed etichettati per la formazione e l’identificazione delle relative correlazioni nonché l’assemblaggio di questo tipo di set di big data. Tutto questo, attualmente, è uno degli ostacoli principali all’NLP.

Metriche NLP: che cosa sono e quali sono le tecnologie

Le metriche NLP fanno riferimento a processori metrici di comparazione per l’elaborazione del linguaggio naturale come, ad esempio, il General Language Understand Evaluation (GLUE) o lo Stanford Question Answering Dataset (SQuAD).

Pur fornendo un ottimo scenario per migliorare i modelli NLP, il successo di questi benchmark non è direttamente applicabile alle applicazioni aziendali. Quali sono, dunque, le metriche NLP che aiutano a migliorare le prestazioni dei modelli di elaborazione del linguaggio naturale su applicazioni legate al mondo reale?

Applicazioni enterprise: ecco come funzionano

WHITEPAPER
Ricerca IDC: come aggregare i dati per un'analisi ottimale
Big Data
Business Analytics

Per confrontare le prestazioni tra diversi framework o algoritmi rispetto a qualcosa che è stato appositamente progettato per misurare le prestazioni di un particolare modello o caso d’uso, esistono diversi tipi di benchmark. Gli specialisti suggeriscono di diffidare di quelli generalisti.

Le applicazioni Enterprise NLP richiedono:

  • la personalizzazione delle metriche per un determinato caso d’uso
  • la misurazione del successo di diversi modelli
  • il computo delle variazioni

Personalizzare le metriche NLP: attenzione alla rilevanza

Per una singola app, il modo migliore per riuscire a personalizzare le metriche NLP è di concentrarsi sugli aspetti più rilevanti di un caso d’uso specifico. Per questo è meglio evitare le metriche di riferimento standard, scegliendo quelle che si riferiscono ad ambiti applicativi circoscritti come, ad esempio, la NLP a supporto della gestione dei contratti. Le migliori metriche NLP, infatti, sono quelle realizzate per supportare un determinato compito da svolgere.

Si prendano, a titolo esemplificativo, due sistemi:

  • il primo può rispondere correttamente a una varietà di domande in base al testo dell’accordo, ma si comporta male sugli aspetti finanziari dello stesso
  • Il secondo sa estrarre solo le informazioni finanziarie e lavorare minuziosamente su di esse, ma non sa fare altro

Il primo sistema sarebbe inutile per una varietà di applicazioni aziendali che includono la finanza ma avrebbe punteggi di riferimento più elevati rispetto al secondo sistema.

La premessa è che ci sono molti processi e molte applicazioni aziendali che sono grandi clienti dell’NLP. Ma è fondamentale stabilire una serie di requisiti estremamente rigorosi, tenendo anche conto del fatto che ogni organizzazione ha esigenze diverse. Ecco perché servono metriche NLP personalizzate.

Impostazione delle metriche: gli errori da evitare

I fattori del mondo reale svolgono un ruolo importante nel determinare l’eventuale successo di un progetto di Natural Language Processing. Alcune delle metriche NLP comuni e previste possono includere elementi come:

  • precisione
  • impegno
  • costi
  • dati di formazione

L’importante è assicurarsi che il proprio team non confonda il punteggio elevato con il sistema di comparazione (il che induce ad assegnare un valore sbagliato all’utente). Il pericolo di focalizzarsi su un singolo numero, infatti, tende a far fissare gli sviluppatori e i data scientist il numero più alto possibile. Questo fa perdere di vista ciò che è realmente più importante per gli utenti e i clienti.

Un modello di NLP può funzionare abbastanza bene nel caso i committenti preferiscano investire risorse per migliorare altre parti dell’app o del servizio. Nel frattempo, il team di professionisti dell’NLP sta regolarmente ottenendo guadagni incrementali rispetto a un punteggio di riferimento predeterminato (che gli utenti potrebbero anche non notare). In ultima istanza, la metrica più utile è determinare la UX desiderata e il valore utente dell’app calcolando come l’NLP può migliorare l’esperienza.

Attenzione alla fase di modellizzazione

Comprendere quali aspetti della lingua necessitano di una modellizzazione a supporto di attività particolari richiede una profonda conoscenza sia della lingua che del dominio del problema. Sviluppare modelli di intelligenza artificiale per aiutare a comprendere vari documenti legali, ad esempio, grazie all’applicazione delle metriche NLP aiuta più velocemente i responsabili nei loro processi di ricerca. A livello di sviluppo è importante disporre di una pipeline di analisi degli errori e di tutte le annotazioni fatte dalle persone in merito alla gestione dei dati e dei modelli.

Le migliori misurazioni, infatti, si raggiungono quando si ha vera comprensione del problema che si sta affrontando.

Utilizzare le metriche di SQuAD perché rispondono a diverse domande, ad esempio, non si applica ai contratti legali, che hanno una struttura molto diversa rispetto alle dinamiche di interrogazione che si applicano a Wikipedia (su cui è basato SQuAD).

L’apporto del professionista umano all’NLP

La costruzione di modelli può essere automatizzata facilmente, ma l’analisi del comportamento e della durata del modello è uno sforzo che comporta il lavoro del professionista umano. La creatività e il pensiero critico, con particolare attenzione alle proprie esigenze particolari, è fondamentale per definire le migliori metriche NLP.

La valutazione iterativa della forza dei diversi modelli di machine learning include:

  • l’esplorazione dei dati
  • la pianificazione e la scrittura di ipotesi e misurazioni
  • L’analisi degli errori e di altri comportamenti inattesi del modello
  • Il perfezionamento del modello

La costruzione della giusta interfaccia per gli sviluppatori dei programmi di Intelligenza Artificiale e dei data scientist è fondamentale per aiutare i team ad acquisire le conoscenze ottenute il più rapidamente possibile. A volte questo si basa sulla costruzione di buoni strumenti software e altre volte richiede uno strumento matematico che rende molto semplice scoprire le metriche NLP.

Standardizzazione, commercializzazione e condivisione

Gli esperti ritengono che tra qualche tempo questo processo sarà sempre più standardizzato e commercializzato, analogamente a quanto è avvenuto con la distribuzione di software tradizionale. Nel frattempo, servizi completamente gestiti come Amazon SageMaker, Azure Machine Learning Studio e Paperspace Gradient stanno aiutando ad analizzare, creare e sviluppare soluzioni sulla base di metriche NLP specifiche.

Z

Laura Zanotti - Fonte TechTarget

Giornalista

Ha iniziato a lavorare come technical writer e giornalista negli anni '80, collaborando con tutte le nascenti riviste di informatica e Telco. In oltre 30 anni di attività ha intervistato centinaia di Cio, Ceo e manager, raccontando le innovazioni, i problemi e le strategie vincenti delle imprese nazionali e multinazionali alle prese con la progressiva convergenza tra mondo analogico e digitale. E ancora oggi continua a farlo...

Argomenti trattati

Approfondimenti

Tech InDepth
Metriche NLP a supporto del business: che cosa sono e come vanno gestite

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

    LinkedIn

    Twitter

    Whatsapp

    Facebook

    Link

    Articolo 1 di 3