Technology In Depth

Prompting ibrido: una svolta per i developer, un’opportunità per le aziende

A infrangere il sogno di poter parlare all’AI come a un amico arriva il Language Model Programming. Se si inserisce del codice nei prompt, infatti, si guadagna in qualità ed efficienza

Pubblicato il 09 Ago 2023

Immagine di Jirsak su Shutterstock

Nell’entusiasmo generale dato dalla possibilità di poter “parlare” all’intelligenza artificiale generativa come a un collega o a un amico, si insinua l’idea che un linguaggio di prompting ibrido possa dare risultati migliori. Un’ipotesi, sempre più avvalorata, che non piace a tutti ma che inaugurerebbe una nuova era sia per le aziende, sia per il mondo dei developer. Una nuova era di elevata efficienza e produttività, se rispettati gli equilibri di ruoli e competenze, abbandonando l’illusione di poter tutto semplificare.

Questa dinamica nata nel mondo del prompting è racchiusa nell’acronimo LMP, Language Model Programming. Il concetto è quello di consentire agli utenti di esprimere richieste in linguaggio naturale che contengono anche codice. Le query risultanti vengono eseguite direttamente su modelli linguistici precedentemente selezionati e, grazie a standard di risposta fissi e istruzioni intermedie, diventa possibile guidare il processo di ragionamento dell’LLM.

Controllo, efficienza e integrazione: i vantaggi del codice

“Il linguaggio naturale è molto bello, ma molto pericoloso, perché non hai vincoli. È come passare da Visual Basic a C, ottenendo un codice più pulito e comprensibile” spiega Stefano Danzo, Solution Architect Data & AI in Avanade, mettendo subito in luce il vantaggio più evidente di questo cambiamento: l’inserimento di vincoli. Convertiti automaticamente in maschere di predizione a livello di token, che possono essere applicate in anticipo durante la generazione del testo, rendono impossibile per il modello generare contenuti che non soddisfano i requisiti.

“I prompt con constraint sono più guidati e permettono di controllare meglio l’output generato. La presenza di codice mitiga le allucinazioni e regala anche la possibilità di accedere a concetti tipici del mondo dello sviluppo con cui controllare l’output come non si potrebbe altrimenti fare” aggiunge Danzo. Un esempio è quello della distribuzione in un contesto come quello della sentiment analysis di un testo. Un LLM in genere fornisce una risposta secca, senza sfumature percentuali o spiegazioni, ottenibili invece con il LMP che si pone a livello più basso di prompting.

Lato developer, con il passaggio a un linguaggio ibrido si verifica anche un evidente efficientamento a livello codice. Utilizzando una nuova semantica di valutazione parziale, il processo di decodifica LM viene controllato e valutato a livello di token, inoltre, con un significativo aumento dell’efficienza rispetto agli approcci esistenti. Esistono stime che fanno sperare a risparmi fino all’80% dei token consumati, ottimizzando i prompt multiparte end-to-end, pur mantenendo una sintassi dichiarativa di alto livello. Sempre lato developer, un approccio come il LMP si rivela molto integrato, fa notare Danzo. Il codice delle query risulta di poche righe, portabile e indipendente dai modelli. Si ha poi a che fare con un frontend di alto livello per interagire con i modelli linguistici che vengono poi eseguiti fuori dal processo, o addirittura in remoto, consentendo uno sviluppo semplice e una rapida prototipazione.

Il linguaggio del futuro è ibrido

Con un LMP così estremamente integrato, chi fa codice è in grado di saltare molti passaggi. Dal punto di vista professionale, ciò comporta un cambio di focus verso l’abilità di saper fare del prompting ibrido nella maniera migliore possibile” osserva Danzo, lasciando immaginare un’evoluzione del ruolo del developer. Chi lo ricopre oggi, e lavora con AI e LLM, “deve essere bravo a rivolgersi all’intelligenza artificiale, soprattutto in campo full stack. Le conoscenze di prompting sono essenziali ma non solo. Penso che il LMP sia una delle strade più convenienti da seguire, grazie alla forte integrazione e alle possibilità di controllo sul risultato che offre. È potenzialmente molto interessante e, al contrario che per il prompting in linguaggio naturale, per adottare questo approccio è evidente che servono competenze da developer, altrimenti è impossibile fare prompting ibrido. Si possono ottenere risultati dai modelli con entrambi, ma il secondo risulta molto più efficiente”.

Come parlare all’AI? Una scelta aziendale strategica

La decisione finale spetta alle aziende. Dovrebbero essere in grado di comprendere non tanto che “stile” di prompting utilizzare, quanto cosa pretendono dai modelli di AI generativa. Il resto va di conseguenza. “Se ci si vuole far aiutare da un’AI che funzioni come una sorta di copilota, per esempio per delle slide, non serve il LMP. Questo paradigma fa realmente la differenza su task come il document management, aiutando i developer a ottenere risultati più corretti possibile. Non c’è una regola precisa ma si può dire che, quando si vuole essere più sicuri del risultato, meglio il prompting ibrido che, se invece prevale l’interesse per il lato più creativo dell’AI, non serve”.

Al di là di questo nuovo complesso e sottile dilemma di fronte a cui l’intelligenza artificiale generativa pone ogni organizzazione, secondo Danzo sono poche le realtà che oggi hanno realmente compreso come il prompting abbia un peso specifico molto elevato. “Viene usato come buzzword, si tende molto a semplificare ma, allo stesso tempo, ChatGPT alza l’asticella aspettative in modo esponenziale. Ci si dimentica dell’importanza della maniera con cui ci si rivolge a questi strumenti. Sono e restano basati su modelli statistici che generano parole in funzione di quelle utilizzate nelle nostre richieste. Anche l’uso di un singolare al posto di un plurale può fortemente impattare sull’output e portare a una risposta scorretta”.

Il prompting risulta sottovalutato anche nei suoi impatti sulla sicurezza. Per chi realizza soluzioni di AI generativa, il maggior rischio è rappresentato dall’AI jacking. Si tratta della possibilità, per esperti e malintenzionati, di bypassare le regole stabilite di base per avere risposte in linea con valori e policy, riuscendo a ottenere output “proibiti” o sgraditi.

Per chi sfrutta questo tipo di strumenti da utente, il pericolo è quello di ottenere risposte scorrette ma, soprattutto, di veder usare le proprie informazioni sensibili come “materiale per training” del modello stesso. Un rischio potenziale, evitabile effettuando scelte accurate, ma per cui stare sempre in guardia.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Articoli correlati

Articolo 1 di 4