AI SPIEGATA SEMPLICE 12
IN BREVE
Nella tappa sui token abbiamo visto come il testo viene suddiviso. La tappa precedente del percorso, dedicata agli embeddings, ne introduce le rappresentazioni numeriche. Ma una sequenza di token, da sola, non spiega come un moderno modello linguistico riesca a elaborare le relazioni tra gli elementi presenti nel contesto.
Qui entra in gioco il Transformer, un’architettura di rete neurale nella quale i meccanismi di attention hanno un ruolo fondamentale.
L’attention non significa che l’IA “presti attenzione” come una persona e neppure che individui semplicemente le parole più importanti. È un meccanismo matematico che permette al modello di elaborare in maniera differenziata le relazioni tra le rappresentazioni degli elementi.
Per il giurista il concetto essenziale è questo: i token non vengono elaborati soltanto come elementi isolati; il loro trattamento dipende anche dalle relazioni che emergono nel contesto.
Dal token manca ancora un passaggio
Prendiamo una frase:
Il giudice ha esaminato il contratto perché questo era stato contestato.
Nell’approfondimento sui token abbiamo visto che il modello non riceve necessariamente questa frase suddivisa nelle stesse parole che percepiamo noi.
Il testo viene tokenizzato.
Possiamo quindi rappresentare il primo passaggio così:
testo → tokenizzazione → token
Rimane però una domanda fondamentale: come vengono elaborate le relazioni tra gli elementi della sequenza?
Per rispondere dobbiamo introdurre il Transformer.
Che cos’è un Transformer
Il Transformer è un’architettura di rete neurale presentata nel 2017 nel lavoro scientifico Attention Is All You Need di Ashish Vaswani e altri ricercatori.
Nell’architettura proposta, gli autori fecero affidamento sui meccanismi di attention, abbandonando ricorrenza e convoluzioni caratteristiche di altre architetture allora utilizzate per l’elaborazione delle sequenze.
Il Transformer è successivamente diventato fondamentale per lo sviluppo dei moderni modelli linguistici. Anche la sigla GPT significa Generative Pre-trained Transformer. NIST definisce i GPT come una famiglia di modelli di machine learning basata sull’architettura Transformer e pre-addestrata mediante apprendimento auto-supervisionato su grandi quantità di testo non etichettato.
Non abbiamo però bisogno di studiarne adesso tutta l’architettura. Qui è sufficiente comprendere il meccanismo che incontreremo continuamente parlando di Transformer: attention.
Che cos’è l’attention
La parola può essere ingannevole.
Attention non significa attenzione nel senso umano.
Il modello non osserva una frase e decide consapevolmente quali parole meritino maggiore attenzione.
L’attention è invece un meccanismo matematico mediante il quale vengono elaborate in maniera differenziata le relazioni tra le rappresentazioni degli elementi considerati.
Un elemento può essere elaborato tenendo conto, in misura differenziata, degli altri elementi presenti nel contesto.
Questa è la nozione che ci serve. Non dobbiamo trasformarla nell’affermazione secondo cui il modello “comprende” il significato come una persona.
Dal token alle relazioni
E la self-attention?
Incontreremo spesso anche il termine self-attention.
Nel Transformer, la self-attention consente di mettere in relazione elementi appartenenti alla sequenza elaborata.
elementi della sequenza → relazioni tra rappresentazioni → elaborazione contestuale.
Query, key, value, multi-head attention e le relative operazioni matematiche sono concetti reali, ma non sono necessari per comprendere il meccanismo essenziale.
Attention non significa spiegazione
C’è una seconda cautela importante.
Non dobbiamo trasformare attention in “spiegazione di ciò che il modello ha pensato”.
I meccanismi di attention appartengono al funzionamento matematico del modello. La loro presenza non dimostra, da sola, una spiegazione umana e completa delle ragioni per cui un sistema abbia prodotto un determinato output.
La distinzione diventerà importante quando affronteremo interpretabilità ed explainability.
attention ≠ ragionamento umano
attention ≠ spiegazione automatica della decisione
Perché interessa all’avvocato
Perché ci permette di costruire un’immagine più corretta di ciò che accade quando utilizziamo un LLM.
Analizza questa clausola tenendo conto delle altre disposizioni del contratto.
Non stiamo semplicemente interrogando un archivio che cerca alcune parole. Il modello elabora rappresentazioni e relazioni tra gli elementi disponibili nel contesto.
Ma anche qui occorre evitare un salto logico. Elaborare relazioni matematiche tra rappresentazioni non equivale a svolgere l’interpretazione giuridica professionale.
Comprendere norme, fatti, interessi, precedenti e strategia processuale resta attività sottoposta al governo e alla responsabilità del professionista.
La tecnologia assiste l’avvocato. Non diventa l’avvocato.
Dal Transformer alla finestra di contesto
Possiamo ora ricostruire una parte del percorso seguito fin qui:
training → parametri → modello → input → tokenizzazione → token → Transformer/attention → elaborazione contestuale → output
A questo punto nasce spontaneamente una nuova domanda.
Quanta informazione può essere presente contemporaneamente in quel contesto?
È il problema della context window, o finestra di contesto.
Il collegamento con l’AI literacy
L’AI Act non definisce Transformer, attention o self-attention. Sarebbe quindi scorretto presentare queste nozioni tecniche come definizioni normative.
Il collegamento con il Regolamento è un altro: l’AI literacy.
Nel testo consolidato vigente, l’art. 4, par. 1, richiede a provider e deployer di adottare misure per sostenere lo sviluppo dell’AI literacy del personale e delle altre persone che operano o utilizzano sistemi di IA per loro conto, considerando conoscenze tecniche, esperienza, istruzione, formazione, contesto d’impiego e persone interessate. La disposizione precisa inoltre che ciò non impone di garantire uno specifico livello individuale di AI literacy.
Per un avvocato conoscere il Transformer non significa quindi diventare un informatico. Significa comprendere abbastanza la tecnologia da non attribuirle caratteristiche che non possiede e da poterla governare professionalmente.
Il concetto fondamentale
Il testo viene trasformato in token. Il Transformer utilizza meccanismi di attention per elaborare relazioni tra le rappresentazioni degli elementi presenti nel contesto.
Non significa coscienza.
Non significa comprensione umana.
Non significa interpretazione giuridica.
Significa comprendere un altro pezzo del meccanismo che si trova dietro molti moderni modelli linguistici.
E ora possiamo finalmente chiederci: quanto può essere grande il contesto che il modello riesce a elaborare?
Continua il percorso
- Precedente: Embeddings. Come l’intelligenza artificiale trasforma gli elementi del linguaggio in rappresentazioni numeriche.
- Ora: Transformer e attention. Come il modello mette in relazione gli elementi del linguaggio.
- Approfondimento collegato: Come genera il testo un’intelligenza artificiale. La previsione del token successivo.
- Altro concetto collegato: La finestra di contesto. Quanta informazione può realmente gestire un modello?
Consulta il percorso AI spiegata semplice e la pagina permanente AI Literacy.