AI SPIEGATA SEMPLICE 11
IN BREVE
Quando scriviamo una domanda a un sistema di intelligenza artificiale generativa, vediamo parole, frasi e periodi. Il modello, però, non riceve necessariamente quel testo nello stesso modo in cui lo leggiamo noi.
Prima che inizi l’elaborazione, il testo viene normalmente suddiviso in unità più piccole chiamate token.
È un passaggio apparentemente tecnico, ma fondamentale. Capire cosa sono i token permette di comprendere meglio come funzionano i modelli linguistici, perché esistono limiti alla quantità di testo che possiamo fornire loro e perché un documento molto lungo può creare problemi che non dipendono soltanto dal numero delle sue pagine.
Per un avvocato, quindi, il token non è una curiosità informatica. È uno dei concetti di base necessari per utilizzare consapevolmente gli strumenti di IA generativa.
1. Il modello non parte dalle parole
Immaginiamo di inserire questo testo:
“Il contratto è stato risolto.”
Per noi è una frase composta da cinque parole.
Un modello linguistico non è però costretto a trattarla come cinque unità. Prima dell’elaborazione interviene un processo chiamato tokenizzazione, attraverso il quale il testo viene suddiviso secondo le regole utilizzate dal modello.
Un token può quindi corrispondere a una parola intera, ma anche a una parte di parola, a un segno di punteggiatura o ad altre porzioni della sequenza.
L’Agenzia per l’Italia Digitale, nel proprio Strumento A – Termini e definizioni delle Linee guida per l’IA nella pubblica amministrazione, definisce il token come l’unità elementare di rappresentazione utilizzata come input o output nei modelli di elaborazione del linguaggio naturale e precisa che esso può corrispondere, secondo lo schema di tokenizzazione adottato, a una parola, parte di parola, carattere o altro segmento. La stessa fonte richiama la ISO/IEC 22989:2022.
La prima regola da ricordare è dunque:
parola e token non sono sinonimi.
2. Che cos’è la tokenizzazione
La tokenizzazione è il processo attraverso il quale una sequenza viene trasformata nelle unità che il modello utilizzerà per l’elaborazione.
Possiamo rappresentarlo, semplificando, così:
TESTO → TOKENIZZAZIONE → TOKEN → ELABORAZIONE DEL MODELLO
Il componente o meccanismo che realizza questa trasformazione viene comunemente indicato come tokenizer.
Questo significa anche che due modelli differenti possono suddividere lo stesso testo in modo diverso, perché possono utilizzare vocabolari e sistemi di tokenizzazione differenti.
Il vocabolario, in questo contesto, non deve essere immaginato semplicemente come un dizionario tradizionale. È l’insieme delle unità che il sistema di tokenizzazione è in grado di rappresentare.
Alcune possono essere parole intere. Altre possono essere frammenti ricorrenti di parole: i cosiddetti subword token.
Questo consente al sistema di rappresentare anche termini complessi, varianti linguistiche e parole che non avrebbe senso memorizzare tutte individualmente.
- TestoUna frase viene fornita al sistema.
- TokenizzazioneIl testo viene suddiviso in unità secondo il tokenizzatore.
- Rappresentazioni numericheI token sono rappresentati in una forma elaborabile dal modello.
- GenerazioneIl modello calcola possibilità per gli elementi successivi.
I token non coincidono necessariamente con le parole. Lo schema è concettuale, non una tokenizzazione reale.
3. Dal token al numero
C’è un secondo passaggio importante.
Il modello non lavora direttamente sul token come noi vediamo una parola sullo schermo. Al token viene associata una rappresentazione numerica che consente al sistema di elaborarlo matematicamente.
Possiamo quindi ampliare la nostra mappa:
testo → tokenizzazione → token → rappresentazione numerica → modello
Qui cominciamo a collegare questo articolo ai concetti già incontrati nella collana.
Abbiamo visto che un modello contiene parametri e pesi e che la generazione di una risposta è legata a elaborazioni matematiche e probabilistiche.
Adesso possiamo aggiungere un altro tassello.
Il testo che forniamo al sistema deve prima essere trasformato in una forma che il modello possa elaborare.
I token costituiscono una parte essenziale di questo passaggio.
4. E dopo? Il token successivo
Possiamo ora comprendere meglio anche un’affermazione incontrata nel capitolo precedente: un modello linguistico genera il testo attraverso una sequenza di previsioni.
Semplificando molto:
token precedenti → elaborazione del modello → distribuzione di probabilità → token successivo
Il sistema valuta quali possibili token possano seguire la sequenza precedente e continua il processo generando progressivamente l’output.
Poi il nuovo token entra nella sequenza e il procedimento continua.
È uno dei motivi per cui è fuorviante descrivere un Large Language Model come un soggetto che “conosce la risposta” e successivamente la scrive.
Il meccanismo è profondamente diverso.
Il modello genera una sequenza sulla base delle strutture apprese durante l’addestramento e del contesto che gli viene fornito.
La fluidità linguistica dell’output non deve quindi essere confusa con la verità del suo contenuto.
Per il giurista questa distinzione è essenziale.
Una frase giuridicamente perfetta può contenere un riferimento normativo sbagliato. Una sentenza può essere citata in modo plausibile ma inesatto. Una ricostruzione può essere linguisticamente convincente e tuttavia richiedere verifica.
La qualità della forma non costituisce prova dell’affidabilità della fonte.
5. Perché i token interessano concretamente l’avvocato
Supponiamo di voler sottoporre all’IA un fascicolo composto da un contratto, alcune lettere, una consulenza tecnica, numerose e-mail e diversi provvedimenti giudiziari.
Noi potremmo ragionare in termini di:
120 pagine.
Il sistema ragiona invece entro limiti tecnici che riguardano anche il numero di token che può elaborare nel proprio contesto.
È qui che compare un altro termine importante: context window, o finestra di contesto.
Per ora è sufficiente intenderla come la quantità di informazioni che il modello può gestire all’interno di una determinata elaborazione. La approfondiremo separatamente, perché merita un nodo autonomo.
La conseguenza pratica è già evidente:
numero di pagine ≠ numero di token ≠ capacità effettiva di elaborazione del sistema.
Ecco perché, nell’utilizzo professionale dell’IA, diventeranno importanti operazioni come selezionare i documenti pertinenti, strutturare correttamente il materiale e comprendere quali informazioni siano effettivamente disponibili al modello.
Da questo punto nasceranno altri concetti che incontreremo più avanti: context window, chunking, embeddings e RAG.
Non servono ancora.
Per ora dobbiamo semplicemente sapere perché esistono.
6. Il collegamento con l’AI literacy
Comprendere il concetto di token ha anche una dimensione giuridico-organizzativa.
L’AI Act disciplina espressamente l’alfabetizzazione in materia di IA. Dopo le modifiche del Digital Omnibus sull’IA del 2026, l’art. 4 continua a richiedere a fornitori e deployer di adottare misure a sostegno dello sviluppo dell’AI literacy del personale e delle altre persone che operano con sistemi di IA per loro conto, considerando conoscenze tecniche, esperienza, istruzione, formazione e contesto di utilizzo. La Commissione chiarisce inoltre che non è imposto uno specifico livello individuale di alfabetizzazione.
Non significa naturalmente che ogni avvocato debba diventare un informatico.
Significa qualcosa di più concreto: chi utilizza professionalmente un sistema di IA deve possedere una comprensione proporzionata dello strumento che sta utilizzando, delle sue possibilità e dei suoi limiti.
Sapere che un LLM elabora token anziché “leggere” semplicemente un documento come farebbe un professionista è un piccolo ma importante tassello di questa consapevolezza.
7. La regola da portare nello studio
Alla fine di questo capitolo bastano cinque idee:
testo → tokenizzazione → token → elaborazione probabilistica → nuovo token
Il token è un’unità tecnica, non necessariamente una parola.
La tokenizzazione dipende dal sistema utilizzato.
I token vengono trasformati in rappresentazioni elaborabili matematicamente dal modello.
La quantità di testo gestibile da un sistema dipende anche dai limiti del suo contesto.
E soprattutto:
Il modello non legge un atto come lo legge l’avvocato.
L’avvocato interpreta il documento all’interno di un ordinamento, ricostruisce i fatti, attribuisce rilevanza giuridica alle informazioni e assume la responsabilità della conclusione.
Il modello elabora rappresentazioni matematiche e genera output.
Comprendere questa differenza è uno dei presupposti per utilizzare l’intelligenza artificiale come strumento di supporto, mantenendo il governo umano della prestazione professionale.
La mappa si amplia
Modello
↓
Parametri e pesi
↓
Probabilità e previsione
↓
Token e tokenizzazione
↓
La finestra di contesto: quanta informazione può realmente gestire un modello?
Fonti
AgID — Strumento A: Termini e definizioni
Commissione europea — AI literacy e articolo 4 AI Act
AI Act — testo consolidato EUR-Lex
AgID costituisce il riferimento terminologico italiano qualificato. La pagina della Commissione è una fonte istituzionale di orientamento; l’AI Act resta la fonte normativa. Nessuna di queste fonti attribuisce all’AI Act una definizione tecnica di token.
Continua il percorso
Prima
AI SPIEGATA SEMPLICE 10 — Probabilità e previsione. Come il modello sceglie tra risultati possibili.
Prossimo passo
Embeddings. Come l’intelligenza artificiale trasforma gli elementi del linguaggio in rappresentazioni numeriche