AI SPIEGATA SEMPLICE 09
IN BREVE
Durante il training un modello non impara conservando semplicemente tutte le risposte corrette. Modifica progressivamente un enorme insieme di valori numerici.
Questi valori sono i parametri del modello. Nelle reti neurali molti di essi sono chiamati pesi.
Sono una delle chiavi per capire che cosa significa davvero dire che una macchina ha “imparato” dai dati. Sono inoltre fondamentali per comprendere probabilità e previsione.
Ripartiamo dal training
È già emersa una sequenza importante.
DATI → TRAINING → MODELLO → INFERENZA → OUTPUT
Abbiamo visto che durante il training il sistema utilizza i dati per modificare progressivamente il proprio comportamento.
Abbiamo poi scoperto che ciò che rimane dopo il training è il modello.
Ora possiamo fare un passo ulteriore.
Che cosa è cambiato, concretamente, dentro quel modello?
Una risposta fondamentale è questa.
Sono cambiati i suoi parametri.
Che cos’è un parametro
Pensiamo per un momento a una vecchia radio.
Per trovare correttamente una stazione dobbiamo regolare una manopola.
Cambiare la posizione della manopola modifica il comportamento dell’apparecchio.
Un parametro può essere immaginato, con tutte le cautele necessarie, come una regolazione numerica interna del modello.
Naturalmente un moderno modello di machine learning non possiede una serie di manopole fisiche.
Possiede valori matematici.
Durante il training molti di questi valori vengono progressivamente modificati affinché il modello riesca a produrre risultati migliori rispetto all’obiettivo dell’addestramento.
Possiamo rappresentarlo così.
Come cambia il modello durante il training
Rappresentazione didattica semplificata
DATI DI TRAINING
↓
TENTATIVO / ELABORAZIONE
↓
ERRORE O SEGNALE DI APPRENDIMENTO
↓
AGGIORNAMENTO DEI PARAMETRI
↓
MODELLO AGGIORNATO
Il ciclo può ripetersi molte volte durante l’addestramento.
È uno schema didattico, non la descrizione completa di ogni tecnica di machine learning.
Ma ci permette di capire il meccanismo fondamentale.
Lo dice anche l’AI Act
Qui avviene un interessante incontro tra tecnica e diritto.
L’articolo 3 dell’AI Act definisce i dati di addestramento come i dati utilizzati per addestrare un sistema di IA adattandone i parametri che può apprendere.
La norma, quindi, utilizza espressamente il concetto di parametro apprendibile. Non fornisce però una definizione tecnica generale di “parametro” o di “peso”.
Questa distinzione è importante.
La norma richiama il concetto tecnico. Non per questo ne diventa il manuale tecnico.
Per comprendere che cosa siano concretamente parametri e pesi dobbiamo quindi integrare la fonte normativa con fonti tecniche qualificate.
È esattamente il metodo che seguiremo in HUMAIURIS.
Parametri e pesi sono la stessa cosa?
Non esattamente.
Parametro è il concetto più ampio.
Un parametro del modello è un valore che viene appreso o adattato durante il processo di training e che contribuisce a determinare il comportamento del modello.
Nelle reti neurali incontreremo soprattutto pesi e bias.
I pesi sono quindi parametri, ma non tutti i parametri devono necessariamente essere descritti come pesi.
Per ora ci basta ricordare:
PARAMETRI
↳ PESI
↳ BIAS
↳ altri eventuali parametri apprendibili
Quando arriveremo alle reti neurali vedremo perché questa distinzione diventa importante.
Che cosa fa un peso?
Immaginiamo un modello estremamente semplice che debba decidere quanto siano importanti diversi elementi.
Potremmo avere:
elemento A × peso A
elemento B × peso B
elemento C × peso C
Se il peso associato all’elemento A è maggiore, quell’elemento può incidere maggiormente sul risultato della particolare elaborazione matematica nella quale viene utilizzato.
Durante il training questi valori vengono modificati.
Che cosa sono i pesi
ELEMENTO A
━━━━━━━━━━━━→
ELABORAZIONE
ELEMENTO B
──────→
ELABORAZIONE
Legenda
Linea più spessa → peso maggiore
Linea più sottile → peso minore
Un peso maggiore può determinare un contributo matematico differente o maggiore nella specifica elaborazione rappresentata.
Schema concettuale semplificato: non rappresenta l’architettura reale di una rete neurale.
Il modello non riceve quindi necessariamente una regola scritta da un programmatore del tipo:
«Quando trovi questa situazione, rispondi così.»
L’apprendimento può consistere proprio nel regolare progressivamente moltissimi valori numerici in funzione dei dati e dell’obiettivo di training.
Un esempio volutamente semplice
Supponiamo di voler costruire un modello didattico che distingua due categorie di documenti sulla base di alcune caratteristiche numeriche.
All’inizio assegniamo valori quasi casuali alle connessioni interne.
Il modello prova.
Sbaglia.
Il processo di training misura l’errore.
Alcuni valori vengono modificati.
Il modello riprova.
Se il risultato migliora, il processo continua nella direzione utile.
Ripetendo questa operazione moltissime volte, il modello raggiunge progressivamente una configurazione dei parametri capace di produrre risultati migliori sui dati utilizzati per l’apprendimento.
Possiamo visualizzarlo così.
TENTATIVO
↓
CONFRONTO CON L’OBIETTIVO
↓
ERRORE
↓
AGGIORNAMENTO DEI PARAMETRI
↓
NUOVO TENTATIVO
Ancora una volta, è una rappresentazione didattica.
Non tutti i sistemi di machine learning apprendono nello stesso modo e non dobbiamo trasformare un esempio semplice in una regola universale.
Il modello non conserva una biblioteca di risposte
Questa è una delle idee più importanti del nostro percorso.
Quando diciamo che un modello ha imparato dai dati non dobbiamo immaginare necessariamente un gigantesco archivio nel quale ogni domanda sia associata alla propria risposta.
Nel training di una rete neurale l’informazione appresa viene incorporata nella configurazione dei suoi parametri.
Il rapporto con i dati di training è quindi molto più complesso della semplice formula:
domanda memorizzata → risposta memorizzata
Il modello utilizza ciò che ha appreso attraverso le relazioni matematiche rappresentate dalla propria struttura e dai valori acquisiti durante l’addestramento.
Questo non significa, però, che un modello non possa in determinate condizioni riprodurre o memorizzare elementi presenti nei dati di training.
Sono problemi differenti che affronteremo più avanti quando parleremo di memorization, privacy, copyright e sicurezza.
Un miliardo di parametri significa un miliardo di regole?
No.
Ed è importante non fare questa equivalenza.
Un parametro è un valore numerico interno al modello.
Non è necessariamente una regola comprensibile in linguaggio naturale.
Dire che un modello possiede un miliardo di parametri non significa quindi che contenga un miliardo di istruzioni del tipo:
«Se accade X, fai Y.»
Significa che il funzionamento del modello dipende da una struttura matematica che comprende un numero molto elevato di valori adattabili.
La Commissione europea ricorda, nel contesto dei modelli GPAI, che il numero di parametri può costituire uno degli elementi utili a descrivere la dimensione e la generalità di un modello. Il considerando 98 dell’AI Act utilizza proprio il riferimento ad almeno un miliardo di parametri nel ragionamento sulla significativa generalità dei modelli.
Questo riferimento normativo non significa però che numero di parametri = intelligenza.
Sono concetti diversi.
Parametri e iperparametri
C’è un’altra distinzione che ci servirà presto.
I parametri del modello vengono appresi o adattati attraverso il training.
Gli iperparametri sono invece configurazioni del processo di apprendimento stabilite dall’esterno e non apprese nello stesso modo dai dati.
AgID, nel proprio strumento terminologico dedicato alle Linee guida per l’IA nella pubblica amministrazione, distingue espressamente gli iperparametri dai parametri appresi durante l’addestramento.
Un esempio può aiutare.
Parametri ≠ iperparametri
Parametri
- appresi o adattati durante il training;
- appartengono al modello;
- esempi: peso e bias.
Iperparametri
- configurano il processo di apprendimento;
- non sono appresi nello stesso modo dai dati;
- esempio: learning rate.
Parametro
un peso appreso durante il training.
Iperparametro
il tasso di apprendimento scelto per governare il processo con cui il modello viene addestrato.
Non occorre ancora conoscere il funzionamento matematico del learning rate.
Ci interessa soltanto comprendere che parametro e iperparametro non sono sinonimi.
E i bias?
Nelle reti neurali incontreremo anche i bias.
In questo contesto il termine non va confuso automaticamente con il concetto di bias inteso come distorsione o pregiudizio dell’intelligenza artificiale.
Tecnicamente, un bias può essere un parametro matematico della rete che contribuisce a modificare il risultato di una determinata operazione.
Quindi avremo due significati differenti della stessa parola:
bias come parametro matematico
e
bias come distorsione o pregiudizio
Quando arriveremo ai rischi dell’IA sarà fondamentale non confonderli.
Perché il numero dei parametri è diventato famoso
I modelli contemporanei possono possedere quantità enormi di parametri.
Questo ha contribuito alla diffusione di espressioni come large language model.
Ma il numero dei parametri, da solo, non ci dice tutto sulla qualità di un modello.
Contano anche l’architettura, i dati, il processo di training, le tecniche utilizzate, la qualità dell’addestramento e molti altri fattori.
Un modello con più parametri non è automaticamente migliore per qualsiasi attività.
È sufficiente comprendere un principio:
la dimensione del modello è un’informazione importante, ma non coincide con una misura universale della sua qualità.
Perché interessa a un avvocato?
Potrebbe sembrare che tutto questo sia ormai troppo tecnico.
In realtà stiamo costruendo le fondamenta per comprendere questioni molto concrete.
Quando un fornitore parla di un modello da miliardi di parametri, l’avvocato deve sapere che cosa significa quella dichiarazione e soprattutto che cosa non significa.
Quando leggeremo documentazione tecnica, schede di modelli, informazioni sui GPAI o condizioni di utilizzo, incontreremo questi termini.
E quando arriveremo a trasparenza, spiegabilità e responsabilità comprenderemo perché non è sempre possibile trasformare miliardi di valori matematici in una semplice spiegazione del tipo:
«Il sistema ha deciso così perché ha applicato questa singola regola.»
La complessità del modello non elimina la responsabilità umana.
Al contrario, rende ancora più importante comprendere limiti, finalità e affidabilità dello strumento utilizzato.
Per l’avvocato il punto non è conoscere il valore di ogni parametro.
È sapere che quei parametri esistono e comprendere che cosa comporta affidarsi a un sistema il cui comportamento deriva anche da relazioni matematiche apprese durante il training.
Attenzione
Non dobbiamo antropomorfizzare il processo.
Dire che il modello “ricorda”, “impara” o “sa” qualcosa è spesso una semplificazione linguistica utile.
Non significa che possieda memoria, comprensione o conoscenza nel senso umano di questi termini.
Queste espressioni possono essere utilizzate quando aiutano a capire, mantenendo la distinzione tra metafora didattica e funzionamento tecnico.
Il concetto fondamentale
Durante il training il modello modifica valori numerici interni.
Questi valori sono i suoi parametri apprendibili.
Nelle reti neurali molti parametri sono costituiti da pesi e bias.
La configurazione raggiunta attraverso l’addestramento contribuisce a determinare come il modello elaborerà nuovi input durante l’inferenza.
Possiamo quindi completare il nostro schema:
Dove siamo arrivati
DATI
↓
TRAINING
↓
AGGIORNAMENTO DEI PARAMETRI
↓
MODELLO
↓
INFERENZA
↓
OUTPUT
PARAMETRI
i valori appresi che contribuiscono al comportamento del modello
Ora sappiamo un po’ meglio che cosa significa dire che nel modello “resta” ciò che è stato appreso.
Ma manca ancora un passaggio decisivo.
Come sceglie il modello quale output produrre?
Per rispondere dobbiamo parlare di probabilità e previsione.
Fonti
- AI Act — EUR-Lex, testo consolidato vigente
- AgID — Strumento A, termini e definizioni per l’IA nella PA
- Commissione europea — Q&A sui modelli GPAI
- NIST — The Language of Trustworthy AI
La fonte NIST è utilizzata come riferimento tecnico internazionale complementare. Per la terminologia e il contesto regolatorio sono state privilegiate le fonti europee e italiane pertinenti.
Continua il percorso
Approfondimento giuridico
MAGAZINE 02 — Modello, sistema e GPAI nell’AI Act. Perché la distinzione tecnica produce conseguenze giuridiche.
Percorso della collana
AI spiegata semplice
AI Literacy
Prossimo passo
AI SPIEGATA SEMPLICE 10 — Probabilità e previsione. Come il modello sceglie tra risultati possibili.