Che cos'è un modello linguistico di grandi dimensioni?
Un modello linguistico di grandi dimensioni (LLM) è un modello linguistico con miliardi di parametri, addestrato su un insieme di testi molto ampio, capace di seguire istruzioni e di produrre testo scorrevole su quasi ogni argomento. Tra le famiglie più note ci sono GPT di OpenAI, Claude di Anthropic, Gemini di Google e Llama di Meta.
Come funzionano gli LLM
- Token: il testo viene suddiviso in token, cioè pezzi di parole; in inglese un token corrisponde all'incirca a tre quarti di parola.
- Architettura transformer: un'architettura di deep learning il cui meccanismo di attenzione permette al modello di soppesare ogni token dell'input quando prevede il successivo.
- Parametri: i numeri che il modello regola durante l'apprendimento. GPT-3 (2020) ne aveva 175 miliardi.
- Finestra di contesto: la quantità di testo che il modello può considerare in una volta, da poche pagine fino a interi libri nei modelli recenti.
Come vengono addestrati gli LLM
- Preaddestramento: il modello impara a prevedere il token successivo su enormi quantità di testo (i suoi dati di addestramento).
- Fine-tuning: viene addestrato ulteriormente su esempi di buone risposte a istruzioni.
- Apprendimento dal feedback: delle persone valutano le risposte e il modello viene regolato verso quelle preferite, un metodo chiamato apprendimento per rinforzo dal feedback umano (RLHF).
LLM, IA e GPT a confronto
- L'IA è l'intero campo; un LLM è un tipo di IA e fa parte dell'IA generativa.
- GPT (generative pre-trained transformer) è la famiglia di LLM di OpenAI.
- ChatGPT è un'app costruita sui modelli GPT. Quindi sì, ChatGPT funziona con un modello linguistico di grandi dimensioni, e lo stesso vale per Claude.
Modelli aperti e chiusi
Alcuni modelli, come Llama e alcuni di quelli di Mistral, pubblicano i propri pesi, così chiunque può eseguirli; altri, come GPT e Claude, sono disponibili solo tramite le app e l'API del fornitore.
Gli LLM nella scrittura accademica
Gli LLM sono bravi a riformulare, riassumere e spiegare, e deboli sui fatti: possono inventare riferimenti (vedi allucinazione dell'IA). Per questo gli strumenti accademici spesso collegano il modello a fonti reali. In Papero, per esempio, il controllo Affermazioni trova le frasi che hanno bisogno di una citazione e propone articoli di OpenAlex da citare.
Caso d'uso: La migliore IA per scrivere saggi che restano tuoi