Vai al contenuto

Che cos'è un modello linguistico di grandi dimensioni (LLM)?

Che cosa sono gli LLM, come vengono addestrati e come generano testo simile a quello umano, e il loro ruolo nella scrittura e nella traduzione con l'IA.

Condivisione

Che cos'è un modello linguistico di grandi dimensioni?

Un modello linguistico di grandi dimensioni (LLM) è un modello linguistico con miliardi di parametri, addestrato su un insieme di testi molto ampio, capace di seguire istruzioni e di produrre testo scorrevole su quasi ogni argomento. Tra le famiglie più note ci sono GPT di OpenAI, Claude di Anthropic, Gemini di Google e Llama di Meta.

Come funzionano gli LLM

  • Token: il testo viene suddiviso in token, cioè pezzi di parole; in inglese un token corrisponde all'incirca a tre quarti di parola.
  • Architettura transformer: un'architettura di deep learning il cui meccanismo di attenzione permette al modello di soppesare ogni token dell'input quando prevede il successivo.
  • Parametri: i numeri che il modello regola durante l'apprendimento. GPT-3 (2020) ne aveva 175 miliardi.
  • Finestra di contesto: la quantità di testo che il modello può considerare in una volta, da poche pagine fino a interi libri nei modelli recenti.

Come vengono addestrati gli LLM

  1. Preaddestramento: il modello impara a prevedere il token successivo su enormi quantità di testo (i suoi dati di addestramento).
  2. Fine-tuning: viene addestrato ulteriormente su esempi di buone risposte a istruzioni.
  3. Apprendimento dal feedback: delle persone valutano le risposte e il modello viene regolato verso quelle preferite, un metodo chiamato apprendimento per rinforzo dal feedback umano (RLHF).

LLM, IA e GPT a confronto

  • L'IA è l'intero campo; un LLM è un tipo di IA e fa parte dell'IA generativa.
  • GPT (generative pre-trained transformer) è la famiglia di LLM di OpenAI.
  • ChatGPT è un'app costruita sui modelli GPT. Quindi sì, ChatGPT funziona con un modello linguistico di grandi dimensioni, e lo stesso vale per Claude.

Modelli aperti e chiusi

Alcuni modelli, come Llama e alcuni di quelli di Mistral, pubblicano i propri pesi, così chiunque può eseguirli; altri, come GPT e Claude, sono disponibili solo tramite le app e l'API del fornitore.

Gli LLM nella scrittura accademica

Gli LLM sono bravi a riformulare, riassumere e spiegare, e deboli sui fatti: possono inventare riferimenti (vedi allucinazione dell'IA). Per questo gli strumenti accademici spesso collegano il modello a fonti reali. In Papero, per esempio, il controllo Affermazioni trova le frasi che hanno bisogno di una citazione e propone articoli di OpenAlex da citare.

Caso d'uso: La migliore IA per scrivere saggi che restano tuoi

Il tuo prossimo paper, con citazioni reali.

Descrivi il tuo paper e ottieni una scaletta in un minuto. Il piano Gratuito non richiede carta di credito.