Vai al contenuto

Che cos'è un modello linguistico?

Come funzionano i modelli linguistici e come li usano gli strumenti di scrittura con l'IA: addestramento, previsione e contesto dietro modelli come GPT.

Condivisione

Che cos'è un modello linguistico?

Un modello linguistico è un sistema che stima quanto è probabile una sequenza di parole, e questo gli permette di prevedere la parola successiva a partire da quelle che la precedono. In parole semplici: ha visto così tanto testo da riuscire a indovinare, molto bene, che cosa viene di solito dopo. È questa sola capacità, ripetuta parola dopo parola, a permettergli di produrre testo.

Un esempio semplice

Data la frase “I risultati erano statisticamente”, un modello linguistico considera “significativi” molto più probabile di “viola”. I suggerimenti della parola successiva sulla tastiera del telefono e il completamento automatico con IA negli strumenti di scrittura funzionano secondo questo principio.

Dal conteggio delle parole alle reti neurali

  • Modelli a n-grammi: i primi modelli linguistici contavano quanto spesso compaiono brevi sequenze di parole. Claude Shannon usò questa idea per approssimare l'inglese nel 1948.
  • Modelli linguistici neurali: dagli anni 2000 le reti impararono a rappresentare il significato delle parole come numeri, così parole simili ricevevano previsioni simili.
  • Transformer: dal 2017 i modelli possono soppesare contemporaneamente ogni parola di un lungo passaggio, e questo ha portato ai modelli linguistici di grandi dimensioni.

Tipi di modello linguistico

  • Modelli linguistici di grandi dimensioni: miliardi di parametri e uso generale, come i modelli alla base di ChatGPT, Claude e Gemini.
  • Modelli linguistici di piccole dimensioni: abbastanza compatti da funzionare su un portatile o su un telefono, spesso addestrati per compiti più specifici.
  • Modelli visione-linguaggio: lavorano con le immagini oltre che con il testo.

Applicazioni

Che cosa non possono fare i modelli linguistici

Un modello linguistico prevede testo plausibile; non verifica i fatti. Le sue conoscenze provengono dai suoi dati di addestramento, che hanno una data limite e delle lacune, quindi può produrre errori espressi con sicurezza e fonti inventate (vedi allucinazione dell'IA). Verifica tutto ciò su cui intendi fare affidamento.

Caso d'uso: La migliore IA per scrivere saggi che restano tuoi

Il tuo prossimo paper, con citazioni reali.

Descrivi il tuo paper e ottieni una scaletta in un minuto. Il piano Gratuito non richiede carta di credito.