Che cos'è un'allucinazione dell'IA?
Un'allucinazione dell'IA è un output di un modello di IA che sembra sicuro e plausibile ma è falso o inventato: un fatto sbagliato, una citazione testuale mai pronunciata da nessuno o una fonte che non esiste. Le allucinazioni sono un limite noto dei modelli linguistici di grandi dimensioni, i sistemi alla base di strumenti come ChatGPT.
Perché succede
- Un modello linguistico genera testo prevedendo le parole successive più probabili in base agli schemi presenti nei suoi dati di addestramento; non verifica i fatti, a meno che non sia collegato a una ricerca o a un documento.
- Quando i dati di addestramento sono scarsi o non aggiornati, il modello colma il vuoto con qualcosa che si adatta allo schema.
- I modelli sono ottimizzati per dare una risposta, quindi raramente dicono “non lo so”, a meno che non glielo si chieda.
Esempi di allucinazioni dell'IA
- Citazioni inventate: riferimenti con autori, riviste e DOI dall'aspetto reale che non portano da nessuna parte, il problema più comune nel lavoro accademico.
- Casi giudiziari falsi: nel 2023, nel caso statunitense Mata v. Avianca, alcuni avvocati sono stati sanzionati dopo aver depositato un atto che citava decisioni giudiziarie inventate da ChatGPT.
- Fatti sbagliati in una demo di prodotto: nel febbraio 2023, Bard di Google affermò in una dimostrazione di lancio che il telescopio spaziale James Webb aveva scattato le prime immagini di un pianeta al di fuori del nostro sistema solare, cosa non vera.
- Citazioni testuali errate o attribuite alla persona sbagliata, e statistiche senza fonte.
Come evitare di essere ingannati
- Non citare mai una fonte che non hai aperto: cerca ogni titolo o DOI che lo strumento ti fornisce.
- Chiedi le fonti, poi verifica che ciascuna dica davvero ciò che lo strumento sostiene.
- Preferisci strumenti che rispondono a partire dai documenti che fornisci tu o da una ricerca in tempo reale, e che mostrano da dove proviene ogni affermazione.
- Scrivi prompt che ammettano “non sono sicuro” come risposta, e considera numeri e date precisi come gli errori più probabili.
In sintesi
Gli strumenti di IA possono aiutare nella stesura e nella ricerca delle parole giuste, ma verificare fatti e fonti resta compito di chi scrive. Le università considerano un riferimento inventato un problema di integrità accademica, chiunque, o qualunque cosa, lo abbia prodotto.
Caso d'uso: Trova fonti per ogni affermazione mentre scrivi