Che cosa sono i dati di addestramento?
I dati di addestramento sono l'insieme di esempi da cui impara un modello di machine learning. Per un filtro antispam sono email etichettate come spam o non spam; per un modello linguistico di grandi dimensioni sono una vasta raccolta di testi tratti da libri, siti web, articoli e codice. Ciò che un modello sa fare, e gli errori che commette, dipendono in gran parte da questi dati.
Un esempio semplice
Per insegnare a un modello a distinguere le frasi formali da quelle informali, potresti raccogliere 10.000 frasi, ognuna etichettata come “formale” o “informale”. Il modello regola i propri parametri finché le sue etichette non corrispondono alle tue, poi è in grado di etichettare frasi che non ha mai visto.
Dati di addestramento, di validazione e di test
- Set di addestramento: gli esempi da cui il modello impara.
- Set di validazione: tenuto da parte per regolare le impostazioni e decidere quando interrompere l'addestramento.
- Set di test: tenuto da parte fino alla fine, per misurare le prestazioni su dati davvero nuovi.
Una suddivisione comune è 80% per l'addestramento e 20% per il test (oppure 70/15/15 con la validazione). Il test su dati mai visti mostra se il modello ha appreso schemi generali o ha semplicemente memorizzato i suoi esempi, un problema chiamato overfitting.
Dati di addestramento per i modelli linguistici
- Grandi raccolte di pagine web, come Common Crawl, filtrate in base alla qualità.
- Wikipedia, libri e articoli accademici, comprese le ricerche ad accesso aperto.
- Codice da repository pubblici.
- Esempi scritti o valutati da persone, usati per il fine-tuning.
Ogni modello ha una data limite dei dati di addestramento, quindi non sa nulla di ciò che è stato pubblicato dopo, a meno che non possa fare ricerche.
Perché i dati di addestramento sono importanti
- Qualità: gli errori e i testi di bassa qualità presenti nei dati si ritrovano nell'output.
- Bias: se alcuni gruppi, lingue o punti di vista sono sottorappresentati, il modello lo riflette.
- Lacune: una copertura scarsa di un argomento rende più probabili le risposte inventate (vedi allucinazione dell'IA).
Questioni etiche e legali
- Consenso e diritto d'autore: autori ed editori hanno contestato l'uso delle loro opere per l'addestramento.
- Privacy: i dati personali possono finire nei set di addestramento.
- I tuoi testi: alcuni strumenti potrebbero usare ciò che scrivi per addestrare modelli futuri. Prima di incollare ricerche inedite, controlla la politica sui dati dello strumento.
Caso d'uso: La migliore IA per scrivere saggi che restano tuoi