İçeriğe geç

Eğitim verisi nedir?

Eğitim verisi nedir, yapay zekâ modellerini nasıl biçimlendirir? Verinin kalitesi ve çeşitliliği doğruluğu, yanlılığı ve performansı nasıl etkiler?

Paylaşım

Eğitim verisi nedir?

Eğitim verisi, bir makine öğrenmesi modelinin öğrendiği örnekler kümesidir. Bir spam filtresi için bu, spam ya da spam değil diye etiketlenmiş e-postalardır; bir büyük dil modeli için kitaplardan, web sitelerinden, makalelerden ve koddan derlenmiş çok büyük bir metin koleksiyonudur. Bir modelin neler yapabildiği ve hangi hataları yaptığı büyük ölçüde bu veriye bağlıdır.

Basit bir örnek

Bir modele resmî ve gayriresmî cümleleri ayırt etmeyi öğretmek için her biri “resmî” ya da “gayriresmî” olarak etiketlenmiş 10.000 cümle toplayabilirsiniz. Model, kendi etiketleri sizinkilerle örtüşene kadar parametrelerini ayarlar; ardından daha önce hiç görmediği cümleleri etiketleyebilir.

Eğitim, doğrulama ve test verisi

  • Eğitim kümesi: modelin öğrendiği örnekler.
  • Doğrulama kümesi: ayarları ince ayarlamak ve eğitimin ne zaman durdurulacağına karar vermek için ayrılır.
  • Test kümesi: gerçekten yeni veriler üzerindeki performansı ölçmek için sona kadar bir kenarda tutulur.

Yaygın bir bölme %80 eğitim ve %20 testtir (ya da doğrulama kümesiyle birlikte 70/15/15). Görülmemiş veriler üzerinde test etmek, modelin genel örüntüleri mi öğrendiğini yoksa yalnızca örneklerini mi ezberlediğini gösterir; ikincisine aşırı öğrenme (overfitting) denir.

Dil modelleri için eğitim verisi

  • Common Crawl gibi kaliteye göre filtrelenmiş büyük web taramaları.
  • Açık erişimli araştırmalar dahil Vikipedi, kitaplar ve akademik makaleler.
  • Herkese açık depolardan alınan kod.
  • İnce ayar için kullanılan, insanlar tarafından yazılmış ya da puanlanmış örnekler.

Her modelin bir eğitim kesim tarihi vardır; dolayısıyla arama yapamıyorsa bu tarihten sonra yayımlanan hiçbir şeyi bilmez.

Eğitim verisi neden önemlidir?

  • Kalite: verideki hatalar ve düşük kaliteli metinler çıktıda kendini gösterir.
  • Yanlılık: bazı gruplar, diller ya da görüşler yeterince temsil edilmiyorsa model bunu yansıtır.
  • Boşluklar: bir konunun zayıf biçimde kapsanması uydurma yanıtları daha olası kılar (bkz. yapay zekâ halüsinasyonu).

Etik ve hukuki sorular

  • Onay ve telif hakkı: yazarlar ve yayıncılar eserlerinin eğitimde kullanılmasına itiraz etmiştir.
  • Mahremiyet: kişisel veriler eğitim kümelerine girebilir.
  • Kendi metniniz: bazı araçlar yazdıklarınızı gelecekteki modelleri eğitmek için kullanabilir. Yayımlanmamış araştırmanızı yapıştırmadan önce aracın veri politikasını kontrol edin.

Kullanım alanı: Deneme yazımında yapay zekâ: argüman sizin kalır

Bir sonraki makaleniz, gerçek atıflarla.

Makalenizi anlatın, bir dakikada ana hattınızı alın. Ücretsiz plan için kart gerekmez.