Büyük dil modeli nedir?
Büyük dil modeli (LLM), çok büyük bir metin derlemi üzerinde eğitilmiş, milyarlarca parametreye sahip, talimatları izleyebilen ve neredeyse her konuda akıcı metin üretebilen bir dil modelidir. Bilinen model aileleri arasında OpenAI'ın GPT'si, Anthropic'in Claude'u, Google'ın Gemini'si ve Meta'nın Llama'sı yer alır.
LLM'ler nasıl çalışır?
- Token'lar: metin, sözcük parçaları olan token'lara bölünür; İngilizcede bir token kabaca bir sözcüğün dörtte üçü kadardır.
- Transformer mimarisi: dikkat mekanizması sayesinde modelin bir sonraki token'ı tahmin ederken girdideki her token'ı tartmasını sağlayan bir derin öğrenme tasarımı.
- Parametreler: modelin öğrenirken ayarladığı sayılar. GPT-3'ün (2020) 175 milyar parametresi vardı.
- Bağlam penceresi: modelin aynı anda dikkate alabildiği metin miktarı; birkaç sayfadan yeni modellerde bütün kitaplara kadar uzanır.
LLM'ler nasıl eğitilir?
- Ön eğitim: model, çok büyük miktarda metin (eğitim verisi) üzerinde bir sonraki token'ı tahmin etmeyi öğrenir.
- İnce ayar: talimatlara verilmiş iyi yanıt örnekleri üzerinde eğitilmeye devam edilir.
- Geri bildirimden öğrenme: insanlar yanıtları puanlar ve model tercih edilen yanıtlara doğru ayarlanır; bu yönteme insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) denir.
LLM, yapay zekâ ve GPT farkı
- Yapay zekâ alanın bütünüdür; LLM ise bir yapay zekâ türü ve üretken yapay zekânın bir parçasıdır.
- GPT (generative pre-trained transformer, üretken ön eğitimli transformer), OpenAI'ın LLM ailesidir.
- ChatGPT, GPT modelleri üzerine kurulmuş bir uygulamadır. Yani evet, ChatGPT bir büyük dil modeliyle çalışır; Claude da öyle.
Açık ve kapalı modeller
Llama ve Mistral'in bazı modelleri gibi kimi modeller ağırlıklarını yayımlar, böylece herkes onları çalıştırabilir; GPT ve Claude gibi diğerleri ise yalnızca sağlayıcının uygulamaları ve API'si üzerinden kullanılabilir.
Akademik yazımda LLM'ler
LLM'ler yeniden ifade etme, özetleme ve açıklamada güçlü, olgularda ise zayıftır: kaynak uydurabilirler (bkz. yapay zekâ halüsinasyonu). Akademik araçlar bunun yerine çoğunlukla modeli gerçek kaynaklara bağlar. Örneğin Papero'da İddialar kontrolü, atıf gerektiren cümleleri bulur ve atıf yapabileceğiniz OpenAlex makalelerini önerir.
Kullanım alanı: Deneme yazımında yapay zekâ: argüman sizin kalır