Apa itu model bahasa besar?
Model bahasa besar (LLM) adalah model bahasa dengan miliaran parameter, dilatih pada kumpulan teks yang sangat besar, yang dapat mengikuti instruksi dan menghasilkan teks yang lancar tentang hampir semua topik. Keluarga model yang terkenal antara lain GPT dari OpenAI, Claude dari Anthropic, Gemini dari Google, dan Llama dari Meta.
Cara kerja LLM
- Token: teks dipecah menjadi token, yaitu potongan kata; dalam bahasa Inggris, satu token kira-kira setara dengan tiga perempat kata.
- Arsitektur transformer: rancangan pembelajaran mendalam yang mekanisme atensinya memungkinkan model menimbang setiap token dalam masukan saat memprediksi token berikutnya.
- Parameter: angka-angka yang disesuaikan model selama belajar. GPT-3 (2020) memiliki 175 miliar parameter.
- Jendela konteks: jumlah teks yang dapat dipertimbangkan model sekaligus, dari beberapa halaman hingga buku utuh pada model terbaru.
Cara LLM dilatih
- Prapelatihan: model belajar memprediksi token berikutnya pada teks dalam jumlah sangat besar (data latih model tersebut).
- Penyempurnaan (fine-tuning): model dilatih lebih lanjut dengan contoh jawaban yang baik atas instruksi.
- Belajar dari umpan balik: manusia menilai jawaban, lalu model disetel ke arah jawaban yang lebih disukai, metode yang disebut pembelajaran penguatan dari umpan balik manusia (reinforcement learning from human feedback, RLHF).
LLM vs AI vs GPT
- AI adalah keseluruhan bidangnya; LLM adalah salah satu jenis AI, dan bagian dari AI generatif.
- GPT (generative pre-trained transformer) adalah keluarga LLM milik OpenAI.
- ChatGPT adalah aplikasi yang dibangun di atas model GPT. Jadi ya, ChatGPT berjalan di atas model bahasa besar, begitu juga Claude.
Model terbuka dan tertutup
Sebagian model, seperti Llama dan beberapa model Mistral, memublikasikan bobotnya sehingga siapa pun dapat menjalankannya; model lain, seperti GPT dan Claude, hanya tersedia melalui aplikasi dan API penyedianya.
LLM dalam penulisan akademik
LLM unggul dalam merumuskan ulang, meringkas, dan menjelaskan, tetapi lemah dalam hal fakta: LLM dapat mengarang referensi (lihat halusinasi AI). Karena itu, alat akademik sering menghubungkan model dengan sumber nyata. Di Papero, misalnya, pemeriksaan Klaim menemukan kalimat yang memerlukan sitasi dan menawarkan makalah dari OpenAlex untuk disitasi.
Kasus penggunaan: AI terbaik untuk menulis esai yang tetap milik Anda