Mô hình ngôn ngữ lớn là gì?
Mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ có hàng tỷ tham số, được huấn luyện trên một khối văn bản rất lớn, có thể làm theo yêu cầu và viết trôi chảy về hầu hết mọi chủ đề. Các dòng mô hình nổi tiếng gồm GPT của OpenAI, Claude của Anthropic, Gemini của Google và Llama của Meta.
LLM hoạt động như thế nào
- Token: văn bản được chia thành các token, tức các mảnh của từ; trong tiếng Anh, một token xấp xỉ ba phần tư một từ.
- Kiến trúc Transformer: một thiết kế học sâu có cơ chế chú ý (attention) cho phép mô hình cân nhắc mọi token trong đầu vào khi dự đoán token tiếp theo.
- Tham số: những con số mà mô hình điều chỉnh trong quá trình học. GPT-3 (2020) có 175 tỷ tham số.
- Cửa sổ ngữ cảnh: lượng văn bản mà mô hình có thể xem xét cùng lúc, từ vài trang cho đến cả cuốn sách ở các mô hình gần đây.
LLM được huấn luyện như thế nào
- Tiền huấn luyện: mô hình học cách dự đoán token tiếp theo trên một lượng văn bản khổng lồ (dữ liệu huấn luyện của nó).
- Tinh chỉnh: mô hình được huấn luyện thêm trên các ví dụ về câu trả lời tốt cho các yêu cầu.
- Học từ phản hồi: con người chấm điểm các câu trả lời và mô hình được điều chỉnh theo hướng những câu trả lời được ưa chuộng hơn, một phương pháp gọi là học tăng cường từ phản hồi của con người (RLHF).
LLM, AI và GPT khác nhau thế nào
- AI là toàn bộ lĩnh vực; LLM là một loại AI, và là một phần của AI tạo sinh.
- GPT (generative pre-trained transformer, tức transformer tạo sinh được tiền huấn luyện) là dòng LLM của OpenAI.
- ChatGPT là một ứng dụng được xây dựng trên các mô hình GPT. Vì vậy, đúng là ChatGPT chạy trên một mô hình ngôn ngữ lớn, và Claude cũng vậy.
Mô hình mở và mô hình đóng
Một số mô hình, như Llama và một số mô hình của Mistral, công bố trọng số để bất kỳ ai cũng có thể tự chạy; những mô hình khác, như GPT và Claude, chỉ dùng được qua ứng dụng và API của nhà cung cấp.
LLM trong viết học thuật
LLM giỏi diễn đạt lại, tóm tắt và giải thích, nhưng yếu về dữ kiện: chúng có thể bịa ra tài liệu tham khảo (xem ảo giác AI). Vì vậy, các công cụ học thuật thường kết nối mô hình với nguồn thực. Chẳng hạn, trong Papero, bước kiểm tra Nhận định tìm những câu cần trích dẫn và đề xuất các bài báo từ OpenAlex để trích dẫn.
Trường hợp sử dụng: AI tốt nhất để viết bài luận, vẫn là bài của bạn