Mô hình ngôn ngữ là gì?
Mô hình ngôn ngữ là một hệ thống ước tính khả năng xuất hiện của một chuỗi từ, nhờ đó có thể dự đoán từ tiếp theo dựa trên các từ đứng trước. Nói đơn giản: nó đã thấy nhiều văn bản đến mức có thể đoán rất tốt điều gì thường đến tiếp theo. Chính khả năng đó, lặp lại hết từ này đến từ khác, là cách nó tạo ra văn bản.
Một ví dụ đơn giản
Với cụm “Kết quả có ý nghĩa về mặt”, mô hình ngôn ngữ đánh giá “thống kê” có khả năng cao hơn nhiều so với “màu tím”. Tính năng gợi ý từ tiếp theo trên bàn phím điện thoại của bạn và tính năng tự động hoàn thành bằng AI trong các công cụ viết đều hoạt động theo nguyên lý này.
Từ việc đếm từ đến mạng nơ-ron
- Mô hình n-gram: các mô hình ngôn ngữ đầu tiên đếm tần suất xuất hiện của các chuỗi từ ngắn. Claude Shannon đã dùng ý tưởng này để mô phỏng gần đúng tiếng Anh vào năm 1948.
- Mô hình ngôn ngữ nơ-ron: từ những năm 2000, các mạng nơ-ron học nghĩa của từ dưới dạng các con số, nhờ đó những từ tương tự nhận được dự đoán tương tự.
- Transformer: từ năm 2017, các mô hình có thể cân nhắc cùng lúc mọi từ trong một đoạn văn dài, điều này dẫn đến các mô hình ngôn ngữ lớn (LLM).
Các loại mô hình ngôn ngữ
- Mô hình ngôn ngữ lớn: hàng tỷ tham số, dùng cho mục đích chung, chẳng hạn các mô hình đứng sau ChatGPT, Claude và Gemini.
- Mô hình ngôn ngữ nhỏ: đủ gọn để chạy trên máy tính xách tay hoặc điện thoại, thường được huấn luyện cho các tác vụ hẹp hơn.
- Mô hình thị giác và ngôn ngữ: làm việc với cả hình ảnh lẫn văn bản.
Ứng dụng
- Tạo văn bản bằng AI, trợ lý trò chuyện và tóm tắt văn bản.
- Kiểm tra ngữ pháp và dịch thuật.
- Nhận dạng giọng nói, khi mô hình chọn những từ có khả năng nhất trong số các âm thanh giống nhau.
- Tìm kiếm, đối chiếu truy vấn với tài liệu theo ý nghĩa; một phần của xử lý ngôn ngữ tự nhiên (NLP).
Những điều mô hình ngôn ngữ không làm được
Mô hình ngôn ngữ dự đoán văn bản nghe có vẻ hợp lý; nó không kiểm tra sự thật. Kiến thức của nó đến từ dữ liệu huấn luyện, vốn có một mốc thời gian giới hạn và có những chỗ thiếu sót, nên nó có thể đưa ra lỗi sai một cách đầy tự tin và bịa ra nguồn (xem ảo giác AI). Hãy kiểm tra mọi thông tin bạn định dựa vào.
Trường hợp sử dụng: AI tốt nhất để viết bài luận, vẫn là bài của bạn