Chuyển đến nội dung

Dữ liệu huấn luyện là gì?

Dữ liệu huấn luyện là gì và nó định hình mô hình AI ra sao: chất lượng và độ đa dạng của dữ liệu ảnh hưởng đến độ chính xác, thiên lệch và hiệu suất.

Chia sẻ

Dữ liệu huấn luyện là gì?

Dữ liệu huấn luyện là tập hợp các ví dụ mà một mô hình học máy học từ đó. Với bộ lọc thư rác, đó là các email được gắn nhãn thư rác hoặc không phải thư rác; với mô hình ngôn ngữ lớn (LLM), đó là một khối văn bản khổng lồ từ sách, trang web, bài báo và mã nguồn. Những gì một mô hình làm được, và những lỗi nó mắc phải, phần lớn phụ thuộc vào dữ liệu này.

Một ví dụ đơn giản

Để dạy một mô hình phân biệt câu trang trọng với câu thân mật, bạn có thể thu thập 10.000 câu, mỗi câu được gắn nhãn “trang trọng” hoặc “thân mật”. Mô hình điều chỉnh các tham số của nó cho đến khi nhãn nó gán khớp với nhãn của bạn, sau đó nó có thể gắn nhãn cho những câu chưa từng thấy.

Dữ liệu huấn luyện, kiểm định và kiểm tra

  • Tập huấn luyện: các ví dụ mà mô hình học từ đó.
  • Tập kiểm định: được giữ lại để tinh chỉnh các thiết lập và quyết định khi nào dừng huấn luyện.
  • Tập kiểm tra: được để riêng đến cuối cùng, nhằm đo hiệu suất trên dữ liệu thực sự mới.

Một cách chia phổ biến là 80% để huấn luyện và 20% để kiểm tra (hoặc 70/15/15 khi có tập kiểm định). Kiểm tra trên dữ liệu chưa thấy cho biết mô hình đã học được các quy luật chung hay chỉ ghi nhớ các ví dụ của nó, một vấn đề gọi là quá khớp (overfitting).

Dữ liệu huấn luyện cho mô hình ngôn ngữ

  • Các tập dữ liệu thu thập quy mô lớn từ web như Common Crawl, đã được lọc theo chất lượng.
  • Wikipedia, sách và bài báo học thuật, kể cả các nghiên cứu truy cập mở.
  • Mã nguồn từ các kho lưu trữ công khai.
  • Các ví dụ do con người viết hoặc chấm điểm, dùng để tinh chỉnh (fine-tuning).

Mọi mô hình đều có một mốc kết thúc dữ liệu huấn luyện, nên nó không biết gì về những thứ được công bố sau đó, trừ khi nó có thể tìm kiếm.

Vì sao dữ liệu huấn luyện quan trọng

  • Chất lượng: lỗi và văn bản kém chất lượng trong dữ liệu sẽ xuất hiện trong kết quả đầu ra.
  • Thiên lệch: nếu một số nhóm, ngôn ngữ hoặc quan điểm ít được đại diện, mô hình sẽ phản ánh điều đó.
  • Khoảng trống: khi một chủ đề ít được bao phủ, khả năng mô hình bịa ra câu trả lời sẽ cao hơn (xem ảo giác AI).

Các vấn đề đạo đức và pháp lý

  • Sự đồng ý và bản quyền: các tác giả và nhà xuất bản đã phản đối việc dùng tác phẩm của họ để huấn luyện.
  • Quyền riêng tư: dữ liệu cá nhân có thể lọt vào các tập huấn luyện.
  • Văn bản của chính bạn: một số công cụ có thể dùng những gì bạn nhập để huấn luyện các mô hình sau này. Hãy kiểm tra chính sách dữ liệu của công cụ trước khi dán các nghiên cứu chưa công bố vào.

Trường hợp sử dụng: AI tốt nhất để viết bài luận, vẫn là bài của bạn

Bài nghiên cứu tiếp theo của bạn, với trích dẫn thật.

Mô tả bài nghiên cứu và nhận dàn ý trong một phút. Gói Miễn phí không cần thẻ.