Mạng nơ-ron là gì?
Mạng nơ-ron là một mô hình học máy gồm nhiều đơn vị đơn giản được kết nối với nhau, gọi là nơ-ron hoặc nút, sắp xếp thành các lớp. Mỗi kết nối có một trọng số, và mạng học bằng cách điều chỉnh các trọng số đó cho đến khi đầu ra khớp với các ví dụ dùng để huấn luyện nó. Thiết kế này lấy cảm hứng một cách lỏng lẻo từ bộ não, nhưng cách hoạt động rất khác với nơ-ron sinh học.
Các lớp: đầu vào, ẩn và đầu ra
- Lớp đầu vào: nhận dữ liệu, chẳng hạn giá trị điểm ảnh hoặc các con số biểu diễn từ ngữ.
- Các lớp ẩn: mỗi nơ-ron nhân các đầu vào của nó với trọng số, cộng chúng lại và đưa kết quả qua một hàm đơn giản. Các lớp nối tiếp nhau xây dựng nên những đặc trưng ngày càng trừu tượng: trong nhận dạng chữ viết tay, đầu tiên là các nét, rồi đến các vòng và đường thẳng, rồi đến toàn bộ ký tự.
- Lớp đầu ra: đưa ra câu trả lời, chẳng hạn ký tự có khả năng cao nhất hoặc từ tiếp theo.
Mạng nơ-ron học như thế nào?
Mạng đưa ra một dự đoán, đo xem dự đoán đó sai đến mức nào, rồi một phương pháp gọi là lan truyền ngược (backpropagation) tính xem mỗi trọng số đã góp bao nhiêu vào sai số, để điều chỉnh trọng số đó một chút theo đúng hướng. Lặp lại qua hàng triệu ví dụ từ dữ liệu huấn luyện, quá trình này tạo ra một mạng có thể khái quát hóa cho những đầu vào mới.
Các loại mạng nơ-ron
- Mạng truyền thẳng (feedforward): dữ liệu đi thẳng từ đầu vào đến đầu ra.
- Mạng nơ-ron tích chập (CNN): quét hình ảnh bằng các bộ lọc nhỏ; là chuẩn mực cho thị giác máy tính.
- Mạng nơ-ron hồi quy (RNN): xử lý chuỗi từng bước một; từng phổ biến cho văn bản.
- Transformer: xử lý toàn bộ chuỗi cùng lúc nhờ cơ chế chú ý (attention); là nền tảng của mô hình ngôn ngữ lớn (LLM).
DNN và CNN: mạng nơ-ron sâu (DNN) là bất kỳ mạng nào có nhiều lớp ẩn; CNN là một loại DNN, được thiết kế cho hình ảnh.
Sơ lược lịch sử
Warren McCulloch và Walter Pitts mô tả một nơ-ron nhân tạo vào năm 1943, và Frank Rosenblatt chế tạo perceptron vào năm 1958. Lan truyền ngược được phổ biến rộng rãi vào năm 1986, và các mạng nhiều lớp, nay gọi là học sâu, bùng nổ từ khoảng năm 2012.
Mạng nơ-ron trong công cụ viết
Sửa lỗi ngữ pháp, dự đoán từ tiếp theo, dịch máy và nhiều phần khác của xử lý ngôn ngữ tự nhiên (NLP) hiện nay chủ yếu chạy trên mạng nơ-ron.
Hạn chế
- Cần lượng lớn dữ liệu và năng lực tính toán.
- Khó diễn giải: rất khó nói vì sao một mạng lại đưa ra một câu trả lời cụ thể.
- Học theo mọi thiên lệch có trong dữ liệu huấn luyện.
Trường hợp sử dụng: AI tốt nhất để viết bài luận, vẫn là bài của bạn