Học ít mẫu là gì?

Few-shot learning nghiên cứu cách một mô hình có thể thích nghi với một nhiệm vụ hoặc lớp mới chỉ dựa trên một số lượng nhỏ các ví dụ đã được gán nhãn. Trong các bộ chuẩn truyền thống, một tập episode cung cấp một bộ hỗ trợ — chẳng hạn năm lớp với một hoặc năm ví dụ cho mỗi lớp — và yêu cầu mô hình phân loại các truy vấn chưa thấy.

Thuật ngữ này cũng được dùng cho học trong ngữ cảnh (in‑context learning), trong đó một mô hình ngôn ngữ đã được tiền huấn luyện nhận một vài ví dụ minh họa trong lời nhắc mà không cập nhật các tham số. Các thiết lập này có chung mục tiêu với số lượng ví dụ ít, nhưng sử dụng các cơ chế thích nghi khác nhau và đòi hỏi các thiết kế đánh giá khác nhau.

Những điểm chính

• N-way K-shot mô tả N lớp và K ví dụ hỗ trợ đã được gán nhãn cho mỗi lớp.
• Các phương pháp học metric so sánh các truy vấn với các biểu diễn đã học của các ví dụ hỗ trợ.
• Meta‑learning tối ưu trên nhiều nhiệm vụ để một nhiệm vụ mới có thể được học nhanh chóng.
• Số lượng ví dụ ít làm tăng đáng kể lỗi nhãn, rò rỉ dữ liệu, mơ hồ lớp và sự không chắc chắn, do đó các baseline và việc báo cáo độ tin cậy là quan trọng.

Các tập episode, bộ hỗ trợ và bộ truy vấn

Một episode few-shot tách biệt một bộ hỗ trợ đã gán nhãn nhỏ khỏi một bộ truy vấn dùng để đánh giá. Trong quá trình meta‑training, mô hình gặp rất nhiều episode như vậy. Đánh giá mạnh mẽ sẽ giữ lại toàn bộ các lớp, nhiệm vụ hoặc miền để episode kiểm tra khả năng thích nghi thay vì ghi nhớ.

Báo cáo phân phối độ chính xác trên nhiều episode thay vì chỉ một mẫu thuận tiện. So sánh với các baseline đơn giản như nearest‑neighbor và linear; một phương pháp tinh vi không thể vượt qua một biểu diễn đã được huấn luyện tốt cộng với một bộ phân loại cơ bản có thể không biện minh cho độ phức tạp của nó.

Học metric và các prototype

Mạng Matching và các phương pháp liên quan nhúng các ví dụ hỗ trợ và truy vấn vào một không gian mà các vector gần nhau nên chia sẻ cùng một nhãn. Mạng Prototypical trung bình các embedding hỗ trợ cho mỗi lớp và phân loại một truy vấn dựa trên khoảng cách tới các prototype của lớp đó.

Điều này liên kết học few-shot với chất lượng biểu diễn. Một mô hình học sâu đã được tiền huấn luyện có thể đã tổ chức các đặc trưng liên quan tốt, trong khi một biểu diễn không phù hợp có thể làm cho mọi khoảng cách trở nên sai lệch.

Meta‑learning dựa trên tối ưu hoá

Model-Agnostic Meta-Learning tìm kiếm các tham số có thể thích nghi chỉ sau một số bước gradient nhỏ. Các phương pháp khác học một bộ tối ưu, một khởi tạo hoặc một quy tắc cập nhật tham số. Vòng lặp bên ngoài đánh giá hiệu năng sau khi thích nghi trên các nhiệm vụ.

Meta‑learning giả định cấu trúc hữu ích được chia sẻ giữa các nhiệm vụ huấn luyện và mục tiêu. Khi phân phối mục tiêu khác biệt mạnh, việc thích nghi nhanh có thể thất bại. Việc xác thực nên thay đổi số lượng shot, lớp, miền và độ khó của nhiệm vụ thay vì coi một benchmark là toàn diện.

Học chuyển giao và các chiến lược cấp dữ liệu

Học chuyển giao thường là điểm khởi đầu thực tiễn mạnh nhất: đóng băng bộ mã hoá đã được tiền huấn luyện, huấn luyện một đầu nhỏ, sau đó tinh chỉnh có chọn lọc nếu có đủ dữ liệu. Tăng cường dữ liệu có thể giới thiệu các bất biến, nhưng các ví dụ tổng hợp không thực tế có thể làm tăng thiên lệch hoặc tạo ra các lối tắt.

Học chủ động có thể ưu tiên các ví dụ cần gán nhãn, trong khi học bán giám sát có thể sử dụng thêm dữ liệu chưa gán nhãn. Đây là các chiến lược bổ trợ, không phải là đồng nghĩa với học few-shot.

Gợi ý few-shot khác biệt

Một transformer có thể suy ra một mẫu từ các ví dụ minh họa được đặt trong ngữ cảnh của nó. Không cần cập nhật tham số một cách lâu dài. Thứ tự, cách diễn đạt và cân bằng nhãn có thể thay đổi đáng kể kết quả, và các ví dụ có thể chiếm một phần lớn của cửa sổ ngữ cảnh.

Sử dụng một bộ đánh giá đại diện, phiên bản mỗi lời nhắc và minh họa, và thử nghiệm các lựa chọn zero‑shot, few‑shot và fine‑tuned. Một bộ hỗ trợ rất nhỏ không hỗ trợ các khẳng định mạnh mẽ cho toàn bộ dân số, đặc biệt đối với các trường hợp hiếm hoặc quan trọng về an toàn.

Các mô hình học few-shot và cách xây dựng nhiệm vụ

Học few-shot nhằm thực hiện một nhiệm vụ từ rất ít ví dụ đã gán nhãn. Trong các phương pháp dựa trên metric, một bộ mã hoá ánh xạ các ví dụ vào một không gian mà các prototype hoặc lân cận đại diện cho các lớp. Meta‑learning dựa trên tối ưu hoá huấn luyện một khởi tạo hoặc quy tắc cập nhật để thích nghi nhanh. Học chuyển giao tinh chỉnh một mô hình đã tiền huấn luyện trên một bộ mục tiêu nhỏ. Học trong ngữ cảnh cung cấp các ví dụ trong lời nhắc mà không cập nhật trọng số. Các cơ chế này khác nhau, vì vậy các tuyên bố nên chỉ rõ liệu tham số có thay đổi, quá trình huấn luyện trước đó là gì, và cách lựa chọn ví dụ.

Đánh giá nên tách riêng các lớp, nhiệm vụ, đối tượng hoặc miền đào tạo và kiểm tra theo tuyên bố tổng quát hoá. Một episode N‑way K‑shot chứa N lớp và K ví dụ hỗ trợ cho mỗi lớp, cộng với các ví dụ truy vấn để chấm điểm. Việc lặp lại các episode ước tính phương sai từ việc lựa chọn hỗ trợ. Đối với gợi ý, thứ tự ví dụ, cách diễn đạt nhãn, định dạng và độ tương đồng minh họa có thể thay đổi đáng kể kết quả. So sánh với zero‑shot, nearest‑neighbor, linear‑probe và các baseline fine‑tuning thông thường bằng cùng một biểu diễn và ngân sách dữ liệu.

Chất lượng dữ liệu, độ không chắc chắn và chuyển giao tiêu cực

Với ít ví dụ, các trường hợp bị gán nhãn sai hoặc không điển hình có ảnh hưởng quá mức. Định nghĩa quy tắc chú thích, kiểm tra từng mục hỗ trợ, và duy trì một kết quả không biết hoặc từ chối. Tăng cường dữ liệu và các ví dụ tổng hợp chỉ hữu ích khi chúng bảo toàn nhiệm vụ và thêm biến thể thực tế. Một mô hình đã tiền huấn luyện có thể chuyển giao các lối tắt hoặc thiên lệch từ miền nguồn. Kiểm tra các trường hợp ngoài miền, các nhóm hiếm, và độ nhạy khi loại bỏ một ví dụ hỗ trợ. Báo cáo khoảng tin cậy trên các nhiệm vụ và hạt giống ngẫu nhiên, không chỉ một lời nhắc thuận lợi.

Học chủ động có thể yêu cầu nhãn cho các trường hợp thông tin, trong khi các phương pháp bán giám sát sử dụng dữ liệu chưa gán nhãn dưới các giả định bổ sung. Truy xuất có thể chọn các minh họa liên quan một cách động nhưng phải tránh rò rỉ nhãn kiểm tra. Thích nghi có thể overfit nhanh, vì vậy hạn chế cập nhật, sử dụng regularization, và xác thực trên các ví dụ riêng. Đối với các nhiệm vụ có mức độ rủi ro cao, một vài nhãn hiếm khi biện minh cho quyết định tự động; nên dùng mô hình để ưu tiên hoặc hỗ trợ đánh giá cho đến khi có đủ bằng chứng kết quả.

Vận hành trong môi trường sản xuất

Phiên bản hoá mô hình cơ sở, embedding hoặc mẫu lời nhắc, các minh họa, sơ đồ nhãn và các tham số thích nghi. Bảo vệ các ví dụ vì lời nhắc hoặc gradient có thể lộ thông tin nhạy cảm. Giám sát hiệu năng khi các lớp và ngôn ngữ thay đổi, và làm mới các ví dụ hỗ trợ thông qua quy trình kiểm duyệt có kiểm soát thay vì tự động gán nhãn. Học few-shot giảm yêu cầu nhãn mục tiêu bằng cách tận dụng cấu trúc đã có; nó không loại bỏ nhu cầu đánh giá đại diện, định nghĩa nhiệm vụ cẩn thận, chuyên môn miền, hoặc một biện pháp dự phòng an toàn khi nhiệm vụ mới nằm ngoài phạm vi đã học.

Ví dụ thực tế: phân loại few-shot cho một sản phẩm mới

Một đội hỗ trợ cần các nhãn định tuyến cho một sản phẩm chỉ có năm ví dụ đã được xem xét cho mỗi vấn đề. Họ so sánh các prototype gần nhất trong một embedding đã tiền huấn luyện, một đầu linear, fine‑tuning hiệu quả về tham số, và gợi ý trong ngữ cảnh. Các họ hàng sản phẩm, khách hàng và các tin nhắn sau này được giữ ra khỏi meta‑training và lựa chọn mô hình. Việc lấy mẫu bộ hỗ trợ lặp lại báo cáo độ nhớ lớp, hiệu chuẩn, phương sai và độ nhạy với một minh họa bị gán nhãn sai.

Những tin nhắn có độ tin cậy thấp và không được hỗ trợ được chuyển tới hỗ trợ chung, và các người đánh giá sửa nhãn qua một hàng đợi có kiểm soát. Các ví dụ được ẩn danh, phiên bản hoá, và không bao giờ được chọn từ bộ kiểm tra cuối cùng. Giám sát theo dõi từ vựng mới, tỷ lệ lớp, sửa lỗi và bất đồng. Khi đủ nhãn tích lũy, hệ thống few-shot được so sánh với đào tạo giám sát thông thường. Thiết lập nhanh chóng hữu ích, nhưng không biện minh cho tự động hoá nếu hiệu năng vẫn không ổn định hoặc nếu sản phẩm mới khác biệt đáng kể so với các họ hàng nhiệm vụ trước đó.

Bằng chứng triển khai và mức độ sẵn sàng vận hành

Một quyết định sản xuất cần hơn một buổi trình diễn thành công. Xác định người dùng dự định, môi trường vận hành, đầu vào, đầu ra, phụ thuộc, người sở hữu và hậu quả của mỗi lỗi quan trọng. Thiết lập một baseline có thể tái tạo và một bộ đánh giá đã phiên bản hoá trước khi tinh chỉnh. Kiểm tra các trường hợp thông thường, điều kiện biên, đầu vào sai hoặc thiếu, sự dịch chuyển phân phối, mất kết nối phụ thuộc, lạm dụng, và các nhóm hoặc môi trường có khả năng bị bỏ qua. Đo lường chất lượng nhiệm vụ cùng với hiệu chuẩn hoặc độ không chắc, độ trễ, thông lượng, chi phí tài nguyên, khả năng tiếp cận, quyền riêng tư và bảo mật. Ghi lại mọi biến đổi và ngưỡng để một người đánh giá độc lập có thể tái tạo kết quả và phân biệt bằng chứng với một prototype hấp dẫn.

Trước khi ra mắt, chỉ định quyền chịu trách nhiệm cho việc phát hành, ngoại lệ, thay đổi, quay lại và ngừng hoạt động. Sử dụng triển khai theo giai đoạn, duy trì một biện pháp dự phòng an toàn, và xác minh giám sát bằng các lỗi được chèn cố ý. Telemetry vận hành nên tiết lộ chất lượng đầu vào, hành vi đầu ra, phiên bản mô hình hoặc quy tắc, sức khỏe phụ thuộc, can thiệp con người và kết quả đã xác nhận mà không thu thập dữ liệu nhạy cảm không cần thiết. Đặt ngưỡng cảnh báo và người chịu trách nhiệm phản hồi, sau đó xem xét bằng chứng thực tế sau khi triển khai thay vì giả định hiệu năng offline sẽ kéo dài. Đánh giá lại bất cứ khi nào nguồn dữ liệu, người dùng, mô hình, nhà cung cấp, chính sách, phần cứng hoặc mục tiêu thay đổi. Một hệ thống được duy trì cũng cần tài liệu về khôi phục, học hỏi từ sự cố, xóa và lưu trữ, và một điểm rõ ràng khi nó nên bị vô hiệu hoá hoặc thay thế.

Câu hỏi thường gặp

Học one-shot có giống học few-shot không?

Học one-shot là trường hợp đặc biệt với một ví dụ hỗ trợ đã được gán nhãn cho mỗi lớp hoặc nhiệm vụ. Học zero-shot không sử dụng bất kỳ ví dụ mục tiêu đã gán nhãn nào.

Học few-shot có loại bỏ nhu cầu dữ liệu không?

Không. Nó chuyển phụ thuộc sang dữ liệu tiền huấn luyện, các nhiệm vụ liên quan, biểu diễn và các giả định. Các nhãn mục tiêu rất ít; lịch sử học tổng thể thường rất lớn.

Tài liệu tham khảo chính

• Vinyals et al.: Matching Networks for One Shot Learning
• Snell et al.: Prototypical Networks for Few-shot Learning
• Finn et al.: Model-Agnostic Meta-Learning