Học Tập Với Ít Dữ Liệu Là Gì?

Học tập với ít dữ liệu đề cập đến một loạt các thuật toán và kỹ thuật được sử dụng để phát triển một mô hình AI bằng cách sử dụng một lượng dữ liệu đào tạo rất nhỏ. Học tập với ít dữ liệu nhằm mục đích cho phép một mô hình AI nhận biết và phân loại dữ liệu mới sau khi được tiếp xúc với một số lượng nhỏ các ví dụ đào tạo. Đào tạo với ít dữ liệu khác với các phương pháp đào tạo truyền thống của các mô hình học máy, nơi thường sử dụng một lượng lớn dữ liệu đào tạo. Học tập với ít dữ liệu chủ yếu được sử dụng trong thị giác máy tính.

Để phát triển một sự hiểu biết tốt hơn về học tập với ít dữ liệu, hãy cùng chúng tôi khám phá khái niệm này một cách chi tiết hơn. Chúng tôi sẽ khám phá các động lực và khái niệm đằng sau học tập với ít dữ liệu, tìm hiểu một số loại học tập với ít dữ liệu khác nhau và giới thiệu một số mô hình được sử dụng trong học tập với ít dữ liệu ở mức cao. Cuối cùng, chúng tôi sẽ khám phá một số ứng dụng của học tập với ít dữ liệu.

Học Tập Với Ít Dữ Liệu Là Gì?

“Học tập với ít dữ liệu” mô tả việc đào tạo một mô hình học máy với một lượng dữ liệu tối thiểu. Thông thường, các mô hình học máy được đào tạo trên một lượng lớn dữ liệu, càng nhiều càng tốt. Tuy nhiên, học tập với ít dữ liệu là một khái niệm quan trọng trong học máy vì một số lý do khác nhau.

Một lý do để sử dụng học tập với ít dữ liệu là nó có thể cắt giảm đáng kể lượng dữ liệu cần thiết để đào tạo một mô hình học máy, điều này cắt giảm thời gian cần thiết để gắn nhãn cho các tập dữ liệu lớn xuống. Tương tự, học tập với ít dữ liệu giảm nhu cầu thêm các tính năng cụ thể cho các nhiệm vụ khác nhau khi sử dụng một tập dữ liệu chung để tạo ra các mẫu khác nhau. Học tập với ít dữ liệu có thể lý tưởng làm cho các mô hình trở nên mạnh mẽ hơn và có khả năng nhận biết đối tượng dựa trên ít dữ liệu hơn, tạo ra các mô hình tổng quát hơn so với các mô hình chuyên biệt hóa cao thường thấy.

Học tập với ít dữ liệu thường được sử dụng nhất trong lĩnh vực thị giác máy tính, vì bản chất của các vấn đề thị giác máy tính đòi hỏi phải có một lượng lớn dữ liệu hoặc một mô hình linh hoạt.

Phân Loại Con

Thuật ngữ “học tập với ít dữ liệu” thực sự chỉ là một loại học tập sử dụng rất ít ví dụ đào tạo. Vì bạn chỉ sử dụng “một vài” ví dụ đào tạo, có các phân loại con của học tập với ít dữ liệu cũng liên quan đến đào tạo với một lượng dữ liệu tối thiểu. “Học tập một lần” là một loại đào tạo mô hình khác liên quan đến việc dạy cho một mô hình nhận biết một đối tượng sau khi chỉ xem một hình ảnh của đối tượng đó. Các chiến lược chung được sử dụng trên cả học tập một lần và học tập với ít dữ liệu là giống nhau. Hãy lưu ý rằng thuật ngữ “học tập với ít dữ liệu” có thể được sử dụng như một thuật ngữ chung để mô tả bất kỳ tình huống nào mà một mô hình được đào tạo với rất ít dữ liệu.

Các Phương Pháp Học Tập Với Ít Dữ Liệu

Hầu hết các phương pháp học tập với ít dữ liệu có thể phù hợp vào một trong ba loại sau: phương pháp cấp độ dữ liệu, phương pháp cấp độ tham số và phương pháp dựa trên metric.

Phương Pháp Cấp Độ Dữ Liệu

Phương pháp cấp độ dữ liệu để học tập với ít dữ liệu rất đơn giản về mặt khái niệm. Để đào tạo một mô hình khi bạn không có đủ dữ liệu đào tạo, bạn có thể chỉ cần có thêm dữ liệu đào tạo. Có nhiều kỹ thuật mà một nhà khoa học dữ liệu có thể sử dụng để tăng lượng dữ liệu đào tạo mà họ có.

Dữ liệu đào tạo tương tự có thể hỗ trợ chính xác dữ liệu mục tiêu mà bạn đang đào tạo một phân loại器. Ví dụ, nếu bạn đang đào tạo một phân loại器 để nhận biết các loại chó cụ thể nhưng thiếu nhiều hình ảnh của loài cụ thể mà bạn đang cố gắng phân loại, bạn có thể bao gồm nhiều hình ảnh của chó nói chung sẽ giúp phân loại器 xác định các tính năng chung tạo nên một con chó.

Tăng cường dữ liệu có thể tạo ra thêm dữ liệu đào tạo cho một phân loại器. Điều này thường liên quan đến việc áp dụng các biến đổi cho dữ liệu đào tạo hiện có, chẳng hạn như xoay các hình ảnh hiện có để phân loại器 xem xét các hình ảnh từ các góc độ khác nhau. GAN cũng có thể được sử dụng để tạo ra các ví dụ đào tạo mới dựa trên những gì chúng học được từ vài ví dụ đào tạo xác thực mà bạn có.

Phương Pháp Cấp Độ Tham Số

Meta-học

Một phương pháp cấp độ tham số để học tập với ít dữ liệu liên quan đến việc sử dụng một kỹ thuật gọi là “meta-học”. Meta-học liên quan đến việc dạy cho một mô hình cách học những tính năng nào là quan trọng trong một nhiệm vụ học máy. Điều này có thể được thực hiện bằng cách tạo ra một phương pháp để điều chỉnh cách không gian tham số của một mô hình được khám phá.

Meta-học sử dụng hai mô hình khác nhau: mô hình giáo viên và mô hình học sinh. Mô hình “giáo viên” và mô hình “học sinh”. Mô hình giáo viên học cách bao quát không gian tham số, trong khi thuật toán học sinh học cách nhận biết và phân loại các mục thực tế trong tập dữ liệu. Để nói một cách khác, mô hình giáo viên học cách tối ưu hóa một mô hình, trong khi mô hình học sinh học cách phân loại. Đầu ra của mô hình giáo viên được sử dụng để đào tạo mô hình học sinh, chỉ cho mô hình học sinh cách điều hướng không gian tham số lớn mà quá ít dữ liệu đào tạo gây ra. Do đó, “meta” trong meta-học.

Một trong những vấn đề chính với các mô hình học tập với ít dữ liệu là chúng có thể dễ dàng quá拟 trên dữ liệu đào tạo, vì chúng thường có không gian cao chiều. Giới hạn không gian tham số của một mô hình giải quyết vấn đề này, và trong khi nó có thể được thực hiện bằng cách áp dụng các kỹ thuật điều chỉnh và chọn các hàm mất mát phù hợp, việc sử dụng một thuật toán giáo viên có thể cải thiện đáng kể hiệu suất của một mô hình học tập với ít dữ liệu.

Một mô hình phân loại học tập với ít dữ liệu (mô hình học sinh) sẽ cố gắng tổng quát hóa dựa trên lượng nhỏ dữ liệu đào tạo mà nó được cung cấp, và độ chính xác của nó có thể được cải thiện với một mô hình giáo viên để hướng dẫn nó thông qua không gian tham số cao chiều. Kiến trúc tổng thể này được gọi là “gradient-based meta-learner”.

Quá trình đào tạo một gradient-based meta-learner đầy đủ như sau:

1. Tạo mô hình học cơ bản (giáo viên)
2. Đào tạo mô hình học cơ bản trên tập hỗ trợ
3. Để mô hình học cơ bản trả về dự đoán cho tập truy vấn
4. Đào tạo mô hình meta-learner (học sinh) trên mất mát được suy ra từ lỗi phân loại

Biến thể của Meta-học

Model-Agnostic Meta-learning là một phương pháp được sử dụng để tăng cường kỹ thuật meta-học cơ bản mà chúng tôi đã đề cập ở trên.

Como đã đề cập ở trên, một gradient-based meta-learner sử dụng kinh nghiệm trước đó được mô hình giáo viên thu được để tinh chỉnh bản thân và cung cấp dự đoán chính xác hơn cho một lượng nhỏ dữ liệu đào tạo. Tuy nhiên, bắt đầu với các tham số được khởi tạo ngẫu nhiên có nghĩa là mô hình vẫn có thể quá拟 dữ liệu. Để tránh điều này, một “Model-agnostic” meta-learner được tạo ra bằng cách hạn chế ảnh hưởng của mô hình giáo viên/mô hình cơ bản. Thay vì đào tạo mô hình học sinh trực tiếp trên mất mát cho dự đoán được làm bởi mô hình giáo viên, mô hình học sinh được đào tạo trên mất mát cho dự đoán của chính nó.

Đối với mỗi tập đào tạo một model-agnostic meta-learner:

1. Một bản sao của mô hình meta-learner hiện tại được tạo.
2. Bản sao được đào tạo với sự hỗ trợ của mô hình cơ bản/giáo viên.
3. Bản sao trả về dự đoán cho dữ liệu đào tạo.
4. Mất mát được tính toán được sử dụng để cập nhật mô hình meta-learner.

Metric-Học

Các phương pháp metric-học để thiết kế một mô hình học tập với ít dữ liệu thường liên quan đến việc sử dụng các metric khoảng cách cơ bản để so sánh giữa các mẫu trong một tập dữ liệu. Các thuật toán metric-học như khoảng cách cosine được sử dụng để phân loại mẫu truy vấn dựa trên sự tương似 của chúng với các mẫu hỗ trợ. Đối với một phân loại器 hình ảnh, điều này có nghĩa là chỉ phân loại hình ảnh dựa trên sự tương似 của các đặc điểm bề mặt. Sau khi một tập hỗ trợ các hình ảnh được chọn và chuyển đổi thành một vector nhúng, điều tương tự được thực hiện với tập truy vấn và sau đó các giá trị cho hai vector được so sánh, với phân loại器 chọn lớp có giá trị gần nhất với vector truy vấn được vector hóa.

Một giải pháp metric-based tiên tiến hơn là “mạng nguyên mẫu”. Mạng nguyên mẫu nhóm các điểm dữ liệu lại với nhau, kết hợp các mô hình nhóm với phân loại metric-based được mô tả ở trên. Giống như trong nhóm K-means, các tâm cluster được tính toán cho các lớp trong tập hỗ trợ và tập truy vấn. Một metric khoảng cách euclidean sau đó được áp dụng để xác định sự khác biệt giữa tập truy vấn và tâm của tập hỗ trợ, gán tập truy vấn cho lớp hỗ trợ nào gần hơn.

Hầu hết các phương pháp học tập với ít dữ liệu khác chỉ là các biến thể của các kỹ thuật cốt lõi được đề cập ở trên.

Ứng Dụng Của Học Tập Với Ít Dữ Liệu

Học tập với ít dữ liệu có ứng dụng trong nhiều lĩnh vực con của khoa học dữ liệu, chẳng hạn như thị giác máy tính, xử lý ngôn ngữ tự nhiên, robot, chăm sóc sức khỏe và xử lý tín hiệu.

Ứng dụng của học tập với ít dữ liệu trong không gian thị giác máy tính bao gồm nhận dạng ký tự hiệu quả, phân loại hình ảnh, nhận dạng đối tượng, theo dõi đối tượng, dự đoán chuyển động và định vị hành động. Các ứng dụng xử lý ngôn ngữ tự nhiên của học tập với ít dữ liệu bao gồm dịch, hoàn thành câu, phân loại ý định người dùng, phân tích cảm xúc và phân loại văn bản đa nhãn. Học tập với ít dữ liệu có thể được sử dụng trong lĩnh vực robot để giúp robot học về các nhiệm vụ từ chỉ một vài bản demo, cho phép robot học cách thực hiện hành động, di chuyển và điều hướng thế giới xung quanh chúng. Khám phá thuốc với ít dữ liệu là một lĩnh vực mới nổi của chăm sóc sức khỏe AI. Cuối cùng, học tập với ít dữ liệu có ứng dụng cho xử lý tín hiệu âm thanh, đó là quá trình phân tích dữ liệu âm thanh, cho phép hệ thống AI sao chép giọng nói dựa trên chỉ một vài mẫu người dùng hoặc chuyển đổi giọng nói từ người dùng này sang người dùng khác.