AI 101
Học ít ảnh là gì?
Học ít lần đề cập đến nhiều thuật toán và kỹ thuật được sử dụng để phát triển mô hình AI bằng cách sử dụng một lượng rất nhỏ dữ liệu đào tạo. Học ít lần nỗ lực để cho phép mô hình AI nhận dạng và phân loại dữ liệu mới sau khi tiếp xúc với tương đối ít trường hợp đào tạo. Đào tạo ít lần trái ngược với các phương pháp đào tạo mô hình học máy truyền thống, nơi thường sử dụng một lượng lớn dữ liệu đào tạo. Học ít lần là được sử dụng chủ yếu trong thị giác máy tính.
Để phát triển một trực giác tốt hơn cho việc học vài lần, hãy xem xét khái niệm này một cách chi tiết hơn. Chúng ta sẽ xem xét các động lực và khái niệm đằng sau phương pháp học từng bước, khám phá một số kiểu học từng bước khác nhau và đề cập đến một số mô hình được sử dụng trong phương pháp học từng bước ở cấp độ cao. Cuối cùng, chúng ta sẽ xem xét một số ứng dụng cho phương pháp học vài lần.
Học ít bắn là gì?
“Học ít lần” mô tả việc thực hành đào tạo một mô hình máy học với lượng dữ liệu tối thiểu. Thông thường, các mô hình học máy được đào tạo trên khối lượng dữ liệu lớn, càng lớn càng tốt. Tuy nhiên, học ít lần là một khái niệm học máy quan trọng vì một vài lý do khác nhau.
Một lý do để sử dụng phương pháp học vài lần là nó có thể cắt giảm đáng kể lượng dữ liệu cần thiết để đào tạo một mô hình máy học, giúp giảm thời gian cần thiết để gắn nhãn các tập dữ liệu lớn. Tương tự như vậy, học vài lần làm giảm nhu cầu thêm các tính năng cụ thể cho các tác vụ khác nhau khi sử dụng một bộ dữ liệu chung để tạo các mẫu khác nhau. Lý tưởng nhất là học ít lần có thể làm cho các mô hình trở nên mạnh mẽ hơn và có thể nhận dạng đối tượng dựa trên ít dữ liệu hơn, tạo ra các mô hình tổng quát hơn trái ngược với các mô hình chuyên biệt hóa cao vốn là tiêu chuẩn.
Học ít lần được sử dụng phổ biến nhất trong lĩnh vực thị giác máy tính, vì bản chất của các vấn đề về thị giác máy tính đòi hỏi khối lượng dữ liệu lớn hoặc một mô hình linh hoạt.
Danh mục phụ
Cụm từ học tập “vài lần” thực ra chỉ là một kiểu học sử dụng rất ít ví dụ đào tạo. Vì bạn chỉ đang sử dụng “một vài” ví dụ đào tạo, nên có các danh mục phụ của học tập vài lần cũng liên quan đến đào tạo với một lượng dữ liệu tối thiểu. Học “một lần” là một loại hình đào tạo mô hình khác liên quan đến việc dạy một mô hình nhận dạng một đối tượng sau khi chỉ nhìn thấy một hình ảnh của đối tượng đó. Các chiến thuật chung được sử dụng trong one-shot learning và few-shot learning là giống nhau. Xin lưu ý rằng thuật ngữ học tập “ít lần” có thể được sử dụng như một thuật ngữ chung để mô tả bất kỳ tình huống nào mà một mô hình đang được đào tạo với rất ít dữ liệu.
Phương pháp tiếp cận học ít lần
Hầu hết các phương pháp học tập ngắn hạn có thể phù hợp với một trong ba loại: phương pháp tiếp cận ở cấp độ dữ liệu, phương pháp tiếp cận ở cấp độ tham số và phương pháp tiếp cận dựa trên số liệu.
Phương pháp tiếp cận cấp dữ liệu
Các phương pháp tiếp cận ở cấp độ dữ liệu đối với phương pháp học vài lần rất đơn giản về mặt khái niệm. Để đào tạo một mô hình khi bạn không có đủ dữ liệu đào tạo, bạn có thể lấy thêm dữ liệu đào tạo. Có nhiều kỹ thuật khác nhau mà nhà khoa học dữ liệu có thể sử dụng để tăng lượng dữ liệu đào tạo mà họ có.
Dữ liệu đào tạo tương tự có thể sao lưu dữ liệu mục tiêu chính xác mà bạn đang đào tạo bộ phân loại. Ví dụ: nếu bạn đang huấn luyện bộ phân loại nhận biết các loại chó cụ thể nhưng thiếu nhiều hình ảnh về loài cụ thể mà bạn đang cố phân loại, bạn có thể đưa vào nhiều hình ảnh về chó để giúp bộ phân loại xác định các đặc điểm chung tạo nên một con chó .
Tăng cường dữ liệu có thể tạo thêm dữ liệu huấn luyện cho bộ phân loại. Điều này thường liên quan đến việc áp dụng các phép biến đổi cho dữ liệu đào tạo hiện có, chẳng hạn như xoay các hình ảnh hiện có để bộ phân loại kiểm tra hình ảnh từ các góc độ khác nhau. GAN cũng có thể được sử dụng để tạo các ví dụ đào tạo mới dựa trên những gì chúng học được từ một vài ví dụ xác thực về dữ liệu đào tạo mà bạn có.
Phương pháp tiếp cận cấp tham số
siêu học
Một cách tiếp cận ở cấp độ thông số đối với phương pháp học từng bước liên quan đến việc sử dụng một kỹ thuật gọi là “siêu học”. Siêu học liên quan đến dạy người mẫu cách học những tính năng nào là quan trọng trong một nhiệm vụ học máy. Điều này có thể được thực hiện bằng cách tạo ra một phương pháp để điều chỉnh cách khám phá không gian tham số của một mô hình.
Meta-learning sử dụng hai mô hình khác nhau: mô hình giáo viên và mô hình học sinh. Mô hình “giáo viên” và mô hình “học sinh”. Mô hình giáo viên học cách gói gọn không gian tham số, trong khi thuật toán học sinh học cách nhận dạng và phân loại các mục thực tế trong tập dữ liệu. Nói cách khác, mô hình giáo viên học cách tối ưu hóa một mô hình, trong khi mô hình sinh viên học cách phân loại. Đầu ra của mô hình giáo viên được sử dụng để huấn luyện mô hình học sinh, chỉ cho mô hình học sinh cách thương lượng không gian tham số lớn do quá ít dữ liệu huấn luyện. Do đó, "meta" trong meta-learning.
Một trong những vấn đề chính với các mô hình học vài lần là chúng có thể dễ dàng khớp quá mức với dữ liệu huấn luyện, vì chúng thường có không gian nhiều chiều. Việc giới hạn không gian tham số của một mô hình giải quyết được vấn đề này và mặc dù nó có thể được thực hiện bằng cách áp dụng các kỹ thuật chính quy hóa và chọn các hàm mất mát phù hợp, nhưng việc sử dụng thuật toán giáo viên có thể cải thiện đáng kể hiệu suất của mô hình vài lần chụp.
Mô hình phân loại học tập vài lần (mô hình học sinh) sẽ cố gắng khái quát hóa dựa trên lượng dữ liệu huấn luyện nhỏ được cung cấp và độ chính xác của mô hình này có thể cải thiện với mô hình giáo viên để hướng mô hình đó qua không gian tham số nhiều chiều. Kiến trúc chung này được gọi là siêu người học “dựa trên độ dốc”.
Toàn bộ quá trình đào tạo meta learner dựa trên gradient như sau:
- Tạo mô hình người học cơ sở (giáo viên)
- Huấn luyện mô hình người học cơ sở trên bộ hỗ trợ
- Yêu cầu người học cơ sở trả về các dự đoán cho bộ truy vấn
- Huấn luyện người học meta (sinh viên) về sự mất mát do lỗi phân loại
Các biến thể của Meta-learning
Siêu học mô hình bất khả tri là một phương pháp được sử dụng để tăng cường kỹ thuật siêu học dựa trên độ dốc cơ bản mà chúng tôi đã trình bày ở trên.
Như chúng tôi đã trình bày ở trên, một người học meta dựa trên độ dốc sử dụng kinh nghiệm trước đây có được từ mô hình giáo viên để tinh chỉnh chính nó và đưa ra dự đoán chính xác hơn cho một lượng nhỏ dữ liệu huấn luyện. Tuy nhiên, bắt đầu với các tham số được khởi tạo ngẫu nhiên có nghĩa là mô hình vẫn có khả năng khớp dữ liệu quá mức. Để tránh điều này, một siêu người học “Mô hình bất khả tri” được tạo ra bằng cách hạn chế ảnh hưởng của mô hình giáo viên/mô hình cơ sở. Thay vì đào tạo mô hình học sinh trực tiếp về sự mất mát đối với các dự đoán do mô hình giáo viên đưa ra, mô hình học sinh được đào tạo về sự mất mát đối với các dự đoán của chính nó.
Đối với mỗi giai đoạn đào tạo một người học meta bất khả tri theo mô hình:
- Một bản sao của mô hình meta-learning hiện tại được tạo.
- Bản sao được đào tạo với sự hỗ trợ của mô hình cơ sở/mô hình giáo viên.
- Bản sao trả về các dự đoán cho dữ liệu huấn luyện.
- Mất mát được tính toán được sử dụng để cập nhật trình học siêu dữ liệu.
Metric-Học
Phương pháp học số liệu để thiết kế mô hình học tập vài lần thường liên quan đến các sử dụng các số liệu khoảng cách cơ bản để so sánh giữa các mẫu trong tập dữ liệu. Các thuật toán học số liệu như khoảng cách cosine được sử dụng để phân loại các mẫu truy vấn dựa trên sự giống nhau của chúng với các mẫu hỗ trợ. Đối với một bộ phân loại hình ảnh, điều này có nghĩa là chỉ phân loại hình ảnh dựa trên sự giống nhau của các đặc điểm bề ngoài. Sau khi một bộ hình ảnh hỗ trợ được chọn và chuyển đổi thành một vectơ nhúng, điều tương tự cũng được thực hiện với bộ truy vấn và sau đó các giá trị của hai vectơ được so sánh với bộ phân loại chọn lớp có giá trị gần nhất với bộ truy vấn được vectơ hóa .
Một giải pháp dựa trên số liệu tiên tiến hơn là “mạng nguyên mẫu”. Các mạng nguyên mẫu tập hợp các điểm dữ liệu lại với nhau kết hợp các mô hình phân cụm với phân loại dựa trên số liệu được mô tả ở trên. Giống như trong phân cụm K-means, trọng tâm cho các cụm được tính toán cho các lớp trong tập hỗ trợ và truy vấn. Sau đó, một số liệu khoảng cách euclide được áp dụng để xác định sự khác biệt giữa các bộ truy vấn và trọng tâm của bộ hỗ trợ, chỉ định bộ truy vấn cho bất kỳ lớp nào của bộ hỗ trợ gần hơn.
Hầu hết các phương pháp học vài lần khác chỉ là các biến thể của các kỹ thuật cốt lõi được đề cập ở trên.
Các ứng dụng cho học tập ít lần
Học ít lần có ứng dụng trong nhiều lĩnh vực khác nhau của khoa học dữ liệu, chẳng hạn như thị giác máy tính, xử lý ngôn ngữ tự nhiên, robot, chăm sóc sức khỏe và xử lý tín hiệu.
Các ứng dụng cho học vài lần trong không gian thị giác máy tính bao gồm nhận dạng ký tự hiệu quả, phân loại hình ảnh, nhận dạng đối tượng, theo dõi đối tượng, dự đoán chuyển động và bản địa hóa hành động. Các ứng dụng xử lý ngôn ngữ tự nhiên dành cho học tập ngắn hạn bao gồm dịch thuật, hoàn thành câu, phân loại mục đích của người dùng, phân tích cảm xúc và phân loại văn bản có nhiều nhãn. Học ít lần có thể được sử dụng trong lĩnh vực chế tạo rô-bốt để giúp rô-bốt tìm hiểu về các nhiệm vụ chỉ từ một vài thao tác minh họa, cho phép rô-bốt học cách thực hiện các hành động, di chuyển và điều hướng thế giới xung quanh chúng. Khám phá thuốc ngắn hạn là một lĩnh vực mới nổi của AI chăm sóc sức khỏe. Cuối cùng, học vài lần có các ứng dụng để xử lý tín hiệu âm thanh, đây là quá trình phân tích dữ liệu âm thanh, cho phép hệ thống AI sao chép giọng nói chỉ dựa trên một vài mẫu người dùng hoặc chuyển đổi giọng nói từ người dùng này sang người dùng khác.
