Co to jest uczenie się przy niewielkiej liczbie przykładów?

Uczenie się przy niewielkiej liczbie przykładów odnosi się do różnych algorytmów i technik stosowanych w celu opracowania modelu sztucznej inteligencji przy użyciu bardzo małej ilości danych szkoleniowych. Uczenie się przy niewielkiej liczbie przykładów ma na celu umożliwienie modelowi sztucznej inteligencji rozpoznawania i klasyfikowania nowych danych po ekspozycji na stosunkowo niewielką liczbę przykładów szkoleniowych. Szkolenie przy niewielkiej liczbie przykładów różni się od tradycyjnych metod szkolenia modeli uczenia maszynowego, w których zwykle stosuje się dużą ilość danych szkoleniowych. Uczenie się przy niewielkiej liczbie przykładów jest głównie stosowane w dziedzinie widzenia komputerowego.

Aby lepiej zrozumieć uczenie się przy niewielkiej liczbie przykładów, przyjrzyjmy się temu pojęciu bardziej szczegółowo. Zbadamy motywy i pojęcia leżące u podstaw uczenia się przy niewielkiej liczbie przykładów, zapoznamy się z różnymi rodzajami uczenia się przy niewielkiej liczbie przykładów i omówimy niektóre modele stosowane w uczeniu się przy niewielkiej liczbie przykładów na poziomie ogólnym. Na koniec omówimy niektóre zastosowania uczenia się przy niewielkiej liczbie przykładów.

Co to jest uczenie się przy niewielkiej liczbie przykładów?

“Uczenie się przy niewielkiej liczbie przykładów” opisuje praktykę szkolenia modelu sztucznej inteligencji z minimalną ilością danych. Zwykle modele sztucznej inteligencji są szkolone na dużych ilościach danych, im więcej, tym lepiej. Jednak uczenie się przy niewielkiej liczbie przykładów jest ważnym pojęciem sztucznej inteligencji z kilku powodów.

Jednym z powodów stosowania uczenia się przy niewielkiej liczbie przykładów jest to, że może ono znacznie zmniejszyć ilość danych potrzebnych do szkolenia modelu sztucznej inteligencji, co zmniejsza czas potrzebny do oznaczenia dużych zbiorów danych. Podobnie, uczenie się przy niewielkiej liczbie przykładów zmniejsza potrzebę dodawania konkretnych cech do różnych zadań podczas korzystania z wspólnego zbioru danych do tworzenia różnych próbek. Uczenie się przy niewielkiej liczbie przykładów może idealnie sprawić, że modele będą bardziej odpornymi i zdolnymi do rozpoznawania obiektów na podstawie mniejszej ilości danych, tworząc bardziej ogólne modele, a nie wyspecjalizowane, które są normą.

Uczenie się przy niewielkiej liczbie przykładów jest najczęściej stosowane w dziedzinie widzenia komputerowego, ponieważ natura problemów widzenia komputerowego wymaga albo dużych ilości danych, albo elastycznego modelu.

Podkategorie

Wyrażenie “uczenie się przy niewielkiej liczbie przykładów” jest tak naprawdę tylko jednym rodzajem uczenia się przy użyciu bardzo niewielkiej liczby przykładów szkoleniowych. Ponieważ używa się tylko “kilku” przykładów szkoleniowych, istnieją podkategorie uczenia się przy niewielkiej liczbie przykładów, które również obejmują szkolenie przy użyciu minimalnej ilości danych. “Uczenie się przy jednym przykładzie” to inny rodzaj szkolenia modelu, który obejmuje nauczanie modelu rozpoznawania obiektu po zobaczeniu tylko jednego obrazu tego obiektu. Ogólne taktyki stosowane w uczeniu się przy jednym przykładzie i uczeniu się przy niewielkiej liczbie przykładów są takie same. Należy być świadomym, że termin “uczenie się przy niewielkiej liczbie przykładów” może być używany jako określenie ogólne, aby opisać każdą sytuację, w której model jest szkolony przy użyciu bardzo małej ilości danych.

Podejścia do uczenia się przy niewielkiej liczbie przykładów

Większość podejść do uczenia się przy niewielkiej liczbie przykładów może być zaklasyfikowana do jednej z trzech kategorii: podejścia na poziomie danych, podejścia na poziomie parametrów i podejścia oparte na metrykach.

Podejścia na poziomie danych

Podejścia na poziomie danych do uczenia się przy niewielkiej liczbie przykładów są bardzo proste w koncepcji. Aby szkolić model, gdy nie ma wystarczających danych szkoleniowych, można po prostu uzyskać więcej danych szkoleniowych. Istnieją różne techniki, które może zastosować naukowiec danych, aby zwiększyć ilość dostępnych danych szkoleniowych.

Podobne dane szkoleniowe mogą wspierać dokładne dane docelowe, na których szkoli się klasyfikator. Na przykład, jeśli szkoli się klasyfikator do rozpoznawania konkretnych rodzajów psów, ale brakuje wielu obrazów tego konkretnego gatunku, można uwzględnić wiele obrazów psów, co pomoże klasyfikatorowi określić ogólne cechy, które tworzą psa.

Można również stosować techniki augmentacji danych, aby utworzyć więcej danych szkoleniowych dla klasyfikatora. Zwykle obejmuje to stosowanie transformacji do istniejących danych szkoleniowych, takich jak obracanie istniejących obrazów, aby klasyfikator mógł je zobaczyć z różnych kątów. Można również stosować generatywne sieci neuronowe, aby wygenerować nowe przykłady szkoleniowe na podstawie tego, czego nauczyły się z kilku autentycznych przykładów danych szkoleniowych.

Podejścia na poziomie parametrów

Metauczenie

Jednym z podejść na poziomie parametrów do uczenia się przy niewielkiej liczbie przykładów jest zastosowanie techniki zwanej “metauczeniem“. Metauczenie obejmuje nauczanie modelu, jak się uczyć, które cechy są ważne w zadaniu sztucznej inteligencji. Można to osiągnąć, tworząc metodę regulacji, w jaki sposób przestrzeń parametrów modelu jest eksplorowana.

Metauczenie wykorzystuje dwa różne modele: model nauczyciela i model ucznia. Model nauczyciela uczy się, jak ujmować przestrzeń parametrów, podczas gdy algorytm ucznia uczy się, jak rozpoznawać i klasyfikować rzeczywiste elementy w zbiorze danych. Innymi słowy, model nauczyciela uczy się, jak optymalizować model, podczas gdy model ucznia uczy się, jak klasyfikować. Wyjścia modelu nauczyciela są używane do szkolenia modelu ucznia, pokazując modelowi uczniowi, jak nawigować w dużej przestrzeni parametrów, wynikającej z zbyt małej ilości danych szkoleniowych. Stąd “meta” w metauczeniu.

Jednym z głównych problemów z modelem uczenia się przy niewielkiej liczbie przykładów jest to, że może on łatwo przeuczyć się na danych szkoleniowych, ponieważ często mają one wysokowymiarowe przestrzenie. Ograniczenie przestrzeni parametrów modelu rozwiązuje ten problem, i chociaż można to osiągnąć, stosując techniki regularyzacji i wybierając odpowiednie funkcje straty, zastosowanie modelu nauczyciela może znacznie poprawić wydajność modelu uczenia się przy niewielkiej liczbie przykładów.

Model klasyfikacji uczenia się przy niewielkiej liczbie przykładów (model ucznia) będzie próbował uogólniać na podstawie małej ilości danych szkoleniowych, które otrzymał, i jego dokładność może się poprawić z modelem nauczyciela, który go prowadzi przez wysokowymiarową przestrzeń parametrów. Ta ogólna architektura jest określana jako “gradientowy” metauczelnia.

Cały proces szkolenia gradientowego metauczelnia jest następujący:

1. Utwórz model podstawowy (nauczyciel)
2. Szkol model podstawowy na zbiorze wsparcia
3. Pozwól modelowi podstawowemu zwrócić predykcje dla zbioru zapytań
4. Szkol metauczelnia (ucznia) na stracie pochodzącej z błędu klasyfikacji

Odmiany metauczenia

Model-agnostyczne metauczenie to metoda, która uzupełnia podstawową technikę gradientowego metauczenia, o której mówiliśmy powyżej.

jak wspomniano powyżej, gradientowy metauczelnia wykorzystuje wcześniejsze doświadczenie zdobyte przez model nauczyciela, aby dostroić się i dostarczyć bardziej dokładne predykcje dla małej ilości danych szkoleniowych. Jednak rozpoczęcie od losowo zainicjowanych parametrów oznacza, że model może nadal potencjalnie przeuczyć się na danych. Aby uniknąć tego, tworzy się “model-agnostyczny” metauczelnia, ograniczając wpływ modelu nauczyciela/modelu podstawowego. Zamiast szkolić model ucznia bezpośrednio na stracie dla predykcji wykonanych przez model nauczyciela, model ucznia jest szkolony na stracie dla własnych predykcji.

Dla każdej epizody szkolenia modelu agnostycznego metauczelnia:

1. Tworzy się kopię bieżącego modelu metauczelnia.
2. Kopię szkoli się z pomocą modelu podstawowego/modelu nauczyciela.
3. Kopia zwraca predykcje dla danych szkoleniowych.
4. Obliczona strata jest używana do aktualizacji metauczelnia.

Uczenie się oparte na metrykach

Podejścia oparte na metrykach do projektowania modelu uczenia się przy niewielkiej liczbie przykładów zwykle obejmują użycie podstawowych miar odległości w celu porównania próbek w zbiorze danych. Algorytmy uczenia się opartego na metrykach, takie jak odległość kosinusowa, są używane do klasyfikacji próbek zapytań na podstawie ich podobieństwa do próbek wsparcia. Dla klasyfikatora obrazu oznacza to po prostu klasyfikowanie obrazów na podstawie podobieństwa powierzchniowych cech. Po wybraniu zbioru wsparcia i przekształceniu go w wektor osadzania, to samo robiono z zbiorem zapytań, a następnie porównywano wartości obu wektorów, z klasyfikatorem wybierającym klasę, która ma najbliższe wartości do wektorowego zbioru zapytań.

Bardziej zaawansowane rozwiązanie oparte na metrykach to “sieć prototypowa“. Sieci prototypowe grupują punkty danych razem, łącząc modele grupowania z klasyfikacją opartą na metrykach, o której mówiliśmy powyżej. Podobnie jak w grupowaniu K-means, oblicza się centra dla klas w zbiorach wsparcia i zapytań. Następnie stosuje się miarę odległości euklidesowej, aby określić różnicę między zbiorem zapytań a centrami zbioru wsparcia, przypisując zbiór zapytań do klasy zbioru wsparcia, która jest bliżej.

Większość innych podejść do uczenia się przy niewielkiej liczbie przykładów to po prostu wariacje na temat podstawowych technik omówionych powyżej.

Zastosowania uczenia się przy niewielkiej liczbie przykładów

Uczenie się przy niewielkiej liczbie przykładów ma zastosowania w wielu różnych subdyscyplinach nauki o danych, takich jak widzenie komputerowe, przetwarzanie języka naturalnego, robotyka, opieka zdrowotna i przetwarzanie sygnałów.

Zastosowania uczenia się przy niewielkiej liczbie przykładów w dziedzinie widzenia komputerowego obejmują efektywną rozpoznawalność znaków, klasyfikację obrazów, rozpoznawanie obiektów, śledzenie obiektów, predykcję ruchu i lokalizację działań. Zastosowania w dziedzinie przetwarzania języka naturalnego obejmują tłumaczenie, uzupełnienie zdania, klasyfikację intencji użytkownika, analizę sentymentu i wieloetykietową klasyfikację tekstu. Uczenie się przy niewielkiej liczbie przykładów może być stosowane w dziedzinie robotyki, aby pomóc robotom uczyć się o zadaniach z tylko kilku demonstracji, pozwalając robotom uczyć się, jak wykonywać czynności, poruszać się i nawigować w świecie wokół nich. Uczenie się przy niewielkiej liczbie przykładów jest również stosowane w dziedzinie odkrywania leków, która jest nową dziedziną opieki zdrowotnej sztucznej inteligencji. Wreszcie, uczenie się przy niewielkiej liczbie przykładów ma zastosowania w przetwarzaniu sygnałów akustycznych, które jest procesem analizy danych dźwiękowych, pozwalając systemom sztucznej inteligencji klonować głosy na podstawie tylko kilku próbek użytkownika lub konwersji głosu z jednego użytkownika na innego.