Vad är Few-Shot Learning?

Few-shot learning är en samling av algoritmer och tekniker som används för att utveckla en AI-modell med hjälp av en mycket liten mängd träningsdata. Few-shot learning syftar till att låta en AI-modell känna igen och klassificera ny data efter att ha exponerats för relativt få träningsexempel. Few-shot-träning står i kontrast till traditionella metoder för att träna maskinlärningsmodeller, där en stor mängd träningsdata vanligtvis används. Few-shot learning används främst inom datorseende.

För att utveckla en bättre förståelse för few-shot learning, låt oss undersöka begreppet i mer detalj. Vi kommer att undersöka motivationen och koncepten bakom few-shot learning, utforska olika typer av few-shot learning och täcka några modeller som används i few-shot learning på en hög nivå. Slutligen kommer vi att undersöka några tillämpningar för few-shot learning.

Vad är Few-Shot Learning?

“Few-shot learning” beskriver metoden att träna en maskinlärningsmodell med en minimal mängd data. Vanligtvis tränas maskinlärningsmodeller på stora mängder data, ju mer desto bättre. Men few-shot learning är ett viktigt maskinlärningskoncept av flera skäl.

En anledning till att använda few-shot learning är att det kan dramatiskt minska den mängd data som behövs för att träna en maskinlärningsmodell, vilket minskar den tid som behövs för att märka stora datamängder. Likaså minskar few-shot learning behovet av att lägga till specifika funktioner för olika uppgifter när man använder en gemensam datamängd för att skapa olika prover. Few-shot learning kan idealiskt göra modellerna mer robusta och kunna känna igen objekt baserat på mindre data, vilket skapar mer allmänna modeller i stället för de högt specialiserade modellerna som är vanliga.

Few-shot learning används vanligtvis inom området datorseende, eftersom datorseende-problem ofta kräver antingen stora mängder data eller en flexibel modell.

Underkategorier

Begreppet “few-shot” learning är egentligen bara en typ av inlärning som använder mycket få träningsexempel. Eftersom du använder bara “några” träningsexempel, finns det underkategorier av few-shot learning som också involverar träning med en minimal mängd data. “One-shot” learning är en annan typ av modellträning som innebär att lära en modell att känna igen ett objekt efter att ha sett bara ett exempel på det objektet. De allmänna taktikerna som används i one-shot learning och few-shot learning är desamma. Var medveten om att termen “few-shot” learning kan användas som en paraplyterm för att beskriva varje situation där en modell tränas med mycket lite data.

Tillvägagångssätt för Few-Shot Learning

De flesta tillvägagångssätten för few-shot learning kan delas in i tre kategorier: data-nivå tillvägagångssätt, parameter-nivå tillvägagångssätt och metrics-baserade tillvägagångssätt.

Data-nivå Tillvägagångssätt

Data-nivå tillvägagångssätt för few-shot learning är mycket enkla i koncept. För att träna en modell när du inte har tillräckligt med träningsdata, kan du helt enkelt skaffa mer träningsdata. Det finns olika tekniker som en data scientist kan använda för att öka mängden träningsdata de har.

Liknande träningsdata kan stödja den exakta mål-data du tränar en klassificerare på. Till exempel, om du tränar en klassificerare för att känna igen specifika typer av hundar men saknar många bilder av den specifika arten du försöker klassificera, kan du inkludera många bilder av hundar som skulle hjälpa klassificeraren att bestämma de allmänna funktionerna som utgör en hund.

Data-förstärkning kan skapa mer träningsdata för en klassificerare. Detta innebär vanligtvis att tillämpa transformationer på befintlig träningsdata, såsom att rotera befintliga bilder så att klassificeraren undersöker bilderna från olika vinklar. GAN:er kan också användas för att generera nya träningsexempel baserat på vad de lär sig från de få äkta exemplen av träningsdata du har.

Parameter-nivå Tillvägagångssätt

Meta-lärande

En parameter-nivå tillvägagångssätt för few-shot learning innebär användning av en teknik som kallas “meta-lärande”. Meta-lärande innebär att lära en modell hur den ska lära vilka funktioner som är viktiga i en maskinlärningsuppgift. Detta kan åstadkommas genom att skapa en metod för att reglera hur modellens parameterrum utforskas.

Meta-lärande använder två olika modeller: en lärar-modell och en elev-modell. Lärar-modellen lär sig hur den ska inkapsla parameterrummet, medan elev-algoritmen lär sig hur den ska känna igen och klassificera de faktiska objekten i datamängden. För att uttrycka det på ett annat sätt, lärar-modellen lär sig hur den ska optimera en modell, medan elev-modellen lär sig hur den ska klassificera. Lärar-modellens utdata används för att träna elev-modellen, vilket visar elev-modellen hur den ska navigera i det stora parameterrummet som resulterar från för lite träningsdata. Därför “meta” i meta-lärande.

Ett av de största problemen med few-shot learning-modeller är att de lätt kan överanpassa sig till träningsdata, eftersom de ofta har högdimensionella utrymmen. Att begränsa modellens parameterrum löser detta problem, och medan det kan åstadkommas genom att tillämpa regleringstekniker och välja rätt förlustfunktioner, kan användningen av en lärar-algoritm dramatiskt förbättra prestandan hos en few-shot-modell.

En few-shot learning-klassificeringsmodell (elev-modellen) kommer att försöka generalisera baserat på den lilla mängd träningsdata den får, och dess noggrannhet kan förbättras med en lärar-modell som vägleder den genom det högdimensionella parameterrummet. Denna allmänna arkitektur kallas för en “gradient-baserad” meta-lärare.

Hela processen för att träna en gradient-baserad meta-lärare är som följer:

1. Skapa bas-läraren (lärar-modellen)
2. Träna bas-läraren på stöd-mängden
3. Låt bas-läraren returnera förutsägelser för fråge-mängden
4. Träna meta-läraren (elev-modellen) på förlusten som härrör från klassificeringsfelet

Variationer på Meta-lärande

Modell-agnostiskt meta-lärande är en metod som används för att förbättra den grundläggande gradient-baserade meta-lärande-tekniken som vi täckte ovan.

Som vi täckte ovan använder en gradient-baserad meta-lärare den tidigare erfarenheten som en lärar-modell har fått för att finjustera sig själv och leverera mer exakta förutsägelser för en liten mängd träningsdata. Men, att starta med slumpmässigt initierade parametrar innebär att modellen fortfarande kan överanpassa sig till data. För att undvika detta skapas en “modell-agnostisk” meta-lärare genom att begränsa lärar-modellens/bas-modellens inflytande. I stället för att träna elev-modellen direkt på förlusten för förutsägelserna som lärar-modellen gjort, tränas elev-modellen på förlusten för sina egna förutsägelser.

För varje episod av träning av en modell-agnostisk meta-lärare:

1. En kopia av den aktuella meta-lärar-modellen skapas.
2. Kopian tränas med hjälp av bas-modellen/lärar-modellen.
3. Kopian returnerar förutsägelser för träningsdata.
4. Beräknad förlust används för att uppdatera meta-läraren.

Metric-Lärande

Metric-lärande tillvägagångssätt för att designa en few-shot learning-modell involverar vanligtvis användning av grundläggande avstånds-metriska för att göra jämförelser mellan prover i en datamängd. Metric-lärande algoritmer som cosinus-avstånd används för att klassificera fråge-prover baserat på deras likhet med stöd-proverna. För en bild-klassificerare skulle detta innebära att klassificera bilder baserat på likheten i yttre egenskaper. Efter att en stöd-mängd av bilder har valts och omvandlats till en inbäddnings-vektor, görs samma sak med fråge-mängden och sedan jämförs värdena för de två vektorerna, med klassificeraren som väljer den klass som har de närmaste värdena till den vektoriserade fråge-mängden.

En mer avancerad metric-baserad lösning är “prototyp-nätverk”. Prototyp-nätverk klusterar datapunkter tillsammans genom att kombinera kluster-modeller med den metric-baserade klassificering som beskrivits ovan. Som i K-means-klustering beräknas centroider för kluster för klasserna i stöd- och fråge-mängderna. En euklidiskt avstånds-metrik tillämpas sedan för att bestämma skillnaden mellan fråge-mängderna och centroiderna för stöd-mängden, och fråge-mängden tilldelas den klass som är närmast stöd-mängden.

De flesta andra few-shot learning-tillvägagångssätt är bara variationer på de grundläggande tekniker som täcktes ovan.

Tillämpningar för Few-Shot Learning

Few-shot learning har tillämpningar inom många olika underområden av data-vetenskap, såsom datorseende, naturligt språk-behandling, robotik, hälso- och sjukvård och signal-behandling.

Tillämpningar för few-shot learning inom datorseende-området inkluderar effektiv teckenigenkänning, bild-klassificering, objekt-igenkänning, objekt-spårning, rörelse-prediktion och handling-lokaliseringsåtgärd. Naturligt språk-behandling-tillämpningar för few-shot learning inkluderar översättning, meningsslutsats, användar-avsikts-klassificering, sentiment-analys och multi-etikett-text-klassificering. Few-shot learning kan användas inom robotik-området för att hjälpa robotar att lära sig om uppgifter från bara några demonstrationer, vilket låter robotar lära sig hur de ska utföra handlingar, flytta sig och navigera i världen runt dem. Few-shot läkemedelsupptäckt är ett nytt område inom AI-hälso- och sjukvård. Slutligen har few-shot learning tillämpningar för akustisk signal-behandling, som är processen att analysera ljud-data, vilket låter AI-systemer klona röster baserat på bara några användar-prover eller röst-omvandling från en användare till en annan.