AI 101
Wat ass Few-Shot Learning?
Puer Shot Léieren bezitt sech op eng Vielfalt vun Algorithmen an Techniken déi benotzt gi fir en AI Modell z'entwéckelen mat enger ganz klenger Quantitéit un Trainingsdaten. Puer Shot Léieren beméit en AI Modell ze erkennen an nei Donnéeën ze klassifizéieren nodeems se u vergläichbar wéineg Trainingsinstanzen ausgesat waren. Puer-Schoss Training steet am Géigesaz zu traditionell Methode vun Training Maschinn Léieren Modeller, wou eng grouss Quantitéit vun Training Daten typesch benotzt gëtt. Puer-Schoss Léieren ass haaptsächlech an Computer Visioun benotzt.
Fir eng besser Intuition fir e puer Shot Léieren z'entwéckelen, loosst eis d'Konzept méi detailléiert ënnersichen. Mir wäerten d'Motivatiounen a Konzepter hannert puer-Schéiss Léieren ënnersichen, e puer verschidden Aarte vu wéineg-Schéiss Léieren entdecken, an e puer Modeller ofdecken, déi a wéineg-Schéiss Léieren op engem héijen Niveau benotzt ginn. Schlussendlech wäerte mir e puer Uwendunge fir e puer Shot Léieren ënnersichen.
Wat ass Few-Shot Learning?
"E puer Shot Léieren" beschreift d'Praxis fir e Maschinnléiermodell ze trainéieren mat enger minimaler Quantitéit un Daten. Typesch gi Maschinnléiermodeller op grousse Volumen vun Daten trainéiert, wat méi grouss, wat besser. Wéi och ëmmer, wéineg Shot Léieren ass e wichtegt Maschinnléierkonzept aus e puer verschiddene Grënn.
Ee Grond fir e puer Shot Léieren ze benotzen ass datt et dramatesch d'Quantitéit un Daten ka reduzéieren, déi néideg ass fir e Maschinnléiermodell ze trainéieren, wat d'Zäit reduzéiert, déi néideg ass fir grouss Datesets ze markéieren. Ähnlech reduzéiert wéineg Shot Léieren d'Noutwendegkeet fir spezifesch Features fir verschidden Aufgaben ze addéieren wann Dir e gemeinsame Dataset benotzt fir verschidde Proben ze kreéieren. Puer Shot Léieren kann idealerweis Modeller méi robust maachen a fäeg sinn Objekt-baséiert op manner Daten z'erkennen, méi allgemeng Modeller ze kreéieren am Géigesaz zu den héich spezialiséierte Modeller déi d'Norm sinn.
Puer-Schoss Léieren ass am meeschte verbreet am Computer Visioun Terrain benotzt, wéi d'Natur vun Computer Visioun Problemer entweder grouss Volumen vun Daten oder e flexibele Modell erfuerdert.
Ënnerkategorien
Den Ausdrock "puer Shot" Léieren ass tatsächlech nëmmen eng Aart vu Léieren mat ganz wéineg Trainingsbeispiller. Well Dir just "e puer" Trainingsbeispiller benotzt, ginn et Ënnerkategorien vu wéineg Shot Léieren déi och Training mat enger minimaler Quantitéit un Daten involvéieren. "One-Shot" Léieren ass eng aner Aart vu Modelltraining déi involvéiert e Modell ze léieren fir en Objet ze erkennen nodeems se just ee Bild vun deem Objet gesinn. Déi allgemeng Taktik, déi iwwer One-Shot Léieren a wéineg Shot Léieren benotzt gëtt, sinn d'selwecht. Sidd bewosst datt de Begrëff "puer Shot" Léieren als Regenschirmbegrëff benotzt ka ginn fir all Situatioun ze beschreiwen wou e Modell mat ganz wéineg Daten trainéiert gëtt.
Approche zu Puer-Shot Léieren
Déi meescht puer-Schoss Léieren Approche kënnen an eng vun dräi Kategorien passen: Datenniveau Approche, Parameterniveau Approche, a Metrik-baséiert Approche.
Daten-Niveau Approche
Dateniveau Approche fir wéineg Shot Léieren si ganz einfach am Konzept. Fir e Modell ze trainéieren wann Dir net genuch Trainingsdaten hutt, kënnt Dir just méi Trainingsdaten kréien. Et gi verschidde Techniken en Datewëssenschaftler ka benotzen fir d'Quantitéit un Trainingsdaten ze erhéijen déi se hunn.
Ähnlech Trainingsdaten kënnen d'exakt Zildaten backen op déi Dir e Klassifizéierer trainéiert. Zum Beispill, wann Dir e Klassifizéierer trainéiert fir spezifesch Aarte vun Hënn ze erkennen, awer vill Biller vun der bestëmmter Spezies feelt, déi Dir probéiert ze klassifizéieren, kënnt Dir vill Biller vun Hënn enthalen, déi dem Klassifizéierer hëllefen d'allgemeng Features ze bestëmmen déi en Hond ausmaachen .
Donnéeën Augmentatioun kann méi Trainingsdaten fir e Klassifizéierer erstellen. Dëst beinhalt typesch Transformatiounen op existent Trainingsdaten anzesetzen, sou wéi d'Rotatioun vun existente Biller sou datt de Klassifizéierer d'Biller aus verschiddene Winkelen ënnersicht. GANs kënnen och benotzt ginn fir nei Trainingsbeispiller ze generéieren baséiert op wat se aus de puer authentesch Beispiller vun Trainingsdaten léieren déi Dir hutt.
Parameter-Niveau Approche
Meta-Léieren
Eng Parameter-Niveau Approche fir e puer Shot Léieren implizéiert d'Benotzung vun enger Technik genannt "meta-léieren". Meta-Learning implizéiert e Modell ze léieren wéi ze léieren déi Funktiounen sinn wichteg an enger Maschinn Léieren Aufgab. Dëst kann erreecht ginn andeems Dir eng Method erstellt fir ze regléieren wéi de Parameterraum vun engem Modell exploréiert gëtt.
Meta-Learning benotzt zwee verschidde Modeller: e Léiermodell an e Studentemodell. De Modell "Léierpersonal" an e Modell "Schüler". Den Enseignantmodell léiert wéi een de Parameterraum ëmkapselt, während de Studentalgorithmus léiert wéi een déi aktuell Elementer an der Datesaz erkennt a klasséiert. Fir dat anescht auszedrécken, léiert den Enseignantmodell wéi een e Modell optiméiert, während de Studentemodell léiert wéi ee klasséiert. D'Ausgänge vum Enseignantmodell gi benotzt fir de Studentemodell ze trainéieren, de Studentemodell ze weisen wéi een de grousse Parameterraum verhandelt deen aus ze wéineg Trainingsdaten resultéiert. Dofir de "Meta" am Meta-Learning.
Ee vun den Haaptprobleemer mat wéineg-Schoss Léiermodeller ass datt se einfach op Trainingsdaten iwwerpassen kënnen, well se dacks héichdimensional Plazen hunn. D'Limitatioun vum Parameterraum vun engem Modell léist dëse Problem, a wann et duerch Reguléierungstechniken ugewannt ka ginn an déi entspriechend Verloschtfunktiounen auswielen, kann d'Benotzung vun engem Enseignant Algorithmus d'Leeschtung vun e puer Schéissmodell dramatesch verbesseren.
E puer-Schoss Léierklassifizéierungsmodell (de Studentemodell) wäert beméien sech ze generaliséieren op Basis vun der klenger Quantitéit vun Trainingsdaten, mat deem et geliwwert gëtt, a seng Genauegkeet ka mat engem Enseignantmodell verbesseren fir et duerch den héije Dimensiounsparameterraum ze dirigéieren. Dës allgemeng Architektur gëtt als "gradient-baséiert" Meta-Learner bezeechent.
De komplette Prozess fir e Gradient-baséiert Meta-Léierpersonal ze trainéieren ass wéi follegt:
- Erstellt de Basis-Léierpersonal (Léierpersonal) Modell
- Trainéiert de Basis-Léierermodell op der Ënnerstëtzungsset
- Hutt d'Basis-Léierner Prognosen fir d'Ufro-Set zréck
- Trainéiert de Meta-Learner (Student) op de Verloscht deen aus dem Klassifikatiounsfehler ofgeleet gëtt
Variatiounen op Meta-Learning
Model-agnostesch Meta-Learning ass eng Method déi benotzt gëtt fir d'Basisgradient-baséiert Meta-Learning Technik ze vergréisseren, déi mir hei uewen ofgedeckt hunn.
Wéi mir uewen ofgedeckt hunn, benotzt e Gradient-baséiert Meta-Learner déi fréier Erfahrung, déi vun engem Enseignantmodell gewonnen gëtt sech selwer ofzestëmmen an liwweren méi genee Prognosen fir eng kleng Quantitéit vun Training Daten. Wéi och ëmmer, mat zoufälleg initialiséierter Parameteren unzefänken heescht datt de Modell nach ëmmer potenziell d'Donnéeën iwwerpasst. Fir dëst ze vermeiden, gëtt e "Model-agnostesche" Meta-Learner geschaf, andeems den Afloss vum Enseignantmodell/Basismodell limitéiert ass. Amplaz de Studentemodell direkt op de Verloscht fir d'Prognosen vum Enseignantmodell ze trainéieren, gëtt de Studentemodell op de Verloscht fir seng eege Prognosen trainéiert.
Fir all Episod vum Training e Model-agnostesche Meta-Learner:
- Eng Kopie vum aktuelle Meta-Learner Modell gëtt erstallt.
- D'Kopie gëtt mat der Hëllef vum Basismodell/Léierpersonal trainéiert.
- D'Kopie gëtt Prognosen fir d'Trainingsdaten zréck.
- Berechent Verloscht gëtt benotzt fir de Meta-Learner ze aktualiséieren.
Metresch-Léieren
Metric-Learning Approche fir e puer Shot Léiermodell ze designen typesch involvéieren der Benotzung vun Basis Distanz Metriken fir Vergläicher tëscht Echantillon an engem Datesaz ze maachen. Metresch Léieren Algorithmen wéi Cosinus Distanz gi benotzt fir Ufro Echantillon ze klassifizéieren baséiert op hirer Ähnlechkeet zu den ënnerstëtzende Proben. Fir e Bildklassifizéierer géif dat heeschen, Biller ze klassifizéieren op Basis vun der Ähnlechkeet vun iwwerflächlechen Charakteristiken. Nodeems en Ënnerstëtzungsset vu Biller ausgewielt an an en Embeddingvektor transforméiert ass, gëtt datselwecht mat der Ufro-Set gemaach an da ginn d'Wäerter fir déi zwee Vecteure verglach, mam Klassifizéierer deen d'Klass auswielt déi am nootste Wäerter zum vektoriséierte Query-Set huet .
Eng méi fortgeschratt metresch-baséiert Léisung ass de "prototypesch Netzwierk". Prototypesch Netzwierker Cluster Daten Punkten zesummen Clustering Modeller mat der metresch-baséiert Klassifikatioun uewen beschriwwen. Wéi am K-bedeit Clustering, Zentroiden fir Cluster gi berechent fir d'Klassen an den Support- an Ufro-Sets. Eng euklidesch Distanzmetrik gëtt dann ugewannt fir den Ënnerscheed tëscht de Query-Sets an den Zentroiden vum Support-Set ze bestëmmen, de Query-Set zu wéi engen Support-Set-Klassen méi no sinn.
Déi meescht aner puer-Schéiss Léieren Approche si just Variatiounen op de Kär Techniken uewen bedeckt.
Uwendungen fir Puer-Shot Learning
Puer Shot Léieren huet Uwendungen an de ville verschiddenen Ënnerberäicher vun der Datewëssenschaft, sou wéi Computervisioun, natierlech Sproochveraarbechtung, Robotik, Gesondheetsariichtung a Signalveraarbechtung.
Uwendungen fir e puer Shot Léieren am Computervisiounsraum enthalen effizient Charaktererkennung, Bildklassifizéierung, Objekterkennung, Objektverfolgung, Bewegungsprediktioun an Handlungslokaliséierung. Natierlech Sproochveraarbechtungsapplikatioune fir e puer Schéiss Léieren enthalen Iwwersetzung, Sazvervollstännegung, User Absicht Klassifikatioun, Sentimentanalyse a Multi-Label Text Klassifikatioun. Puer Shot Léieren kann am Robotik Feld benotzt ginn fir Roboter ze hëllefen iwwer Aufgaben aus nëmmen e puer Demonstratiounen ze léieren, Roboteren ze léieren wéi se Aktiounen ausféieren, bewegen an d'Welt ronderëm si navigéieren. Puer Shot Drogen Entdeckung ass en opkomende Gebitt vun der AI Gesondheetsariichtung. Schlussendlech huet e puer Shot Léieren Uwendungen fir akustesch Signalveraarbechtung, wat de Prozess ass fir Toundaten z'analyséieren, AI Systemer ze loossen Stëmmen ze klonen baséiert op nëmmen e puer Benotzer Echantillon oder Stëmmkonversioun vun engem Benotzer an en aneren.
