Wat sinn LLM Halluzinatiounen? Ursaachen, ethesch Suergen, & Präventioun

Grouss Sproochmodeller (LLMs) si kënschtlech Intelligenzsystemer déi fäeg sinn mënschlech-ähnlechen Text ze analyséieren an ze generéieren. Awer si hunn e Problem - LLMs halluzinéieren, dh maachen Saachen aus. LLM Halluzinatiounen hunn d'Fuerscher besuergt iwwer de Fortschrëtt an dësem Beräich gemaach, well wann d'Fuerscher d'Resultat vun de Modeller net kontrolléieren kënnen, da kënne se net kritesch Systemer bauen fir d'Mënschheet ze déngen. Méi iwwer dëst méi spéit.

Allgemeng benotze LLMs enorm Quantitéiten un Trainingsdaten a komplexe Léieralgorithmen fir realistesch Ausgänge ze generéieren. An e puer Fäll, am Kontext Léieren benotzt gëtt dës Modeller mat nëmmen e puer Beispiller ze trainéieren. LLMs ginn ëmmer méi populär a verschiddenen Uwendungsberäicher, rangéiert vu Maschinn Iwwersetzung, Sentimentanalyse, virtuell AI Hëllef, Bildannotatioun, natierlech SproochveraarbechtungEtc.

Trotz der moderner Natur vun LLMs si se nach ëmmer ufälleg fir Biases, Feeler an Halluzinatiounen. De Yann LeCun, aktuellen Chief AI Scientist bei Meta, huet viru kuerzem den zentrale Feeler an LLMs déi Halluzinatioune verursaacht: "Grouss Sproochmodeller hu keng Ahnung vun der Basisdaten Realitéit déi d'Sprooch beschreift. Dës Systemer generéieren Text dee gutt, grammatesch a semantesch kléngt, awer si hunn net wierklech eng Aart vun Objektiv anescht wéi just statistesch Konsistenz mat der Prompt ze zefridden.

Halluzinatiounen an LLMs

Halluzinatiounen bezéien sech op de Modell deen Ausgänge generéiert déi syntaktesch a semantesch korrekt sinn awer vun der Realitéit getrennt sinn, a baséiert op falschen Viraussetzungen. Halluzinatioun ass ee vun de grouss ethesch Bedenken vun LLMs, an et kann schiedlech Konsequenzen hunn, well d'Benotzer ouni adäquat Domainwëssen ufänken op dës ëmmer méi iwwerzeegend Sproochmodeller ze vertrauen.

E gewësse Grad vun Halluzinatioun ass inévitabel iwwer all autoregressive LLMs. Zum Beispill kann e Modell e Fälschungszitat zu enger Promi zouzeschreiwen, déi ni gesot gouf. Si kënnen eppes iwwer e bestëmmten Thema behaapten dat sachlech falsch ass oder net existent Quellen a Fuerschungspabeieren zitéieren, sou datt falsch Informatioun verbreeden.

Wéi och ëmmer, AI Modeller ze halluzinéieren huet net ëmmer negativ Effekter. Zum Beispill, a nei Etude proposéiert Wëssenschaftler entdecken 'nei Proteine ​​mat enger onlimitéierter Palette vun Eegeschaften' duerch halluzinéierend LLMs.

Wat verursaacht LLMs Halluzinatiounen?

LLMs kënnen halluzinéieren wéinst verschiddene Faktoren, rangéiert vun Iwwerfittfehler beim Kodéieren an Dekodéierung bis Trainingsbias.

Iwwermass

Overfitting ass en Thema wou en AI Modell ze gutt op d'Trainingsdaten passt. Trotzdem kann et net déi ganz Palette vun Inputen déi et begéine kann, voll representéieren, d.h. et klappt seng prévisiv Kraaft ze generaliséieren op nei, onsiichtbar Donnéeën. Overfitting kann dozou féieren datt de Modell halluzinéiert Inhalter produzéiert.

Kodéierungs- an Dekodéierungsfehler

Wann et Fehler an der Kodéierung an Decodéierung vum Text a seng spéider Representatioune gëtt, kann dat och dozou féieren datt de Modell onsënneg a falsch Ausgänge generéiert.

Training Bias

En anere Faktor ass d'Präsenz vu bestëmmte Biases an den Trainingsdaten, wat de Modell verursaache kann Resultater ze ginn déi dës Biases representéieren anstatt déi aktuell Natur vun den Donnéeën. Dëst ass ähnlech wéi de Mangel u Diversitéit an den Trainingsdaten, wat d'Fäegkeet vum Modell limitéiert op nei Daten ze generaliséieren.

Déi komplex Struktur vun LLMs mécht et zimmlech Erausfuerderung fir AI Fuerscher a Praktiker fir dës ënnerierdesch Ursaachen vun Halluzinatiounen z'identifizéieren, ze interpretéieren an ze korrigéieren.

Ethesch Bedenken vun LLM Halluzinatiounen

LLMs kënne schiedlech Biases duerch Halluzinatioune perpetuéieren a verstäerken a kënnen am Tour negativ d'Benotzer beaflossen an schiedlech sozial Konsequenzen hunn. E puer vun dëse wichtegsten etheschen Bedenken sinn hei ënnen opgezielt:

Diskriminéierend an gëfteg Inhalt

Zënter dem LLM Trainingsdaten sinn dacks voller soziokulturellem Stereotypen wéinst den inherente Biases a Mangel u Diversitéit. LLMs kënnen also, produzéieren a verstäerken dës schiedlech Iddien géint benodeelegt Gruppen an der Gesellschaft.

Si kënnen dësen diskriminéierenden an haassenden Inhalt generéieren op Basis vu Rass, Geschlecht, Relioun, Ethnie, etc.

Privatsphär

LLMs ginn op engem massiven Trainingskorpus trainéiert deen dacks d'perséinlech Informatioun vun Individuen enthält. Et goufen Fäll wou esou Modeller hunn d'Privatsphär vun de Leit verletzt huet. Si kënne spezifesch Informatioune wéi Sozialversécherungsnummeren, Heemadressen, Handysnummeren a medizinesch Detailer lecken.

Desinformatioun an Desinformatioun

Sproochmodeller kënne mënschlech-ähnlech Inhalter produzéieren, dee richteg schéngt, awer tatsächlech falsch ass an net vun empiresche Beweiser ënnerstëtzt gëtt. Dëst kann zoufälleg sinn, féiert zu falsch Informatioun, oder et kann béiswëlleg Absicht hannert sech hunn fir bewosst Desinformatioun ze verbreeden. Wann dat net kontrolléiert gëtt, kann et negativ sozial-kulturell-wirtschaftlech-politesch Trends schafen.

Verhënnerung vun LLM Halluzinatiounen

Fuerscher an Praktiker huelen verschidde Approche fir de Problem vun Halluzinatiounen an LLMs unzegoen. Dëst beinhalt d'Verbesserung vun der Diversitéit vun den Trainingsdaten, d'Eliminatioun vun inherent Viraussetzungen, d'Benotzung vun bessere Reguléierungstechniken, an d'Benotzung vun adversarial Training a Verstäerkungsléieren, ënner anerem:

• Besser Reguléierungstechniken entwéckelen ass am Kär vun der Halluzinatioun unzegoen. Si hëllefen Iwwerfitting an aner Problemer ze verhënneren, déi Halluzinatioune verursaachen.
• Donnéeën Augmentatioun kann d'Frequenz vun Halluzinatioune reduzéieren, wéi beweist vun engem Fuerschungsstudie. Datevergréisserung beinhalt d'Erhéijung vum Trainingsset andeems en zoufälleg Token iwwerall am Saz bäigefüügt gëtt. Et verduebelt d'Gréisst vum Trainingsset a verursaacht eng Ofsenkung vun der Frequenz vun Halluzinatiounen.
• OpenAI a Google's DeepMind hunn eng Technik entwéckelt genannt Verstäerkung Léieren mat mënschleche Feedback (RLHF) fir dem ChatGPT säin Halluzinatiounsproblem unzegoen. Et handelt sech ëm e mënschlechen Evaluator, deen dacks d'Äntwerte vum Modell iwwerpréift an déi gëeegent fir d'Benotzer Ufroen auswielt. Dëse Feedback gëtt dann benotzt fir d'Behuele vum Modell unzepassen. Den Ilya Sutskever, OpenAI Chef Wëssenschaftler, huet viru kuerzem gesot datt dës Approche kann potenziell Halluzinatiounen am ChatGPT léisen: "Ech sinn ganz hoffnungsvoll datt andeems mir dës spéider Verstäerkung vum mënschleche Feedback Schrëtt einfach verbesseren, mir et kënne léieren net halluzinéieren.".
• Halluzinéiert Inhalt z'identifizéieren fir als Beispill fir zukünfteg Training ze benotzen ass och eng Method déi benotzt gëtt fir Halluzinatiounen unzegoen. A nei Technik an dëser Hisiicht erkennt Halluzinatiounen um Tokenniveau a virausgesot ob all Token am Ausgang halluzinéiert ass. Et enthält och eng Method fir oniwwerwaacht Léieren vun Halluzinatiounsdetektoren.

Einfach gesot, LLM Halluzinatiounen sinn eng wuessend Suerg. An trotz den Efforten muss nach vill geschafft ginn fir de Problem unzegoen. D'Komplexitéit vun dëse Modeller bedeit datt et allgemeng Erausfuerderung ass fir déi inherent Ursaachen vun Halluzinatiounen korrekt z'identifizéieren an ze korrigéieren.

Wéi och ëmmer, mat weiderer Fuerschung an Entwécklung, Halluzinatioune bei LLMs reduzéieren an hir ethesch Konsequenzen reduzéieren ass méiglech.

Wann Dir méi iwwer LLMs léiere wëllt an d'präventiv Techniken, déi entwéckelt gi fir LLMs Halluzinatiounen ze korrigéieren, kuckt w.e.g. unite.ai fir Äert Wëssen auszebauen.