Kunsmatige Intelligensie
Wat is LLM Hallusinasies? Oorsake, etiese kommer en voorkoming
Groot taalmodelle (LLM's) is kunsmatige intelligensiestelsels wat in staat is om mensagtige teks te ontleed en te genereer. Maar hulle het 'n probleem â LLM's hallusineer, dit wil sĂȘ, maak goed op. LLM hallusinasies het navorsers bekommerd gemaak oor die vordering in hierdie veld, want as navorsers nie die uitkoms van die modelle kan beheer nie, kan hulle nie kritieke stelsels bou om die mensdom te dien nie. Meer hieroor later.
Oor die algemeen gebruik LLM's groot hoeveelhede opleidingsdata en komplekse leeralgoritmes om realistiese uitsette te genereer. In sommige gevalle, in-konteks leer word gebruik om hierdie modelle op te lei deur slegs 'n paar voorbeelde te gebruik. LLM's word toenemend gewild oor verskeie toepassingsareas wat wissel van masjienvertaling, sentimentanalise, virtuele KI-bystand, beeldannotasie, natuurlike taalverwerking, Ens.
Ten spyte van die nuutste aard van LLM's, is hulle steeds geneig tot vooroordele, foute en hallusinasies. Yann LeCun, huidige KI-hoofwetenskaplike by Meta, het onlangs die sentrale fout in LLM's wat hallusinasies veroorsaak: âGroot taalmodelle het geen idee van die onderliggende werklikheid wat taal beskryf nie. Daardie stelsels genereer teks wat fyn, grammatikaal en semanties klink, maar hulle het nie regtig 'n soort doel nie, behalwe om net statistiese konsekwentheid met die prompt te bevredigâ.
Hallusinasies in LLM's
Image deur Gerd Altmann van Pixabay
Hallusinasies verwys na die model wat uitsette genereer wat sintakties en semanties korrek is, maar wat van die werklikheid ontkoppel is, en gebaseer is op valse aannames. Hallusinasie is een van die groot etiese bekommernisse van LLM's, en dit kan skadelike gevolge hĂȘ aangesien gebruikers sonder voldoende domeinkennis te veel op hierdie toenemend oortuigende taalmodelle begin vertrou.
'n Sekere mate van hallusinasie is onvermydelik oor alle outoregressiewe LLM's. Byvoorbeeld, 'n model kan 'n vervalste aanhaling aan 'n bekende toeskryf wat nooit gesĂȘ is nie. Hulle kan iets oor 'n spesifieke onderwerp beweer wat feitelik verkeerd is of nie-bestaande bronne in navorsingsartikels aanhaal, en sodoende verkeerde inligting versprei.
Om KI-modelle te laat hallusineer, het egter nie altyd nadelige gevolge nie. Byvoorbeeld, a nuwe studie stel voor wetenskaplikes is besig om 'nuwe proteĂŻene met 'n onbeperkte reeks eienskappe' op te grawe deur hallusinerende LLM's.
Wat veroorsaak LLM's Hallusinasies?
LLM's kan hallusineer as gevolg van verskeie faktore, wat wissel van oorpasfoute in enkodering en dekodering tot opleidingsvooroordeel.
Oorpas
Image deur janjf93 van Pixabay
Ooraanpassing is 'n probleem waar 'n KI-model te goed by die opleidingsdata pas. Tog kan dit nie die hele reeks insette wat dit mag teëkom volledig verteenwoordig nie, dws, dit slaag nie daarin om sy voorspellende krag te veralgemeen nie na nuwe, ongesiene data. Oorpas kan daartoe lei dat die model hallusineerde inhoud produseer.
Enkoderings- en dekoderingsfoute
Image deur geralt van Pixabay
As daar foute is in die enkodering en dekodering van teks en die daaropvolgende voorstellings, kan dit ook veroorsaak dat die model onsinnige en foutiewe uitsette genereer.
Opleidingsvooroordeel
Image deur Quince Creative van Pixabay
Nog 'n faktor is die teenwoordigheid van sekere vooroordele in die opleidingsdata, wat kan veroorsaak dat die model resultate gee wat daardie vooroordele eerder as die werklike aard van die data verteenwoordig. Dit is soortgelyk aan die gebrek aan diversiteit in die opleidingsdata, wat die model se vermoë beperk om na nuwe data te veralgemeen.
Die komplekse struktuur van LLM's maak dit nogal uitdagend vir KI-navorsers en -praktisyns om hierdie onderliggende oorsake van hallusinasies te identifiseer, te interpreteer en reg te stel.
Etiese bekommernisse van LLM Hallusinasies
LLM's kan skadelike vooroordele deur hallusinasies voortduur en versterk en kan op hul beurt die gebruikers negatief beĂŻnvloed en nadelige sosiale gevolge hĂȘ. Sommige van hierdie belangrikste etiese kwessies word hieronder gelys:
Diskriminerende en toksiese inhoud
Image deur ar130405 van Pixabay
Aangesien die LLM-opleidingsdata dikwels vol sosiokulturele stereotipes is as gevolg van die inherente vooroordele en gebrek aan diversiteit. LLM's kan dus, produseer en versterk hierdie skadelike idees teen benadeelde groepe in die samelewing.
Hulle kan hierdie diskriminerende en haatlike inhoud genereer op grond van ras, geslag, godsdiens, etnisiteit, ens.
Privaatheidskwessies
Image deur JanBaba van Pixabay
LLM's word opgelei op 'n massiewe opleidingskorpus wat dikwels die persoonlike inligting van individue insluit. Daar was gevalle waar sulke modelle het mense se privaatheid geskend het. Hulle kan spesifieke inligting soos sosiale sekerheidsnommers, huisadresse, selfoonnommers en mediese besonderhede uitlek.
Verkeerde inligting en Disinformasie
Image deur geralt van Pixabay
Taalmodelle kan mensagtige inhoud produseer wat akkuraat lyk, maar in werklikheid vals is en nie deur empiriese bewyse ondersteun word nie. Dit kan toevallig wees, wat lei tot verkeerde inligting, of dit kan kwaadwillige bedoelings hĂȘ om bewustelik disinformasie te versprei. As dit ongehinderd bly, kan dit nadelige sosiaal-kulturele-ekonomies-politieke tendense skep.
Voorkoming van LLM Hallusinasies
Image deur drie 23 van Pixabay
Navorsers en praktisyns volg verskeie benaderings om die probleem van hallusinasies in LLM's aan te spreek. Dit sluit in die verbetering van die diversiteit van opleidingsdata, die uitskakeling van inherente vooroordele, die gebruik van beter regulariseringstegnieke, en die gebruik van teenstandige opleiding en versterkingsleer, onder andere:
- Die ontwikkeling van beter regulasietegnieke is die kern van die aanpak van hallusinasies. Hulle help om ooraanpassing en ander probleme wat hallusinasies veroorsaak, te voorkom.
- Datavergroting kan die frekwensie van hallusinasies verminder, soos blyk uit a navorsingstudie. Datavergroting behels die uitbreiding van die opleidingstel deur 'n ewekansige teken op enige plek in die sin by te voeg. Dit verdubbel die grootte van die oefenstel en veroorsaak 'n afname in die frekwensie van hallusinasies.
- OpenAI en Google se DeepMind het 'n tegniek ontwikkel genaamd versterkende leer met menslike terugvoer (RLHF) om ChatGPT se hallusinasieprobleem aan te pak. Dit behels 'n menslike evalueerder wat gereeld die model se antwoorde hersien en die mees geskikte vir die gebruikersaanwysings kies. Hierdie terugvoer word dan gebruik om die gedrag van die model aan te pas. Ilya Sutskever, OpenAI se hoofwetenskaplike, het onlangs genoem dat hierdie benadering kan moontlik hallusinasies in ChatGPT op te los: "Ek is nogal hoopvol dat ons dit kan leer om nie te hallusineer deur eenvoudig hierdie daaropvolgende versterking wat uit die menslike terugvoerstap geleer word te verbeter nie.".
- Om hallusineerde inhoud te identifiseer om as voorbeeld vir toekomstige opleiding te gebruik, is ook 'n metode wat gebruik word om hallusinasies aan te pak. A nuwe tegniek bespeur in hierdie verband hallusinasies op die tekenvlak en voorspel of elke teken in die uitset gehallusineerd is. Dit sluit ook 'n metode in vir die aanleer van hallusinasie-detektors sonder toesig.
Eenvoudig gestel, LLM hallusinasies is 'n groeiende kommer. En ten spyte van die pogings, moet nog baie werk gedoen word om die probleem aan te spreek. Die kompleksiteit van hierdie modelle beteken dat dit oor die algemeen uitdagend is om die inherente oorsake van hallusinasies korrek te identifiseer en reg te stel.
Met voortgesette navorsing en ontwikkeling is dit egter moontlik om hallusinasies in LLM's te versag en hul etiese gevolge te verminder.
As jy meer wil leer oor LLM's en die voorkomende tegnieke wat ontwikkel word om LLM's hallusinasies reg te stel, kyk na verenig.ai om jou kennis uit te brei.
