Mik azok az LLM hallucinációk? Okok, etikai aggályok és megelőzés

A nagy nyelvi modellek (LLM) olyan mesterséges intelligencia rendszerek, amelyek képesek emberszerű szövegek elemzésére és generálására. De van egy problémájuk – Az LLM-ek hallucinálnak, azaz kitalálnak dolgokat. Az LLM-hallucinációk aggodalomra adták a kutatókat az ezen a területen elért haladás miatt, mert ha a kutatók nem tudják ellenőrizni a modellek kimenetelét, akkor nem tudnak kritikus rendszereket felépíteni az emberiség szolgálatára. Erről később.

Általában az LLM-ek hatalmas mennyiségű tanítási adatot és összetett tanulási algoritmusokat használnak a valósághű kimenetek előállításához. Egyes esetekben, kontextusban tanulást alkalmaznak hogy ezeket a modelleket csak néhány példa segítségével tanítsuk meg. Az LLM-ek egyre népszerűbbek a különböző alkalmazási területeken, kezdve a gépi fordításon, a hangulatelemzésen, a virtuális mesterségesintelligencia-támogatáson, a képannotáción, természetes nyelvfeldolgozásStb

Az LLM-ek élvonalbeli természete ellenére továbbra is hajlamosak az elfogultságra, a hibákra és a hallucinációkra. Yann LeCun, a Meta jelenlegi vezető mesterséges intelligencia tudósa nemrégiben megemlítette a Az LLM-ek központi hibája, amely hallucinációkat okoz: „A nagy nyelvi modelleknek fogalmuk sincs a mögöttes valóságról, amit a nyelv leír. Ezek a rendszerek olyan szöveget hoznak létre, amely jól hangzik, nyelvtanilag és szemantikailag, de valójában nincs más céljuk, mint a statisztikai konzisztencia kielégítése a felszólítással.

Hallucinációk az LLM-ekben

A hallucinációk azt a modellt jelentik, amely szintaktikailag és szemantikailag helyes, de a valóságtól elszakadt és hamis feltételezéseken alapuló kimeneteket generál. A hallucináció az egyik az LLM-ek fő etikai aggályai, és ennek káros következményei lehetnek, mivel a megfelelő tartományismerettel nem rendelkező felhasználók túlzottan támaszkodnak ezekre az egyre meggyőzőbb nyelvi modellekre.

Egy bizonyos fokú hallucináció elkerülhetetlen minden autoregresszív LLM-nél. Például egy modell hamis idézetet tulajdoníthat egy hírességnek, amelyet soha nem mondtak el. Előfordulhat, hogy egy adott témával kapcsolatban állítanak valamit, ami tényszerűen téves, vagy nem létező forrásokra hivatkoznak a kutatási cikkekben, így téves információkat terjesztenek.

Az AI-modellek hallucinációra késztetése azonban nem mindig jár káros hatással. Például a új tanulmány szerint a tudósok hallucináló LLM-eken keresztül „új fehérjéket tárnak fel korlátlan számú tulajdonsággal”.

Mi okozza az LLM hallucinációit?

Az LLM-ek különféle tényezők miatt hallucinálhatnak, a kódolási és dekódolási túlillesztési hibáktól a képzési torzításig.

Túlfeszítés

A túlillesztés olyan probléma, amikor egy AI-modell túl jól illeszkedik a képzési adatokhoz. Ennek ellenére nem tudja teljes mértékben reprezentálni az esetlegesen előforduló bemenetek teljes körét, pl. nem képes általánosítani előrejelző erejét új, nem látott adatokhoz. A túlillesztés oda vezethet, hogy a modell hallucinált tartalmat produkál.

Kódolási és dekódolási hibák

Ha hibák vannak a szöveg és az azt követő megjelenítések kódolásában és dekódolásában, ez azt is okozhatja, hogy a modell értelmetlen és hibás kimeneteket generál.

Képzési elfogultság

Egy másik tényező bizonyos torzítások jelenléte a betanítási adatokban, amelyek hatására a modell olyan eredményeket ad, amelyek inkább ezeket a torzításokat reprezentálják, nem pedig az adatok tényleges természetét. Ez hasonló a képzési adatok diverzitásának hiányához, ami korlátozza a modell azon képességét, hogy új adatokra általánosítson.

Az LLM-ek összetett felépítése meglehetősen nagy kihívást jelent a mesterséges intelligencia kutatóinak és gyakorlóinak a hallucinációk mögöttes okainak azonosítása, értelmezése és kijavítása.

Az LLM-hallucinációk etikai aggályai

Az LLM-ek hallucinációk révén állandósíthatják és felerősíthetik a káros torzításokat, és viszont negatív hatással lehetnek a felhasználókra, és káros társadalmi következményekkel járhatnak. Az alábbiakban felsorolunk néhányat a legfontosabb etikai aggályok közül:

Megkülönböztető és mérgező tartalom

Mivel az LLM képzési adatok gyakran tele vannak szociokulturális sztereotípiákkal a benne rejlő torzítások és a sokszínűség hiánya miatt. Az LLM-ek így előállítani és megerősíteni ezeket a káros ötleteket a társadalom hátrányos helyzetű csoportjaival szemben.

Létrehozhatják ezt a megkülönböztető és gyűlöletkeltő tartalmat faji, nemi, vallási, etnikai stb. alapján.

Adatvédelmi problémák

Az LLM-eket egy hatalmas képzési korpuszon képezik, amely gyakran tartalmazza az egyének személyes adatait. Voltak olyan esetek, amikor ilyen modellek megsértette az emberek magánéletét. Kiszivárogtathatnak konkrét információkat, például társadalombiztosítási számokat, lakcímeket, mobiltelefonszámokat és egészségügyi adatokat.

Félretájékoztatás és dezinformáció

A nyelvi modellek olyan emberszerű tartalmat hozhatnak létre, amely pontosnak tűnik, de valójában hamis, és nem támasztja alá empirikus bizonyítékok. Ez lehet véletlen, ami félretájékoztatáshoz vezethet, vagy rosszindulatú szándék állhat mögötte félretájékoztatás tudatos terjesztésére. Ha ez nem sikerül, az kedvezőtlen társadalmi-kulturális-gazdasági-politikai trendeket idézhet elő.

LLM hallucinációk megelőzése

A kutatók és a gyakorlati szakemberek különféle megközelítéseket alkalmaznak a hallucinációk problémájának megoldására az LLM-ekben. Ezek közé tartozik többek között a képzési adatok sokféleségének javítása, a benne rejlő torzítások kiküszöbölése, jobb rendszerezési technikák alkalmazása, valamint a kontradiktórius képzés és a megerősítő tanulás alkalmazása:

• A jobb rendszeresítő technikák kidolgozása a hallucinációk kezelésének középpontjában áll. Segítenek megelőzni a túlillesztést és egyéb hallucinációkat okozó problémákat.
• Az adatnövelés csökkentheti a hallucinációk gyakoriságát, amint azt a kutatás. Az adatbővítés magában foglalja a betanítási halmaz bővítését egy véletlenszerű token hozzáadásával a mondat bármely pontján. Megduplázza az edzéskészlet méretét, és csökkenti a hallucinációk gyakoriságát.
• Az OpenAI és a Google DeepMind kifejlesztett egy technikát, az úgynevezett megerősítő tanulás emberi visszajelzéssel (RLHF) a ChatGPT hallucinációs problémájának megoldására. Ez egy emberi értékelőt foglal magában, aki gyakran áttekinti a modell válaszait, és kiválasztja a legmegfelelőbbet a felhasználói utasításoknak. Ezt a visszacsatolást használjuk fel a modell viselkedésének beállítására. Ilya Sutskever, az OpenAI vezető tudósa nemrégiben említette, hogy ez a megközelítés képes potenciálisan megoldja a hallucinációkat a ChatGPT-ben: „Bízom benne, hogy az emberi visszacsatolási lépésből következő megerősítő tanulás egyszerű javításával megtaníthatjuk arra, hogy ne hallucináljon.”.
• A hallucinált tartalom azonosítása a jövőbeli képzésben példaként használható módszer a hallucinációk leküzdésére is. A újszerű technika ebben a tekintetben észleli a hallucinációkat a token szintjén, és megjósolja, hogy a kimenetben minden token hallucinált-e. Tartalmaz egy módszert is a hallucinációs detektorok felügyelet nélküli tanulására.

Egyszerűen fogalmazva, az LLM-hallucinációk egyre nagyobb aggodalomra adnak okot. És az erőfeszítések ellenére még sok munkát kell végezni a probléma megoldásán. E modellek összetettsége azt jelenti, hogy általában nehéz a hallucinációk eredendő okainak helyes azonosítása és orvoslása.

Folyamatos kutatással és fejlesztéssel azonban lehetséges a hallucinációk enyhítése az LLM-ekben és etikai következményeik csökkentése.

Ha többet szeretne megtudni az LLM-ekről és az LLM-ek hallucinációinak orvoslására kifejlesztett megelőző technikákról, nézze meg egyesülj.ai tudásának bővítésére.