Какво представляват LLM халюцинациите? Причини, етична загриженост и превенция

Големите езикови модели (LLM) са системи с изкуствен интелект, способни да анализират и генерират човешки текст. Но те имат проблем – LLM халюцинират, т.е. измислят си неща. Халюцинациите на LLM накараха изследователите да се тревожат за напредъка в тази област, защото ако изследователите не могат да контролират резултата от моделите, тогава те не могат да изградят критични системи, които да служат на човечеството. Повече за това по-късно.

Като цяло LLMs използват огромни количества данни за обучение и сложни алгоритми за обучение, за да генерират реалистични резултати. В някои случаи, използва се обучение в контекст да обучите тези модели, като използвате само няколко примера. LLMs стават все по-популярни в различни области на приложение, вариращи от машинен превод, анализ на настроението, виртуална AI помощ, анотация на изображения, обработка на естествен езикИ др

Въпреки авангардната природа на LLMs, те все още са склонни към пристрастия, грешки и халюцинации. Ян Лекун, настоящ главен учен по изкуствен интелект в Meta, наскоро спомена централен дефект в LLM, който причинява халюцинации: „Големите езикови модели нямат представа за основната реалност, която езикът описва. Тези системи генерират текст, който звучи добре, граматически и семантично, но те всъщност нямат някаква цел, освен просто да задоволят статистическата последователност с подканата.

Халюцинации в LLM

Халюцинациите се отнасят до модела, генериращ резултати, които са синтактично и семантично правилни, но не са свързани с реалността и се основават на неверни предположения. Халюцинациите са едно от основни етични проблеми на LLMsи може да има вредни последици, тъй като потребителите без достатъчно познания за домейна започват да разчитат прекалено много на тези все по-убедителни езикови модели.

Определена степен на халюцинации е неизбежна при всички авторегресивни LLM. Например, модел може да припише фалшив цитат на знаменитост, който никога не е бил казван. Те могат да твърдят нещо по конкретна тема, което е фактически невярно или да цитират несъществуващи източници в научни статии, като по този начин разпространяват дезинформация.

Въпреки това, карането на AI модели да халюцинират не винаги има неблагоприятни ефекти. Например, a предполага ново проучване учените откриват „нови протеини с неограничен набор от свойства“ чрез халюциниращи LLM.

Какво причинява халюцинации на LLM?

LLM могат да халюцинират поради различни фактори, вариращи от грешки при пренастройване при кодиране и декодиране до отклонение при обучението.

Пренастройване

Пренастройването е проблем, при който AI модел пасва твърде добре на данните за обучение. Все пак не може да представи напълно целия набор от входни данни, с които може да се сблъска, т.е. не успява да обобщи своята предсказваща сила към нови, невиждани данни. Прекомерното оборудване може да доведе до това, че моделът произвежда халюцинирано съдържание.

Грешки при кодиране и декодиране

Ако има грешки в кодирането и декодирането на текст и неговите последващи представяния, това също може да доведе до генериране на безсмислени и грешни резултати от модела.

Пристрастие към обучението

Друг фактор е наличието на определени отклонения в данните за обучение, което може да накара модела да даде резултати, които представят тези отклонения, а не действителния характер на данните. Това е подобно на липсата на разнообразие в данните за обучение, което ограничава способността на модела да обобщава нови данни.

Сложната структура на LLM прави доста предизвикателство за изследователите и практикуващите AI да идентифицират, интерпретират и коригират тези основни причини за халюцинации.

Етични проблеми на халюцинациите на LLM

LLMs могат да запазят и засилят вредните пристрастия чрез халюцинации и могат на свой ред да повлияят отрицателно на потребителите и да имат пагубни социални последици. Някои от тези най-важни етични проблеми са изброени по-долу:

Дискриминиращо и токсично съдържание

Тъй като данните за LLM обучението често са пълни със социокултурни стереотипи поради присъщите пристрастия и липсата на разнообразие. По този начин LLM могат, произвеждат и засилват тези вредни идеи срещу групите в неравностойно положение в обществото.

Те могат да генерират това дискриминиращо и насаждащо омраза съдържание въз основа на раса, пол, религия, етническа принадлежност и др.

Проблеми с поверителността

LLM се обучават в масивен учебен корпус, който често включва личната информация на хората. Имало е случаи, когато такива модели имат наруши неприкосновеността на личния живот на хората. Те могат да изтекат специфична информация, като номера на социални осигуровки, домашни адреси, номера на мобилни телефони и медицински данни.

Дезинформация и дезинформация

Езиковите модели могат да произведат подобно на човека съдържание, което изглежда точно, но всъщност е невярно и не е подкрепено от емпирични доказателства. Това може да е случайно, водещо до дезинформация, или зад него може да има злонамерено намерение за съзнателно разпространение на дезинформация. Ако това не се контролира, може да създаде неблагоприятни социално-културни, икономически и политически тенденции.

Предотвратяване на LLM халюцинации

Изследователите и практиците предприемат различни подходи за справяне с проблема с халюцинациите при LLM. Те включват подобряване на разнообразието от данни за обучение, елиминиране на присъщи отклонения, използване на по-добри техники за регулиране и използване на състезателно обучение и обучение за укрепване, наред с други:

• Разработването на по-добри техники за регулиране е в основата на справянето с халюцинациите. Те помагат за предотвратяване на претоварване и други проблеми, които причиняват халюцинации.
• Увеличаването на данните може да намали честотата на халюцинациите, както се вижда от a изследване. Увеличаването на данни включва разширяване на набора за обучение чрез добавяне на произволен токен навсякъде в изречението. Той удвоява размера на тренировъчния набор и води до намаляване на честотата на халюцинациите.
• OpenAI и DeepMind на Google разработиха техника, наречена обучение с подсилване с човешка обратна връзка (RLHF), за да се справи с проблема с халюцинациите на ChatGPT. Той включва човешки оценител, който често преглежда отговорите на модела и избира най-подходящите за потребителя подкани. След това тази обратна връзка се използва за коригиране на поведението на модела. Иля Суцкевер, главен учен на OpenAI, наскоро спомена, че този подход може потенциално разрешаване на халюцинации в ChatGPT: „Доста се надявам, че като просто подобрим това последващо обучение за подсилване от стъпката на човешката обратна връзка, можем да го научим да не халюцинира“.
• Идентифицирането на халюцинирано съдържание, което да се използва като пример за бъдещо обучение, също е метод, използван за справяне с халюцинациите. А нова техника в това отношение открива халюцинации на ниво токен и прогнозира дали всеки токен в изхода е халюциниран. Той също така включва метод за неконтролирано обучение на детектори за халюцинации.

Казано по-просто, халюцинациите на LLM са нарастващо безпокойство. И въпреки усилията, все още трябва да се работи много, за да се реши проблемът. Сложността на тези модели означава, че като цяло е предизвикателство да се идентифицират и коригират правилно присъщите причини за халюцинациите.

Въпреки това, с продължаващи изследвания и разработки, смекчаването на халюцинациите при LLMs и намаляването на техните етични последици е възможно.

Ако искате да научите повече за LLM и превантивните техники, които се разработват за коригиране на халюцинациите на LLM, вижте обединявам.ai да разширите знанията си.