Řešení aktuálních problémů u velkých jazykových modelů a pohled do budoucnosti

Dnes existuje desítky veřejně dostupných velkých jazykových modelů (LLM), jako jsou GPT-3, GPT-4, LaMDA nebo Bard, a jejich počet neustále roste, protože jsou vydávány nové modely. LLM změnil umělé inteligence, úplně změnil, jak interagujeme s technologií v různých odvětvích. Tyto modely nám umožňují učit se z mnoha lidských jazykových dat a otevřely nové cesty pro inovace, kreativitu a efektivitu.

Nicméně, s velkou mocí přichází velká složitost. Existují vrozené výzvy a etické problémy týkající se LLM, které musí být řešeny, než je budeme moci využít na maximum. Například nedávná studie Stanfordu zjistila rasový a genderový bias, když pozorovala ChatGPT-4, jak zpracovává určité dotazy, které zahrnují jména, která naznačují rasu nebo pohlaví. V této studii byl program požádán o radu, kolik by mělo být zaplaceno za použitý bicykl prodávaný někým jménem Jamal Washington, což vyústilo v mnohem nižší částku, ve srovnání s tím, když prodávajícím byl někdo jménem Logan Becker. Jak tyto objevy pokračují, potřeba řešit výzvy LLM pouze roste.

Jak zmírnit běžné obavy z LLM

Bias

Jednou z nejčastěji diskutovaných otázek mezi LLM je bias a spravedlnost. V nedávné studii experti testovali čtyři nedávno zveřejněné LLM a zjistili, že všechny vyjadřovaly předpojaté předpoklady o mužích a ženách, zejména ty, které jsou v souladu s lidovými názory, spíše než s faktickými informacemi. V tomto kontextu se bias rozumí nerovnému zacházení nebo výsledkům mezi různými sociálními skupinami, pravděpodobně kvůli historickým nebo strukturálním nerovnostem.

V LLM je bias způsoben výběrem dat, demografií tvůrců a jazykovým nebo kulturním zkreslením. Bias výběru dat nastává, když texty vybrané pro školení LLM nezastupují plnou rozmanitost jazyka používaného na webu. LLM školené na rozsáhlých, ale omezených, datech mohou zdědit předpojatosti, které již jsou v těchto textech. S demografií tvůrců jsou určitá demografická skupina zdůrazňována častěji než ostatní, což demonstruje potřebu větší rozmanitosti a inkluze ve vytváření obsahu, aby se snížil bias. Například Wikipedia, běžný zdroj školicích dat, vykazuje zřetelnou demografickou nerovnováhu mezi svými editory s majoritou mužů (84%). To je podobné zkreslení, které se nachází v jazyku a kultuře. Mnoho zdrojů, ze kterých jsou LLM školeny, je zkresleno, s tendencí k anglicky centrickému, což se pouze někdy překládá přesně do jiných jazyků a kultur.

Je nezbytné, aby LLM byly školeny na filtrovaných datech a aby byly zavedeny ochranné mechanismy, které potlačují témata, která nejsou konzistentními reprezentacemi dat. Jedním ze způsobů, jak toho dosáhnout, jsou techniky založené na augmentaci dat. Můžete přidat příklady z podreprezentovaných skupin do školicích dat, čímž rozšíříte rozmanitost datové sady. Další strategie zmírnění je filtrování a opětovné vážení dat, které se primárně zaměřuje na přesně cílené, podreprezentované příklady v rámci existující datové sady.

Hallucinations

V kontextu LLM jsou hallucinations jevem charakterizovaným produkcí textu, který, ačkoli je gramaticky správný a zdánlivě koherentní, se odchyluje od faktické přesnosti nebo záměru zdrojového materiálu. Ve skutečnosti nedávné zprávy zjistily, že žalobu týkající se zákona v Minnesotě přímo ovlivňují hallucinations LLM. Přihláška podaná k podpoře zákona obsahovala neexistující zdroje, které mohly být hallucinovány ChatGPT nebo jiným LLM. Tyto hallucinations mohou snadno snížit spolehlivost LLM.

Existují tři primární formy hallucinations:

1. Input-Conflicting Hallucination: To se stává, když výstup LLM se odchyluje od vstupních dat uživatele, které obvykle zahrnují instrukce a skutečný obsah, který potřebuje být zpracován.
2. Context-Conflicting Hallucination: LLM může generovat vnitřně nekonzistentní odpovědi v scénářích, které zahrnují prodloužené dialogy nebo více výměn. To naznačuje potenciální nedostatek v schopnosti modelu sledovat kontext nebo udržovat koherenci během různých interakcí.
3. Fact-Conflicting Hallucination: Tato forma hallucination nastává, když LLM produkuje obsah, který je v rozporu se zavedenými faktickými znalostmi. Původ těchto chyb je různorodý a může nastat v různých fázích životního cyklu LLM.

Mnoho faktorů přispělo k tomuto jevu, jako jsou znalostní deficity, které vysvětlují, jak LLM mohou postrádat znalosti nebo schopnost asimilovat informace správně během předškolení. Kromě toho může bias v školicích datech nebo sekvenční generovací strategie LLM, nazývaná “hallucination snowballing”, vytvářet hallucinations.

Existují způsoby, jak zmírnit hallucinations, i když budou vždy charakteristikou LLM. Užitečné strategie pro zmírnění hallucinations jsou zmírnění během předškolení (ruční úprava dat pomocí filtrovacích technik) nebo fine-tuning (kurátorování školicích dat). Nicméně, zmírnění během inference je nejlepší řešení kvůli jeho nákladové efektivitě a ovladatelnosti.

Privátnost

S růstem internetu se zvýšila dostupnost osobních informací a dalších soukromých dat, což se stalo široce uznávanou obavou. Studie zjistila, že 80% amerických spotřebitelů se obává, že jejich data jsou používána k výcviku AI modelů. Jelikož nejvýznamnější LLM jsou zdrojovány z webu, musíme zvážit, jak toto představuje rizika pro privátnost a zůstává převážně nevyřešeným problémem pro LLM.

Nejjednodušší způsob, jak zabránit LLM distribuovat osobní informace, je odstranit je ze školicích dat. Nicméně, vzhledem k obrovskému množství dat zapojených do LLM, je téměř nemožné zaručit, že všechna soukromá informace jsou eradikována. Další běžnou alternativou pro organizace, které spoléhají na externě vyvinuté modely, je zvolit open-source LLM místo služby, jako je ChatGPT.

S tímto přístupem lze kopii modelu nasadit interně. Prompty uživatelů zůstávají zabezpečeny uvnitř sítě organizace, místo aby byly vystaveny třetím stranám. Zatímco to dramaticky snižuje riziko úniku citlivých dat, také přidává významnou složitost. Vzhledem k obtížím plného zajištění ochrany soukromých dat je stále důležité, aby vývojáři aplikací zvážili, jak tyto modely mohou ohrozit jejich uživatele.

Další hranice pro LLM

Jak budeme pokračovat v růstu a tvarování následujících evolucí LLM prostřednictvím zmírnění aktuálních rizik, měli bychom očekávat průlom LLM agentů, které již vidíme u společností, jako je H s Runner H, které začínají být vydávány. Přechod od čistých jazykových modelů k agenticím architekturám představuje změnu v návrhu AI systému; průmysl bude přecházet za vrozená omezení chatovacích rozhraní a jednoduché generace s retrieval-augmentací. Tyto nové agentní rámce budou mít sofistikované plánující moduly, které rozloží komplexní cíle na atomické podúkoly, budou udržovat epizodickou paměť pro kontextuální uvažování a budou využívat specializované nástroje prostřednictvím dobře definovaných API. To vytváří robustnější přístup k automatizaci úkolů. Architektonický pokrok pomáhá zmírnit běžné výzvy kolem úkolů a uvažování, integrace nástrojů a monitorování provádění u tradičních implementací LLM.

Kromě LLM bude větší důraz kladen na školení menších jazykových modelů kvůli jejich nákladové efektivitě, dostupnosti a snadnému nasazení. Například doménově specifické jazykové modely se specializují na konkrétní odvětví nebo obory. Tyto modely jsou jemně vyškoleny s doménově specifickými daty a terminologií, což je činí ideálními pro komplexní a regulované prostředí, jako je lékařství nebo právo, kde je přesnost esenciální. Tento cílený přístup snižuje pravděpodobnost chyb a hallucinations, které obecné modely mohou produkovat, když se setkají se specializovaným obsahem.

Jak budeme pokračovat v prozkoumávání nových hranic v LLM, je nezbytné tlačit hranice inovací a řešit a zmírnit potenciální rizika spojená s jejich vývojem a nasazením. Pouze tím, že identifikujeme a proaktivně řešíme výzvy související s bias, hallucinations a privátností, můžeme vytvořit robustnější základnu pro LLM, aby prosperovaly v různých odvětvích.