3 způsoby, jak udržet zastaralá fakta aktuální ve velkých jazykových modelech

Velké jazykové modely (LLM) jako GPT3, ChatGPT a BARD jsou dnes v módě. Každý má svůj názor na to, jak jsou tyto nástroje dobré nebo špatné pro společnost a co znamenají pro budoucnost AI. Google dostal hodně nedůvěry za to, že jeho nový model BARD dostal složitou otázku špatně (trochu). Na otázku: „O jakých nových objevech z vesmírného dalekohledu Jamese Webba mohu svému devítiletému dítěti říct?“ – chatbot poskytl tři odpovědi, z nichž 9 byly správné a 2 špatná. Špatný byl ten, že první snímek „exoplanety“ pořídil JWST, což bylo nesprávné. Takže v podstatě měl model ve své znalostní databázi uložený nesprávný fakt. Aby byly velké jazykové modely efektivní, potřebujeme způsob, jak tato fakta aktualizovat nebo je rozšířit o nové poznatky.

Podívejme se nejprve na to, jak jsou fakta uložena uvnitř velkého jazykového modelu (LLM). Velké jazykové modely neukládají informace a fakta v tradičním smyslu, jako jsou databáze nebo soubory. Místo toho byli vyškoleni na obrovském množství textových dat a naučili se vzorce a vztahy v těchto datech. To jim umožňuje generovat lidské odpovědi na otázky, ale nemají konkrétní úložiště pro naučené informace. Při odpovídání na otázku model využívá své školení ke generování odpovědi na základě vstupu, který obdrží. Informace a znalosti, které jazykový model má, jsou výsledkem vzorů, které se naučil v datech, na kterých byl trénován, nikoli výsledkem toho, že jsou explicitně uloženy v paměti modelu. Architektura Transformers, na které je založena většina moderních LLM, má interní kódování faktů, které se používá k zodpovězení otázky položené ve výzvě.

Pokud jsou tedy fakta uvnitř interní paměti LLM nesprávná nebo zastaralá, je třeba prostřednictvím výzvy poskytnout nové informace. Výzva je text zaslaný společnosti LLM s dotazem a podpůrnými důkazy, které mohou obsahovat nová nebo opravená fakta. Zde jsou 3 způsoby, jak k tomu přistupovat.

1. Jedním ze způsobů, jak opravit zakódovaná fakta LLM, je poskytnout nová fakta relevantní pro daný kontext pomocí externí znalostní báze. Tato znalostní báze může být volání API pro získání relevantních informací nebo vyhledávání v SQL, No-SQL nebo vektorové databázi. Pokročilejší znalosti lze získat z grafu znalostí, který ukládá datové entity a vztahy mezi nimi. V závislosti na informacích, které uživatel požaduje, lze získat relevantní kontextové informace a poskytnout je LLM jako další fakta. Tyto skutečnosti mohou být také naformátovány tak, aby vypadaly jako příklady školení ke zlepšení procesu učení. Například můžete pro model předat spoustu dvojic otázek a odpovědí, abyste se naučili, jak poskytovat odpovědi.

2. Inovativnější (a dražší) způsob, jak rozšířit LLM, je skutečné doladění pomocí tréninkových dat. Takže místo dotazování znalostní báze na konkrétní fakta, která je třeba přidat, vytváříme trénovací datovou sadu vzorkováním znalostní báze. Pomocí technik učení pod dohledem, jako je jemné ladění, bychom mohli vytvořit novou verzi LLM, která je vyškolena na těchto dodatečných znalostech. Tento proces je obvykle drahý a může stát několik tisíc dolarů, aby se vybudoval a udržoval vyladěný model v OpenAI. Samozřejmě se očekává, že náklady budou časem nižší.

3. Další možností je použít metody jako Reinforcement Learning (RL) k vyškolení agenta s lidskou zpětnou vazbou a naučit se zásady, jak odpovídat na otázky. Tato metoda byla vysoce účinná při vytváření modelů s menším půdorysem, které se osvědčují při konkrétních úkolech. Například slavný ChatGPT vydaný OpenAI byl trénován na kombinaci učení pod dohledem a RL s lidskou zpětnou vazbou.

Stručně řečeno, toto je vysoce se vyvíjející prostor, do kterého se chce každá velká společnost dostat a ukázat svou odlišnost. Brzy uvidíme hlavní nástroje LLM ve většině oblastí, jako je maloobchod, zdravotnictví a bankovnictví, které mohou reagovat lidským způsobem a porozumět nuancím jazyka. Tyto nástroje založené na LLM integrované s podnikovými daty mohou zjednodušit přístup a zpřístupnit správná data správným lidem ve správný čas.