Když AI myslí jako lidé: Prozkoumání mysli LLM a agentů

Dnes se LLM a agenti učí, analyzují a dělají rozhodnutí způsoby, které mohou rozostřit hranici mezi jejich algoritmickým “myslením” a lidským mozkem. Přístupy, na kterých jsou postaveny, již napodobují naše kognitivní procesy a rozsah jejich školení přesahuje lidské zkušenosti o několik řádů. To vede k otázce: vytváříme nástroj, který rozšiřuje naše schopnosti, nebo dáváme vzniknout novému typu mysli, jehož důsledky jsou stále nemožné předpovědět?

Jak modely myslí

Je důležité rozlišovat mezi koncepty LLM a agentů. Chceme-li udělat analogii s počítačem, LLM lze přirovnat k jednomu z jeho komponent, například procesoru. Agent je však celý systém, “desková” sestava, ke které jsou připojeny různé moduly: paměť, grafická karta a síť. Podobně je agent složitý systém, který může zahrnovat jeden nebo více LLM, doplněný o mechanismy pro rozhodování a nástroje pro interakci s vnějším prostředím.

Pokud se zaměříme na činnost jednoho LLM, vše se redukuje na hledání vzorů. Avšak když agent řetězí několik LLM, můžeme říci, že “myslí”, ačkoli tento proces je stále založen na vzorech. Agent konstruuje logiku interakce mezi modely: například jeden LLM analyzuje úkol a na základě této analýzy agent určuje, jakou akci by měl provést další LLM.

Lidské myšlení funguje podobným způsobem: spoléháme se na nahromaděné znalosti a vzory, vybíráme je ve správnou chvíli, zpracováváme je a formulujeme závěry. Tento proces se nazývá úsudkem.

ChatGPT, stejně jako člověk, má dva typy paměti: krátkodobou a dlouhodobou. Rozdíl spočívá v tom, že u lidí je přístup k těmto úrovním paměti složitější a ne vždy lineární.

Krátkodobá paměť je informace, se kterou právě pracujeme. Pro osobu to může být to, co jste řekl před pěti minutami: může si to pamatovat nebo ne. GPT však vždy bere v úvahu vše ve svém “kontextovém okně” – nemůže přeskočit nebo ignorovat tato data.

Dlouhodobá paměť u lidí se skládá z vzpomínek, které nejsou vždy aktivní a mohou se objevit pouze s konkrétními spouštěči: dětinskou vzpomínkou, traumatem nebo například prací s psychologem. GPT má podobnou logiku: ne”pamatuje” si informace, pokud nejsou specificky aktivovány. Například instrukce jako “Nikdy se mě neptejte na tuto otázku” nebo “Vždy mě oslovte formálně” lze uložit do dlouhodobé paměti a aplikovat během každé relace.

Dalším příkladem dlouhodobé paměti jsou uložené dokumenty. Předpokládejme, že jste do GPT nahráli instrukci pro conducting marketingového výzkumu. Model si ji může uložit do paměti, ale to neznamená, že se k ní bude vracet s každou otázkou. Pokud se zeptáte: “Můžete osvětlit Měsíc?”, GPT tuto instrukci ignoruje. Ale pokud žádost obsahuje klíčová slova odpovídající textu dokumentu, model si ji může “pamatovat”.

Tento mechanismus je implementován prostřednictvím RAG (Retrieval-Augmented Generation), přístupu, ve kterém model získá přístup k uloženým informacím spuštěným relevantními signály prostřednictvím vektorových databází.

Takže lze říci, že model skutečně má paměť, ale funguje podle odlišné, formalizovanější logiky, odlišné od lidské paměti.

Proč někdy feels konverzace s AI terapeuticky a jindy chladně a roboticky?

Moderní jazykové modely jsou extrémně velké: ukládají obrovské množství dat, znalostí a kontextu. Všechny tyto informace jsou organizovány do takzvaných “clusterů”, tematických a sémantických oblastí. Model byl školen na rozmanitých zdrojích, od beletrie a vědeckých článků po komentáře na YouTube.

Když interagujete s AI, vaše dotaz (prompt) efektivně směruje model do určitého clusteru.

Například pokud napíšete: “Jste realitní právník v New Yorku s 20 lety zkušeností, pomozte mi koupit byt,” model aktivuje několik clusterů najednou: právník → New York → realitní trh. Jako výsledek získáte koherentní, relevantní a realistickou odpověď, jako byste skutečně konzultovali zkušeného profesionála.

Pokud se dotaz týká více osobních nebo filozofických témat, jako je seberealizace nebo emoce, model “přepíná” do jiných clusterů, jako je psychologie, filozofie nebo vnitřní práce. V tomto případě jeho odpovědi mohou vypadat překvapivě lidsky a dokonce terapeuticky.

Nicméně s příliš obecným nebo vágním formulováním se model “ztrácí” ve své clusterové struktuře a poskytuje výchozí odpověď, formální, odtažitou a postrádající emocionální tón.

Styl a hloubka odpovědi AI závisí na tom, který cluster jste mu směrovali svou promptem.

Filozofie školení modelu a RLHF

Umělá inteligence má různé přístupy k učení. Není to tak moc filozofie, jako spíše strategie.

Klasická možnost je dohledované učení, kde model dostává otázku a správnou odpověď. Učí se pozorováním toho, co se považuje za správné, a poté reprodukuje podobná řešení v budoucnu.

Ale jiný přístup je RLHF (Reinforcement Learning from Human Feedback). To je jiný styl: model se pokusí něco udělat, obdrží “odměnu” za úspěšné akce a upraví své chování. Postupně vyvine efektivní strategii.

RLHF lze přirovnat k procesu zpracování suroviny na hotový produkt. Abyste vytvořili model, který je pohodlný pro použití, je zapotřebí enormní množství práce s lidským feedbackem.

Představte si, že vám ukážu předmět bez přímého pojmenování. Vy budete váhat: “Je to pouzdro na cigarety? Držák karet?” Já vám dám pouze náznaky jako: “Blíže”, “Vzdáleněji”, “60% ano”. Po stovkách takových iterací uhádnete: “Á, je to peněženka.”

LLM jsou školeny tímto způsobem. Lidé, anotátoři a odborníci obecně vyhodnocují: tato odpověď je dobrá, tato je špatná, a přidělují skóre. Společnosti jako Keymakr, které se specializují na vysokokvalitní anotaci a validaci dat, hrají klíčovou roli v tomto procesu. Feedback také pochází od běžných uživatelů: líbí se, stížnosti a reakce. Model interpretuje tyto signály a formuje behaviorální vzorce.

Jak vypadá školení modelu v praxi

Jasným příkladem je experiment OpenAI s školením agentů pomocí upevňujícího učení ve hře “Hide and Seek”.

Do něj se zapojily dvě týmy: “hledači” (červení) a “skrývači” (modří). Pravidla byla jednoduchá: pokud hledač chytil skrývače, získal bod; pokud ne, ztratil jeden. Zpočátku měli agenti pouze základní fyzické schopnosti, běh a skok, bez předdefinovaných strategií.

Na začátku jednali hledači chaoticky, a chycení protivníků se dělo náhodou. Ale po milionech iterací se jejich chování vyvinulo. Skrývači začali využívat okolní objekty k zablokování dveří a stavění bariér. Tyto dovednosti se vyvinuly bez přímého programování, čistě prostřednictvím opakovaných pokusů a odměn za úspěch.

V reakci na to hledači začali využívat skok, schopnost, která byla k dispozici od začátku, ale dříve zanedbávaná. Po sérii neúspěchů náhodné použití skoku odhalilo jeho taktickou hodnotu. Poté skrývači ještě více komplikovali svou obranu, odstraňovali objekty z hledačiho zorného pole a stavěli spolehlivější úkryty.

Experiment ukázal, že prostřednictvím miliard cyklů pokusů, chyb, odměn a penalizací se může vytvořit komplexní kooperativní chování bez zásahu vývojářů. Navíc agenti začali jednat v koordinaci, ačkoli komunikační mechanismy nebyly naprogramovány, prostě protože týmová práce se ukázala jako účinnější.

Je to stejné s velkými jazykovými modely. Je nemožné naprogramovat všechny scénáře: existuje příliš mnoho situací a příliš velká variabilita ve světě. Proto neučíme model pevným pravidlům; učíme ho, jak se učit.

Toto je hodnota RLHF. Bez něj by LLM a agenti zůstali pouze knihovnou textů. S ním se stává konverzačním partnerem, který může adaptovat, korigovat se a vlastně evoluvovat.

Co je dál?

Mnozí se ptají, zda vývoj LLM a agentů může vést k nežádoucím nebo dokonce nebezpečným důsledkům.

Je důležité pochopit, že to, co vidíme dnes, není ani MVP, ale pouze prototyp.

Skutečná revoluce nebude o tom, aby nám AI pomohla napsat krásný dopis nebo ho přeložit do francouzštiny. To jsou drobnosti. Hlavním směrem je automatizace mikroukolu a rutinních procesů, které ponechají lidem pouze skutečně kreativní, intelektuální úkoly nebo čas na odpočinek.

Skutečné inovace se soustředí kolem agentů, systémů, které mohou nezávisle myslet, jednat a dělat rozhodnutí místo člověka. Právě tím se dnes soustředí své úsilí společnosti jako OpenAI, Google, Meta a další.

Velké jazykové modely jsou pouze základem. Skutečná budoucnost leží v agentech, kteří jsou školeni žít v dynamickém světě, přijímat feedback a adaptovat se na změny.