Kiedy AI myśli jak ludzie: eksploracja umysłu LLM i agentów

Dziś LLM i agenci uczą się, analizują i podejmują decyzje w sposób, który może zatrzeć granicę między ich „myśleniem” a ludzkim umysłem. Podejścia, na których są zbudowane, już naśladują nasze procesy poznawcze, a skala ich szkolenia przewyższa ludzkie doświadczenie o kilka rzędów wielkości. To podnosi pytanie: czy tworzymy narzędzie, które rozszerza nasze możliwości, czy dajemy początek nowemu rodzajowi umysłu, którego konsekwencje są wciąż niemożliwe do przewidzenia?

Jak myślą modele

Ważne jest, aby odróżnić pojęcia LLM i agentów. Aby nakreślić analogię z komputerem, LLM można porównać do jednego z jego komponentów, na przykład procesora. Agent jest jednak całością, „płyta główna”, do której podłączone są różne moduły: pamięć, karta graficzna i sieć. Podobnie, agent jest złożonym systemem, który może zawierać jeden lub więcej LLM, uzupełniony o mechanizmy podejmowania decyzji i narzędzia do interakcji ze środowiskiem zewnętrznym.

Jeśli rozważymy pracę pojedynczego LLM, wszystko sprowadza się do dopasowywania wzorców. Jednak gdy agent łączy wiele LLM, możemy powiedzieć, że „myśli”, chociaż ten proces nadal opiera się na wzorcach. Agent konstruuje logikę interakcji między modelami: na przykład jeden LLM analizuje zadanie, a na podstawie tej analizy agent określa, jakie działanie powinien wykonać inny LLM.

Ludzkie myślenie działa w podobny sposób: polegamy na zgromadzonej wiedzy i wzorcach, wybieramy je w odpowiedniej chwili, przetwarzamy i formułujemy wnioski. Ten proces nazywa się rozumowaniem.

ChatGPT, podobnie jak człowiek, ma dwie rodzaje pamięci: krótkotrwałą i długotrwałą. Różnica polega na tym, że u ludzi dostęp do tych poziomów pamięci jest bardziej złożony i nie zawsze liniowy.

Pamięć krótkotrwała to informacje, z którymi pracujemy teraz. Dla osoby może to być to, co powiedziała pięć minut temu: może to pamiętać lub nie. GPT zawsze jednak bierze pod uwagę wszystko, co znajduje się w jego „oknie kontekstowym” – nie może pominąć ani zignorować tych danych.

Pamięć długotrwała u ludzi składa się z wspomnień, które nie zawsze są aktywne i mogą pojawić się tylko pod wpływem specyficznych bodźców: wspomnienie z dzieciństwa, uraz lub, na przykład, praca z psychologiem. GPT ma podobną logikę: nie „przypomina” informacji samoczynnie, chyba że jest jawnie aktywowana. Na przykład instrukcja „Nigdy nie pytaj mnie o to” lub „Zawsze zwracaj się do mnie formalnie” może być przechowywana w pamięci długotrwałej i stosowana podczas każdej sesji.

Inny przykład pamięci długotrwałej to zapisane dokumenty. Załóżmy, że przesłałeś do GPT instrukcję dotyczącą prowadzenia badań marketingowych. Model może ją przechowywać w pamięci, ale to nie oznacza, że będzie się do niej odnosił przy każdym pytaniu. Jeśli zadasz pytanie: „Czy mogę świecić latarką na Księżyc?”, GPT zignoruje instrukcję. Ale jeśli żądanie zawiera słowa kluczowe pasujące do tekstu dokumentu, model może „przypomnieć” go.

Ten mechanizm jest wdrożony za pomocą RAG (Retrieval-Augmented Generation), podejścia, w którym model zyskuje dostęp do przechowywanych informacji wywołanych przez odpowiednie sygnały za pomocą baz danych wektorowych.

Można więc powiedzieć, że model naprawdę ma pamięć, ale działa ona według innej, bardziej sformalizowanej logiki, odrębnej od ludzkiej pamięci.

Dlaczego rozmowa z AI czasem wydaje się terapeutyczna, a czasem zimna i sztuczna?

Współczesne modele językowe są niezwykle duże: przechowują ogromną ilość danych, wiedzy i kontekstu. Wszystkie te informacje są zorganizowane w tzw. „klasterach”, obszarach tematycznych i semantycznych. Model został przeszkolony na różnorodnych źródłach, od fikcji i artykułów naukowych po komentarze na YouTube.

Gdy wchodzisz w interakcję z AI, twoje zapytanie (wyzwalacz) skutecznie kieruje model do określonego klastra.

Na przykład, jeśli napiszesz: „Jesteś prawnikiem z Nowego Jorku ze 20-letnim doświadczeniem, pomóż mi kupić mieszkanie”, model aktywuje kilka klastrów jednocześnie: prawnik → Nowy Jork → nieruchomości. W efekcie otrzymujesz spójną, istotną i realistyczną odpowiedź, jakbyś naprawdę konsultował się z doświadczonym specjalistą.

Jeśli zapytanie dotyczy bardziej osobistych lub filozoficznych tematów, takich jak rozwój osobisty lub emocje, model „przełącza się” na inne klastry, takie jak psychologia, filozofia lub praca wewnętrzna. W tym przypadku jego odpowiedzi mogą wydawać się zaskakująco ludzkie i nawet terapeutyczne.

Jednak w przypadku zbyt ogólnych lub niejasnych sformułowań model „gubi się” w swojej strukturze klastrów i daje odpowiedź domyślną, formalną, oderwaną i pozbawioną emocjonalnego tonu.

Styl i głębia odpowiedzi AI zależą od tego, do którego klastra kierujesz go swoim wyzwalaczem.

Filozofia szkolenia modeli i RLHF

Sztuczna inteligencja ma różne podejścia do uczenia się. Nie jest to tak bardzo filozofia, jak strategia.

Klasyczna opcja to uczenie nadzorowane, gdzie model otrzymuje pytanie i poprawną odpowiedź. Uczy się, obserwując, co uważa się za poprawne, a następnie odtwarza podobne rozwiązania w przyszłości.

Inne podejście to RLHF (Reinforcement Learning from Human Feedback). To inny styl: model próbuje czegoś, otrzymuje „nagrodę” za udane działania i dostosowuje swoje zachowanie. Stopniowo rozwija skuteczną strategię.

RLHF można porównać do procesu przekształcania surowca w produkt gotowy. Aby stworzyć model, który jest wygodny w użyciu, wymagana jest ogromna ilość pracy z ludzką informacją zwrotną.

Wyobraź sobie, że pokazuję ci obiekt bez jego nazwy. Wahasz się: „Czy to pudełko na papierosy? Etui na karty?” Daję tylko wskazówki: „Bliżej”, „Dalej”, „60% tak”. Po setkach takich iteracji zgadniesz: „Ach, to portfel”.

LLM są szkolone w ten sposób. Ludzie, anotatorzy i specjaliści oceniają: ta odpowiedź jest dobra, ta jest zła i przydzielają punkty. Firmy takie jak Keymakr, które specjalizują się w wysokiej jakości anotacji danych i walidacji, odgrywają kluczową rolę w tym procesie. Informacja zwrotna pochodzi również od zwykłych użytkowników: polubień, skarg i reakcji. Model interpretuje te sygnały, tworząc wzorce zachowań.

Jak wygląda szkolenie modeli w praktyce

Wydajny przykład to eksperyment OpenAI z szkoleniem agentów przy użyciu uczenia wzmocnionego w grze „Hide and Seek”.

Dwa zespoły wzięły w nim udział: „szukający” (czerwoni) i „ukrywający się” (niebiescy). Zasady były proste: jeśli szukający złapali ukrywającego się, zdobywali punkt; jeśli nie, tracili jeden. Początkowo agenci mieli tylko podstawowe zdolności fizyczne, bieganie i skakanie, bez żadnych wstępnie zdefiniowanych strategii.

Na początku szukający dziali chaotycznie, a złapanie przeciwników następowało przypadkowo. Ale po milionach iteracji ich zachowanie ewoluowało. Ukrywający się zaczęli używać otoczenia, aby zablokować drzwi i zbudować bariery. Te umiejętności pojawiły się bez bezpośredniego programowania, wyłącznie dzięki powtarzającym się próbom i nagrodom za sukces.

W odpowiedzi szukający zaczęli używać skakania, możliwości dostępnej od samego początku, ale wcześniej zignorowanej. Po serii niepowodzeń losowe używanie skakania ujawniło swoją taktyczną wartość. Następnie ukrywający się skomplikowali swoją obronę, usuwając przedmioty z pola widzenia szukających i budując bardziej niezawodne schronienia.

Eksperyment pokazał, że dzięki miliardom cykli prób, błędów, nagród i kar, może powstać złożone zachowanie współpracy bez interwencji programistów. Co więcej, agenci zaczęli działać w koordynacji, nawet jeśli mechanizmy komunikacji nie były zaprogramowane, po prostu dlatego, że współpraca okazała się bardziej skuteczna.

Podobnie jest z dużymi modelami językowymi. Nie można napisać wszystkich scenariuszy: istnieje zbyt wiele sytuacji i zbyt duża zmienność na świecie. Dlatego nie uczymy modelu określonych reguł; uczymy go, jak się uczyć.

To jest wartość RLHF. Bez niej LLM i agenci pozostają tylko biblioteką tekstów. Z nią staje się partnerem rozmowy, który może dostosowywać się, poprawiać i ewoluować.

Co dalej?

Wielu ludzi zastanawia się, czy rozwój LLM i agentów może prowadzić do niepożądanych lub nawet niebezpiecznych konsekwencji.

Ważne jest, aby zrozumieć, że to, co widzimy dzisiaj, to nie nawet MVP, a tylko prototyp.

Prawdziwa rewolucja nie będzie dotyczyć pomocy w napisaniu pięknego listu lub jego przetłumaczeniu na francuski. To są rzeczy mniejszej wagi. Głównym kierunkiem jest automatyzacja mikrozadań i rutynowych procesów, pozostawiając ludziom tylko naprawdę kreatywne, intelektualne zadania lub czas na wypoczynek.

Prawdziwe innowacje koncentrują się wokół agentów, systemów, które mogą niezależnie myśleć, działać i podejmować decyzje zamiast osoby. To właśnie tam kierują swoje wysiłki dzisiaj firmy takie jak OpenAI, Google, Meta i inne.

Duże modele językowe to tylko podstawa. Prawdziwa przyszłość leży w agentach przeszkolonych do życia w dynamicznym świecie, otrzymywania informacji zwrotnej i adaptacji do zmian.