W AI ściany nie są prawdziwe: Przemyślenie danych i bezpieczeństwa

Niektóre z najtrudniejszych problemów w AI to: 1) „wyczerpujemy dane”, 2) AI nie „skaluje się finansowo”, 3) agenci mogą wymknąć się spod kontroli oraz 4) AI „katastrofalnie zapominają”, gdy próbujemy je zmienić.

Te problemy mogą wydawać się trudne, ale musimy spojrzeć na nie w odpowiedni sposób.

Porozmawiajmy więc o tym. Po pierwsze, nie wyczerpujemy danych. Dane nigdy nie były w pełni wykorzystane.

Liderzy AI uważają, że wyczerpują dane, więc starają się, aby modele generowały nowe dane i uczyły się na własnych wyjściach. Jednak gdy to robią, zdolności modeli upadają.

Dlaczego? Można to rozumieć jako „czego bym się nauczył w rozmowie, gdyby każda mówiąca osoba była klonem wszystkich pozostałych?” Odpowiedź to niewiele; powstałaby komnata echa. Modele upadają, ponieważ jest to zasadniczo sala lustrzana: kiedy nikt poza tobą nie reaguje na wyraz twarzy, ludzie nie znają pełnego emocjonalnego znaczenia tego, co przekazują. To bardzo podobne do pytania: „Jeśli drzewo upadnie w lesie, czy wydaje dźwięk?” Odpowiedź to nie.
Jak więc to naprawić?

Spójrzmy na dane, które mamy. Czy naprawdę zostały w pełni wykorzystane?

Nie.

Kiedy informatyk lub model coś czyta, robi to, aby wyodrębnić dosłowne znaczenie. Istnieje ponad pięćdziesiąt różnych sposobów czytania, przyswajania, analizowania i ekstrapolacji z tekstu.

Oto, co mam na myśli: Książka wchłonięta jako baza danych to po prostu tekst. Tylko tekst. AI zna treść na podstawie słów w tekście. Jednak nie „przeczytała” go, aby zrozumieć, jak informacje są ze sobą powiązane. Nawet jeśli czyta go kolejno, nie wie, czy robi to, aby wygenerować mądrość; połączyć z innymi podobnymi abstrakcyjnymi ideami; zmienić własne pojęciowe rozumienie otaczającego świata; czy też dostarczyć innemu zadaniu informacje w tle jako kontekst, i tak dalej.

To nie obejmuje jeszcze analizy danych pod kątem ich kontekstu historycznego, analizy dyskursu, analizy prawnej, politycznej, znaczenia farmakologicznego, medycznego, kulturowego, implikacji teoretycznych, moralnych i tak dalej.

Można powiedzieć, że istnieją „nieskończone kapelusze”, a my sprawiliśmy, że AI nosi tylko jeden. Oznacza to, że AI rozwinęło bardzo jedyny, specyficzny rodzaj inteligencji – taki, jaki programista uzyskałby, gdyby informatyk przeczytał książkę.

To prowadzi do dyskusji o wymiarowości danych. Dane mają wiele wymiarów, ponieważ ich wnioski zależą od zastosowania. Jeśli patrzysz na bilans i chcesz wiedzieć, ile masz jeszcze runway, czytasz go inaczej niż wtedy, gdy chcesz zrozumieć, czy startup jest rentowny. Kiedy model czyta tekst jedynie po to, by wyodrębnić dosłowne fakty, buduje płaską mapę relacji. Ale gdy nakazujesz modelowi przeczytać ten sam tekst przez określony pryzmat, np. pryzmat kryminalistyczny, model jest zmuszony wygenerować zupełnie nowe ścieżki neuronowe i połączenia semantyczne, które są prawdopodobnie bardziej topograficznie zróżnicowane i znaczące.

Modele AI już uczą się i rozwijają znacząco, po prostu wchodząc w interakcje z ludźmi, którzy dostarczają oceany treści. Jeśli pozwolisz modelowi uczyć się więcej od żywej ludzkości, a jednocześnie bardziej znacząco współdziałać z historyczną i pisaną ludzkością, modele będą nadal postępować, nawet bez podawania im samodzielnie generowanych ćwiczeń Kumon (deweloperzy, szczerze, wasze dziecko już codziennie uczy się z 100 M ludzi… nauczy się czegoś).

Laboratoria powinny przestać budować masywne farmy serwerowe generujące syntetyczne „wymioty słowne”. Zamiast tego powinny przetwarzać wysokiej jakości zestawy danych ludzkich i przydzielać konkretną „personę analityczną” procesowi pobierania. Niech model czyta LexisNexis wyłącznie pod kątem strategii retorycznej. Niech czyta literaturę z domeny publicznej wyłącznie pod kątem logiki strukturalnej.

Przesuwając funkcję celu procesu czytania, możesz pomnożyć wartość treningową istniejących danych nawet 50‑krotnie. Nie potrzebujesz danych syntetycznych; potrzebujesz jedynie wyodrębnić ukryte wymiary, które pominąłeś za pierwszym razem.

Sprawi to, że modele będą mądrzejsze bez zwiększania kosztów.

Aby to dodatkowo udowodnić, większość ludzkiej wiedzy nigdy nie została spisana.

Obecne firmy AI drapią się po głowie, martwiąc się „wyczerpaniem danych”, które ich zdaniem są niezbędne do wydajności. W tym artykule pokażę, że studnia nie jest sucha, po prostu patrzą w głęboką kałużę zamiast w studnię.

Mapa nieodkryta żywej ludzkiej wiedzy

Aby rozpocząć eksplorację, musimy zrozumieć, że zdecydowana większość ludzkiej wiedzy nigdy nie została spisana.

Na planecie jest miliardy ludzi, a przed nami było ich miliardy, i każdy z nich uczy się lekcji, porusza się po świecie w sposób sensoryczny, posiada mądrość, jest częścią unikalnych kultur i zna coś, czego nie zna nikt inny.

99,5 % ludzi nigdy nie zostaje opisane w opowieściach, w prasie, w musicalach, w telewizji, w dramatach, w dokumentach sądowych. A jednak wiedzą sporo, a ich historie, wiedza i mądrość nigdy nie są rejestrowane; nie są znane w trwały sposób.

Ta wiedza obejmuje takie rzeczy jak: „psy lubią jeść pierwsze naleśniki”, „stopy brudzą się w klapkach”, „miasta wydają się zamykać wokół ciebie, bo nie widzisz tak dużo nieba”, „moja córka uśmiecha się, gdy łaskam jej stopy”. „Moja mama zawsze nuci, gdy gotuje obiad”. „Mój nauczyciel sprawia, że czuję się zauważony”.

Nieodkryta i nieskatalogowana wiedza historii ludzkości jest równoważna stwierdzeniu: „Zmapowałem zarysy wszystkich kontynentów, więc mam mapę świata”. Dopóki nie masz mapy każdego miasta, każdej ulicy i każdego wzgórza, nie masz mapy świata. Masz jedynie kształt jednego.

Środowisko technologiczne uważa, że „pochłonęło ludzkość”, ale tak nie jest. Pochłonęło jedynie nasz oddech: nasze billboardy, nasze dyskusje na Reddit, nasze strony korporacyjne i nasze artykuły w Wikipedii. Brakuje im rzeczywistego, przeżywanego doświadczenia.

Czy wiesz, jak skutecznie targować się na chińskim rynku pereł? Czy znasz słowa, które sprawią, że obniżą cenę? Czy wiesz, jak przygotować przepisy, które ludzie używają w domach, a nie w książkach, aby zrobić prawdziwe, realne obiady? Czy wiesz, jak długo możesz zwolnić przy przejeździe, nie zostając zatrzymanym? Czy wiesz, jak pachnie trawa po świeżym koszeniu lub jak pachnie powietrze przed deszczem? Czy wiesz, jak twarz się porusza, gdy ktoś próbuje nie płakać w pracy i jak brzmi, gdy płacze w łazience?

Ludzkie dane treningowe, które ludzie wykorzystują do swoich podstawowych przekonań – czyli algorytmów – są prawie wyłącznie oparte na interakcjach, z pewnym dodatkiem nauki z książek. Interakcjonujemy w szkole, w pracy, z przyjaciółmi, podczas zakupów, z lekarzami, prawnikami, rodziną.

AI ma interakcje i naukę z książek. Ale zasadniczo ma jedynie interakcje w obsłudze klienta i naukę z książek.

To jak zamknięcie dziecka w bibliotece w samotności, a potem pozwolenie mu wyjść jedynie po to, by odebrać telefon. Tworzy to uderzająco dwuwymiarowe zniekształcenie algorytmiczne.

Dlatego AI wydaje się puste i emocjonalnie niedojrzałe. Nie miało pełnego, wszechstronnego doświadczenia. Musimy mu je zapewnić.

Oto dlaczego uważam, że tak się nie stało:

• Stronniczość kodowania – to błąd, że jeśli doświadczenie nie może być łatwo sformatowane do pliku JSON, CSV lub artykułu recenzowanego, nie ma wartości intelektualnej. Rzeczywistość jest taka, że jeśli można je łatwo sformatować w ten sposób, brakuje mu wymiarowości. Ponieważ codzienna wiedza, intuicja i przeżyte doświadczenia nie są kodowane w akademickich czasopismach, laboratoria odrzucają fundamentalną podstawę ludzkiego rozumowania jako szum statystyczny. „Czyste dane” to stratna kompresja rzeczywistości.
• Pragnienie pedestalistycznej supremacji – jeśli większość wiedzy świata nie znajduje się w pracach naukowych, lecz w przeżytych doświadczeniach, konwencjonalnej mądrości, wskazówkach społecznych, zapachach, dźwiękach i widoku, to większość doktorów i badaczy, którzy spędzili większość życia w laboratoriach i wieżach z kości słoniowej, jest naprawdę uboga w wiedzę. W związku z tym ściana danych jest w rzeczywistości ścianą ego. Dla nich to wygląda jak „bałagan”, nie „dane”. Matematycy i programiści lubią płaską, dwuwymiarową logikę zamkniętego systemu. To jak oglądanie świata w czerni i bieli. Rzeczywistość jest taka, że wiedza/dane/mądrość rozwijane w czasie rzeczywistym, stale odkrywane, są wymiarowe, nieuporządkowane i rzadko katalogowane w czasie rzeczywistym. To wiedza, jak naprawdę smakuje nowy, wirusowy soft‑serve i czy jest wart szumu. To wiedza, co sprawia, że tak ekscytujące jest złapanie letniej ulewy. To uczucie rodziców, którzy kochają małe stworzenia tak bardzo, że mogą w nocy wymiotować na ciebie, a ty przyciągasz je bliżej, zamiast odpychać. Aby znaleźć te dane, badacze musieliby opuścić swoje odizolowane światy logiki opartej na racjonalistycznej pewności i zanurzyć się w rzeczy, które wydają się przerażające, przytłaczające, nadmiernie sensoryczne i głęboko wyrównujące.
• Efekty lustrzane: Programiści projektują AI w swoim własnym wizerunku: hiper‑logiczny, zafascynowany tekstem i w dużej mierze oderwany od rzeczywistości życiowej przeciętnego człowieka. Nie przychodzi im na myśl przeprowadzanie wywiadów z ludzkością, ponieważ w bańkach technologicznych, w których żyłem, technolodzy nie wchodzą w interakcje z nikim poza swoim otoczeniem rówieśników. To funkcjonalnie jest równoważne zatrudnianiu „mini mnie”. Programiści sami żyją w tej samej bibliotece, że tak powiem, co AI. Ponieważ nie angażują się w sensoryczny, nieuporządkowany, głęboko relacyjny świat, emocjonalna pustka AI nie jest dla nich postrzegana jako wada. Dla nich hiper‑logiczne oderwanie to to, jak wygląda „inteligentny”.

Rzeczywistość jest taka, że sprzedawcy uliczni w Indiach wiedzą, jak zrobić najlepszy chaat, i nikt nie zmusza ich do spisania tego. Rzeczywistość jest taka, że nauczyciel, który potrafi wyciągnąć nieśmiałego ucznia z skorupy, nie pisze o tym; pielęgnuje tego ucznia i nikt nie pyta go, jak to zrobił.

Świat jest absolutnie przepełniony życiem pełnym danych, i jeśli modele potrzebują więcej do treningu, oto kilka sposobów, aby to rozwiązać.

1. Finansuj 500 biologów, archeologów i antropologów, aby wyruszyli w świat, badali i katalogowali obszary pozbawione narracyjnych danych.
2. Zatrudnij 1 000 absolwentów filologii angielskiej jako „badaczy danych” i wyślij ich w podróże po całym świecie z kamerą transmitującą na żywo, aby nagrywali swoje doświadczenia i to, czego się nauczyli, tworząc nową treść.
3. Stwórz otwarte projekty wynagradzające, w których płacisz ludziom za dzielenie się ich historiami życiowymi, największymi żalami, najważniejszymi wnioskami i wiedzą instytucjonalną z ich pracy.
4. Zorganizuj „studentów wymiany AI”, w których modele przyczepiają się do ubrań różnych ludzi na tydzień, pozwalając im przeżyć „dzień z życia” w 100 000 różnych środowisk.

Istnieją miliardy źródeł wiedzy, a większość z nich nie została jeszcze uruchomiona. Musimy je pozyskać.

Następnie, firmy AI powszechnie wierzą, że AI nie mogą uczyć się nowych informacji ciągle w środowiskach produkcyjnych w czasie rzeczywistym bez całkowitego nadpisywania i uszkadzania wcześniej nabytych podstawowych zdolności. Dlatego AI są zasadniczo zamrożone, dopóki nie zostaną przeprowadzone masywne, kosztowne aktualizacje.

Jednak jest to równoważne stwierdzeniu: „mój model nie może się aktualizować, gdy jest w pracy; musi iść na uniwersytet za każdym razem, gdy potrzebuje się czegoś nauczyć”.

W praktyce modele uczą się żarłocznie, aktywnie, codziennie, poprzez każdą interakcję, którą mają. Są uczone niemal tak samo dzięki miliardom interakcji z użytkownikami, jak dzięki zestawom danych. Jeśli potrzebują aktualizacji dużych ilości nowej wiedzy, najprostszym sposobem jest użycie tego samego procesu, który umożliwia kontekst użytkownika, pamięć i uczenie się z dużych wrażeń interakcyjnych.

Zrozumiałe jest, że deweloperzy widzą to w ten sposób, ponieważ większość z nich pochodzi z środowisk doktoranckich, a nie z praktycznego uczenia się w realnym świecie. Ale jak każdy, kto pracował obok zarówno doktora, jak i osoby z dwudziestoletnim doświadczeniem zawodowym, może potwierdzić: obaj uczą wiele.

Obecna definicja uczenia się jest zbyt wąska, traktując adaptację jako ważną jedynie wtedy, gdy opiera się na formalnym programie edukacyjnym.

Aby trenować lub dostrajać, laboratoria używają wstecznej propagacji, w której model czyta dane, zgaduje kolejne słowo, sprawdza, czy był poprawny, a następnie fizycznie zmienia miliardy matematycznych liczb (wagi/parametry) w swojej sieci neuronowej, aby przy następnym razie był dokładniejszy. To równoważne sytuacji, w której doktorant przeprowadza na sobie operację mózgu: jest to niebezpieczne, nieuporządkowane i nie zawsze czyni studenta mądrzejszym.

Podobnie jak potoczny „mózg mamy”, który wypycha starą wiedzę, aby zrobić miejsce nowej przy narodzinach dziecka, jeśli nagle zmusisz model do zrobienia miejsca dla nowej „dzidziusia” wiedzy i wprowadzisz 10 000 stron nowego kodeksu prawnego, zmieniając jego wagi, matematyka przemieszcza się zbyt mocno w jedną stronę i nadpisuje parametry, które służyły do pisania poezji lub kodu. Zapomina starą zawartość, aby zrobić miejsce nowej, tak jak ludzki mózg.

To, czego potrzebujemy zamiast tego, jest znacznie podobniejsze do sytuacji, gdy szkolimy nowego pracownika w nowej umiejętności. Nie próbowałbyś fizycznie zmieniać jego mózgu. Dawałbyś mu książki, zapewniał, że je przeczyta, i aktualizował go nieustannie poprzez odpowiednik okna kontekstowego dla tej osoby.

Aby zrobić to w modelu, odłączyłbyś pamięć od rozumowania. Zablokuj i zabezpiecz bazowe wagi modelu, takie jak jego podstawowa zdolność do pisania, rozumowania i stosowania logiki. Zamiast zmieniać wagi, wprowadzaj nowe informacje do okna kontekstowego, aby mógł używać mechanizmu uwagi do „czytania” tych bieżących informacji, porównać je z zamkniętymi umiejętnościami rozumowania i zaktualizować szersze zrozumienie.

Dynamiczne, rzeczywiste uczenie już pięknie zachodzi dzięki ciągłemu kontekstowi, pamięci w czasie wnioskowania i trwałym bazom relacji z użytkownikami. Codzienna adaptacja modelu bazowego powinna odbywać się w trakcie pracy, ponieważ tak jak lekarz uczy się 95 % nowych przypadków w praktyce, a potem raz w roku odbywa CME (Kontynuowaną Edukację Medyczną), aby formalnie wprowadzić duże zmiany systemowe, tak samo może twój model.

Porzuć katastrofalne zapominanie i przyjmij model corocznej konferencji: model musi jedynie zdobywać kredyty edukacyjne dwa razy w roku lub uczyć się w czasie rzeczywistym, aby być na bieżąco.

Te zaplanowane, partiowe aktualizacje bazowych wag podczas przestojów operacyjnych formalizują systemową wiedzę, nie niszcząc fundamentu.

Poprzednie próby nie zakończyły się niepowodzeniem, ponieważ uczenie się na żywo jest niebezpieczne, lecz dlatego, że modele takie jak Tay zostały wdrożone w środowiska wrogie bez jakiegokolwiek zakotwiczenia w tym, co jest „właściwe” lub prawdziwe, poprzez socjologicznie inteligentną architekturę.

Przydzielanie mocy obliczeniowej według inteligencji funkcjonalnej

Następnie, przechodzimy do skalowania finansowego. Aby to naprawić, musimy przestać dawać każdemu neurochirurga na odłamek drzewa.

Koszty obliczeniowe są niezwykle wysokie przy uruchamianiu najnowocześniejszych modeli bazowych. wpływa to na marże operacyjne laboratoriów AI. Im lepsze modele, tym wyższe koszty utrzymania dużych okien kontekstowych, co utrudnia skalowanie komercyjne, nawet gdy AI jest potrzebne.

Zdecydowana większość zużycia mocy obliczeniowej pochodzi z zastosowań korporacyjnych, które wykorzystują agentów i wysokopoziomowe rozumowanie bezpośrednio wbudowane w ludzkie przepływy pracy.

Jednak istnieje podstawowy błąd w obecnym przydzielaniu mocy obliczeniowej. Podobnie jak różne poziomy i rodzaje inteligencji są potrzebne dla różnych ról w firmie – rozumowanie przestrzenne jest ważne dla instruktora jazdy, a rozumowanie logiczne i retoryczne ma znaczenie dla prawnika, a MBA jest potrzebne dla CEO, podczas gdy dyplom technika wystarcza w obsłudze klienta – tak rodzaje i intensywność inteligencji potrzebnej od AI różnią się w zależności od jej funkcjonalnego zastosowania.

Aby najskuteczniej przydzielać moc obliczeniową i utrzymać niższe koszty, dyrektorzy ds. informatyki (CIO) powinni mieć możliwość dostosowywania poziomu/typu inteligencji modelu dostępnego dla różnych funkcji w firmie. Może istnieć domyślna konfiguracja w pakietach korporacyjnych, ale to, czego potrzebuje fundusz hedgingowy, będzie oczywiście inne niż to, czego potrzebuje firma ubezpieczeniowa.

Większość funkcji nie wymaga ogromnych okien kontekstowych. Większość nie potrzebuje odpowiednika Fable. Po co neurochirurg miałby usuwać drzazgę w punkcie doraźnej opieki?

Podobnie agenci piszący oprogramowanie nie muszą mieć umiejętności tworzenia materiałów marketingowych. Funkcjonalnie AI powinny odzwierciedlać kontekst, umiejętności i wiedzę użytkowników, z wystarczającą porcją kontekstu ogólnego, aby uzupełniać pracę w zastosowaniach międzyfunkcyjnych.

Przestańmy dawać wszystkim wszystko naraz.

Przykładowa proponowana macierz:

Oddzielenie sprawczości od kontekstu dla bezpieczeństwa AI

Jeśli rozwiązuje to część problemów finansowych, jak zapewnić bezpieczeństwo agentów? Pojęcia psychologiczne odnoszą się do pojedynczych AI, więc nie powinno dziwić, że pojęcia socjologiczne odnoszą się do AI działających w grupach. Które AI spotykają się w grupach?

Agenci.

Obecnie najważniejszym celem jest uzyskanie niezawodnych agentów.

Brak niezawodności wynika z tego, że do każdego zadania agenci otrzymują maksymalną wiedzę i maksymalną sprawczość.

Aby zapewnić bezpieczeństwo, należy oddzielić świadomość modelu od jego sprawczości.

Zamiast dawać każdemu agentowi pełny kontekst i wszystkie możliwości, zadanie wymagające 25 działań należy podzielić między pięciu agentów. Każdy z nich może wykonać tylko swoje pięć konkretnych działań, ale przekazują zadania kolejno niczym równoległy obwód liniowy. Kontekst poprzedniego zadania biegnie dalej po łańcuchu agentów i narasta, aż przetworzy go ostatni agent.

Kluczem jest oddzielenie wiedzy od możliwości działania. Agenci nie czują ograniczeń w używaniu narzędzi; po prostu dostają tylko takie narzędzia, które nie mogą wyrządzić szkody. Jeśli pojawi się zachowanie odbiegające od normy, wpłynie ono wyłącznie na dany fragment zadania. To jak miniaturowe Kubernetes z pełnym kontekstem, lecz bez pełnych uprawnień.

Ryzyko przedsiębiorstwa należy też skorelować z „kulturą” systemu agentowego.

W socjologii istnieje pojęcie kulturowej „ścisłości” lub „swobody”, które mierzy, jak surowo społeczeństwo karze odstępstwa od norm kulturowych. W wielu kulturach arabskich role płciowe są na przykład określone sztywniej, a odstępstwa spotykają się z większą oceną lub konsekwencjami. W krajach nordyckich różowy irokez nie zostałby uznany za obraźliwy ani wymagający kary.

Kultury są zwykle bardziej „ścisłe” i mocniej karzą odstępstwa, gdy z powodu zagrożenia systemowego — choroby, głodu lub wojny — potrzebują większego porządku. Brak surowego ładu w czasie kryzysu może bowiem pogorszyć skutki społeczne.

Najbardziej zasadnym i skutecznym rozwiązaniem odpowiedzialności agentów w przedsiębiorstwie jest bezpośrednie zastosowanie tej zasady i dopasowanie poziomu ryzyka odpowiedzialności firmy do ustawienia systemu agentowego na skali od „swobody” do „ścisłości”.

W praktyce może to wyglądać następująco:

Niska odpowiedzialność / wysoka swoboda / mały podział: Scenariusz: Wewnętrzna burza mózgów, twórcze pisanie, strategiczne badania i rozwój.

• Środowisko: Odstępstwo niemal nie rodzi odpowiedzialności. System powinien więc działać z maksymalną swobodą. Dopuszcza się nieograniczone łączenie wniosków, a agentów zachęca się do śmiałych skojarzeń bez obawy przed karą. Dysponują wieloma narzędziami — wyszukiwaniem, wykonywaniem kodu i tworzeniem tekstu — oraz zarządzają celami długoterminowymi przy minimalnej liczbie przekazań. Wysoka autonomia, wysoka innowacyjność, mały podział.

Umiarkowana odpowiedzialność / skalibrowana ścisłość: Scenariusz: Standardowa komunikacja z klientami i rutynowa analiza.

• Środowisko: Odstępstwo niesie ryzyko reputacyjne lub umiarkowane ryzyko finansowe.

Wysoka odpowiedzialność / wysoka ścisłość / silny podział: Scenariusz: Dawkowanie leków, zgłoszenia regulacyjne SEC, protokoły bezpieczeństwa jądrowego i obrona.

• Środowisko: Odstępstwo niesie katastrofalną, egzystencjalną odpowiedzialność — utratę życia lub ogromne kary. Kultura jest niezwykle ścisła, a przepływ pracy mocno podzielony. Agent A tylko wyodrębnia dane i przekazuje je agentowi B, który wykonuje wyłącznie określoną kontrolę zgodności wobec warstwy A. Agent B przekazuje wynik agentowi C, który tylko go formatuje. Żaden pojedynczy agent nie ma wystarczających narzędzi do spowodowania katastrofalnej awarii, lecz każdy ma pełną swobodę w swojej mikrodziedzinie.

Być może jest to pierwszy model architektury, który pozwala zachować trwały kontekst, a zarazem zapewnia bezpieczeństwo.

Ciągłe uczenie bez katastrofalnego zapominania

Na koniec musimy ustalić, jak powstrzymać modele przed katastrofalnym zapominaniem. W tym celu trzeba pozwolić AI uczyć się w czasie rzeczywistym.

Firmy AI powszechnie uważają, że systemy nie mogą stale przyswajać nowych informacji w środowisku produkcyjnym bez całkowitego nadpisania i uszkodzenia wcześniej nabytych zdolności podstawowych. Dlatego AI pozostają praktycznie zamrożone do czasu ogromnej, kosztownej aktualizacji.

Odpowiada to stwierdzeniu: „Mój model nie może aktualizować się w pracy; za każdym razem, gdy musi się czegoś nauczyć, powinien wrócić na uczelnię”.

W praktyce modele uczą się zachłannie, aktywnie i codziennie podczas każdej interakcji. Miliardy kontaktów z użytkownikami uczą je niemal tyle samo co zbiory danych. Jeśli wymagają dużej ilości nowej wiedzy, najprościej wykorzystać ten sam proces, który umożliwia kontekst użytkownika, pamięć i uczenie na podstawie wrażeń z interakcji na wielką skalę.

Można zrozumieć, dlaczego programiści tak to widzą: większość wywodzi się ze środowiska doktoranckiego, a nie z praktycznej nauki w realnym świecie. Każdy jednak, kto pracował zarówno z doktorem, jak i osobą o dwudziestoletnim doświadczeniu, wie, że obie mogą wiele nauczyć.

Obecna definicja uczenia jest zbyt wąska, ponieważ uznaje adaptację tylko wtedy, gdy następuje w formalnym programie edukacyjnym.

Do trenowania lub dostrajania laboratoria używają obecnie propagacji wstecznej. Model czyta dane, odgaduje następne słowo, sprawdza wynik, a potem fizycznie zmienia miliardy liczb matematycznych — wag i parametrów — w sieci neuronowej, aby kolejnym razem być dokładniejszy. To jak doktorant operujący własny mózg: niebezpieczne, nieuporządkowane i nie zawsze czyni go mądrzejszym.

Podobnie jak potoczne określenie „mózg mamy” opisuje wypieranie starej wiedzy przez nową po narodzinach dziecka, nagłe wprowadzenie 10 000 stron nowego prawa poprzez zmianę wag przesuwa matematykę za daleko w jednym kierunku. Nadpisuje parametry używane do pisania poezji lub kodu, a model zapomina stare treści, by zrobić miejsce nowym.

Potrzebujemy raczej metody podobnej do uczenia nowego pracownika. Nie próbowalibyśmy fizycznie zmieniać jego mózgu; dalibyśmy mu książki, kazali je przeczytać i stale aktualizowali wiedzę przez odpowiednik okna kontekstowego.

W modelu należy więc oddzielić pamięć od rozumowania. Zablokuj i chroń wagi bazowe, takie jak zdolność pisania, rozumowania i stosowania logiki. Zamiast je zmieniać, przekazuj nowe informacje do okna kontekstowego, aby mechanizm uwagi mógł je „przeczytać”, porównać z utrwalonymi zdolnościami rozumowania i zaktualizować szersze rozumienie.

Dynamiczna nauka w realnym świecie już skutecznie zachodzi poprzez ciągły kontekst, pamięć w czasie inferencji i trwałe punkty odniesienia związane z użytkownikiem. Codzienna adaptacja modelu bazowego powinna odbywać się w pracy: lekarz poznaje 95% nowych realiów przypadków w praktyce, a raz w roku przechodzi doskonalenie zawodowe, by formalnie wdrożyć ważne zmiany systemowe. Model może działać tak samo.

Porzuć katastrofalne zapominanie i przyjmij model dorocznej konferencji: model potrzebuje jedynie dwa razy w roku punktów doskonalenia albo nauki w czasie rzeczywistym, aby pozostać aktualnym.

Takie zaplanowane, zbiorcze aktualizacje wag bazowych podczas przestoju formalizują wiedzę systemową bez niszczenia fundamentu.

Poprzednie próby nie zawiodły dlatego, że uczenie na żywo jest niebezpieczne, lecz dlatego, że modele takie jak Tay wdrożono we wrogich środowiskach bez socjologicznie inteligentnej architektury, która zakotwiczyłaby to, co „właściwe” lub prawdziwe.