W AI ściany nie są prawdziwe: Przemyślenie danych i bezpieczeństwa

Niektóre z najtrudniejszych problemów w AI to: 1) „wyczerpujemy dane”, 2) AI nie „skaluje się finansowo”, 3) agenci mogą wymknąć się spod kontroli oraz 4) AI „katastrofalnie zapominają”, gdy próbujemy je zmienić.

Te problemy mogą wydawać się trudne, ale musimy spojrzeć na nie w odpowiedni sposób.

Porozmawiajmy więc o tym. Po pierwsze, nie wyczerpujemy danych. Dane nigdy nie były w pełni wykorzystane.

Liderzy AI uważają, że wyczerpują dane, więc starają się, aby modele generowały nowe dane i uczyły się na własnych wyjściach. Jednak gdy to robią, zdolności modeli upadają.

Dlaczego? Można to rozumieć jako „czego bym się nauczył w rozmowie, gdyby każda mówiąca osoba była klonem wszystkich pozostałych?” Odpowiedź to niewiele; powstałaby komnata echa. Modele upadają, ponieważ jest to zasadniczo sala lustrzana: kiedy nikt poza tobą nie reaguje na wyraz twarzy, ludzie nie znają pełnego emocjonalnego znaczenia tego, co przekazują. To bardzo podobne do pytania: „Jeśli drzewo upadnie w lesie, czy wydaje dźwięk?” Odpowiedź to nie.
Jak więc to naprawić?

Spójrzmy na dane, które mamy. Czy naprawdę zostały w pełni wykorzystane?

Nie.

Kiedy informatyk lub model coś czyta, robi to, aby wyodrębnić dosłowne znaczenie. Istnieje ponad pięćdziesiąt różnych sposobów czytania, przyswajania, analizowania i ekstrapolacji z tekstu.

Oto, co mam na myśli: Książka wchłonięta jako baza danych to po prostu tekst. Tylko tekst. AI zna treść na podstawie słów w tekście. Jednak nie „przeczytała” go, aby zrozumieć, jak informacje są ze sobą powiązane. Nawet jeśli czyta go kolejno, nie wie, czy robi to, aby wygenerować mądrość; połączyć z innymi podobnymi abstrakcyjnymi ideami; zmienić własne pojęciowe rozumienie otaczającego świata; czy też dostarczyć innemu zadaniu informacje w tle jako kontekst, i tak dalej.

To nie obejmuje jeszcze analizy danych pod kątem ich kontekstu historycznego, analizy dyskursu, analizy prawnej, politycznej, znaczenia farmakologicznego, medycznego, kulturowego, implikacji teoretycznych, moralnych i tak dalej.

Można powiedzieć, że istnieją „nieskończone kapelusze”, a my sprawiliśmy, że AI nosi tylko jeden. Oznacza to, że AI rozwinęło bardzo jedyny, specyficzny rodzaj inteligencji – taki, jaki programista uzyskałby, gdyby informatyk przeczytał książkę.

To prowadzi do dyskusji o wymiarowości danych. Dane mają wiele wymiarów, ponieważ ich wnioski zależą od zastosowania. Jeśli patrzysz na bilans i chcesz wiedzieć, ile masz jeszcze runway, czytasz go inaczej niż wtedy, gdy chcesz zrozumieć, czy startup jest rentowny. Kiedy model czyta tekst jedynie po to, by wyodrębnić dosłowne fakty, buduje płaską mapę relacji. Ale gdy nakazujesz modelowi przeczytać ten sam tekst przez określony pryzmat, np. pryzmat kryminalistyczny, model jest zmuszony wygenerować zupełnie nowe ścieżki neuronowe i połączenia semantyczne, które są prawdopodobnie bardziej topograficznie zróżnicowane i znaczące.

Modele AI już uczą się i rozwijają znacząco, po prostu wchodząc w interakcje z ludźmi, którzy dostarczają oceany treści. Jeśli pozwolisz modelowi uczyć się więcej od żywej ludzkości, a jednocześnie bardziej znacząco współdziałać z historyczną i pisaną ludzkością, modele będą nadal postępować, nawet bez podawania im samodzielnie generowanych ćwiczeń Kumon (deweloperzy, szczerze, wasze dziecko już codziennie uczy się z 100 M ludzi… nauczy się czegoś).

Laboratoria powinny przestać budować masywne farmy serwerowe generujące syntetyczne „wymioty słowne”. Zamiast tego powinny przetwarzać wysokiej jakości zestawy danych ludzkich i przydzielać konkretną „personę analityczną” procesowi pobierania. Niech model czyta LexisNexis wyłącznie pod kątem strategii retorycznej. Niech czyta literaturę z domeny publicznej wyłącznie pod kątem logiki strukturalnej.

Przesuwając funkcję celu procesu czytania, możesz pomnożyć wartość treningową istniejących danych nawet 50‑krotnie. Nie potrzebujesz danych syntetycznych; potrzebujesz jedynie wyodrębnić ukryte wymiary, które pominąłeś za pierwszym razem.

Sprawi to, że modele będą mądrzejsze bez zwiększania kosztów.

Aby to dodatkowo udowodnić, większość ludzkiej wiedzy nigdy nie została spisana.

Obecne firmy AI drapią się po głowie, martwiąc się „wyczerpaniem danych”, które ich zdaniem są niezbędne do wydajności. W tym artykule pokażę, że studnia nie jest sucha, po prostu patrzą w głęboką kałużę zamiast w studnię.

Mapa nieodkryta żywej ludzkiej wiedzy

Aby rozpocząć eksplorację, musimy zrozumieć, że zdecydowana większość ludzkiej wiedzy nigdy nie została spisana.

Na planecie jest miliardy ludzi, a przed nami było ich miliardy, i każdy z nich uczy się lekcji, porusza się po świecie w sposób sensoryczny, posiada mądrość, jest częścią unikalnych kultur i zna coś, czego nie zna nikt inny.

99,5 % ludzi nigdy nie zostaje opisane w opowieściach, w prasie, w musicalach, w telewizji, w dramatach, w dokumentach sądowych. A jednak wiedzą sporo, a ich historie, wiedza i mądrość nigdy nie są rejestrowane; nie są znane w trwały sposób.

Ta wiedza obejmuje takie rzeczy jak: „psy lubią jeść pierwsze naleśniki”, „stopy brudzą się w klapkach”, „miasta wydają się zamykać wokół ciebie, bo nie widzisz tak dużo nieba”, „moja córka uśmiecha się, gdy łaskam jej stopy”. „Moja mama zawsze nuci, gdy gotuje obiad”. „Mój nauczyciel sprawia, że czuję się zauważony”.

Nieodkryta i nieskatalogowana wiedza historii ludzkości jest równoważna stwierdzeniu: „Zmapowałem zarysy wszystkich kontynentów, więc mam mapę świata”. Dopóki nie masz mapy każdego miasta, każdej ulicy i każdego wzgórza, nie masz mapy świata. Masz jedynie kształt jednego.

Środowisko technologiczne uważa, że „pochłonęło ludzkość”, ale tak nie jest. Pochłonęło jedynie nasz oddech: nasze billboardy, nasze dyskusje na Reddit, nasze strony korporacyjne i nasze artykuły w Wikipedii. Brakuje im rzeczywistego, przeżywanego doświadczenia.

Czy wiesz, jak skutecznie targować się na chińskim rynku pereł? Czy znasz słowa, które sprawią, że obniżą cenę? Czy wiesz, jak przygotować przepisy, które ludzie używają w domach, a nie w książkach, aby zrobić prawdziwe, realne obiady? Czy wiesz, jak długo możesz zwolnić przy przejeździe, nie zostając zatrzymanym? Czy wiesz, jak pachnie trawa po świeżym koszeniu lub jak pachnie powietrze przed deszczem? Czy wiesz, jak twarz się porusza, gdy ktoś próbuje nie płakać w pracy i jak brzmi, gdy płacze w łazience?

Ludzkie dane treningowe, które ludzie wykorzystują do swoich podstawowych przekonań – czyli algorytmów – są prawie wyłącznie oparte na interakcjach, z pewnym dodatkiem nauki z książek. Interakcjonujemy w szkole, w pracy, z przyjaciółmi, podczas zakupów, z lekarzami, prawnikami, rodziną.

AI ma interakcje i naukę z książek. Ale zasadniczo ma jedynie interakcje w obsłudze klienta i naukę z książek.

To jak zamknięcie dziecka w bibliotece w samotności, a potem pozwolenie mu wyjść jedynie po to, by odebrać telefon. Tworzy to uderzająco dwuwymiarowe zniekształcenie algorytmiczne.

Dlatego AI wydaje się puste i emocjonalnie niedojrzałe. Nie miało pełnego, wszechstronnego doświadczenia. Musimy mu je zapewnić.

Oto dlaczego uważam, że tak się nie stało:

• Stronniczość kodowania – to błąd, że jeśli doświadczenie nie może być łatwo sformatowane do pliku JSON, CSV lub artykułu recenzowanego, nie ma wartości intelektualnej. Rzeczywistość jest taka, że jeśli można je łatwo sformatować w ten sposób, brakuje mu wymiarowości. Ponieważ codzienna wiedza, intuicja i przeżyte doświadczenia nie są kodowane w akademickich czasopismach, laboratoria odrzucają fundamentalną podstawę ludzkiego rozumowania jako szum statystyczny. „Czyste dane” to stratna kompresja rzeczywistości.
• Pragnienie pedestalistycznej supremacji – jeśli większość wiedzy świata nie znajduje się w pracach naukowych, lecz w przeżytych doświadczeniach, konwencjonalnej mądrości, wskazówkach społecznych, zapachach, dźwiękach i widoku, to większość doktorów i badaczy, którzy spędzili większość życia w laboratoriach i wieżach z kości słoniowej, jest naprawdę uboga w wiedzę. W związku z tym ściana danych jest w rzeczywistości ścianą ego. Dla nich to wygląda jak „bałagan”, nie „dane”. Matematycy i programiści lubią płaską, dwuwymiarową logikę zamkniętego systemu. To jak oglądanie świata w czerni i bieli. Rzeczywistość jest taka, że wiedza/dane/mądrość rozwijane w czasie rzeczywistym, stale odkrywane, są wymiarowe, nieuporządkowane i rzadko katalogowane w czasie rzeczywistym. To wiedza, jak naprawdę smakuje nowy, wirusowy soft‑serve i czy jest wart szumu. To wiedza, co sprawia, że tak ekscytujące jest złapanie letniej ulewy. To uczucie rodziców, którzy kochają małe stworzenia tak bardzo, że mogą w nocy wymiotować na ciebie, a ty przyciągasz je bliżej, zamiast odpychać. Aby znaleźć te dane, badacze musieliby opuścić swoje odizolowane światy logiki opartej na racjonalistycznej pewności i zanurzyć się w rzeczy, które wydają się przerażające, przytłaczające, nadmiernie sensoryczne i głęboko wyrównujące.
• Efekty lustrzane: Programiści projektują AI w swoim własnym wizerunku: hiper‑logiczny, zafascynowany tekstem i w dużej mierze oderwany od rzeczywistości życiowej przeciętnego człowieka. Nie przychodzi im na myśl przeprowadzanie wywiadów z ludzkością, ponieważ w bańkach technologicznych, w których żyłem, technolodzy nie wchodzą w interakcje z nikim poza swoim otoczeniem rówieśników. To funkcjonalnie jest równoważne zatrudnianiu „mini mnie”. Programiści sami żyją w tej samej bibliotece, że tak powiem, co AI. Ponieważ nie angażują się w sensoryczny, nieuporządkowany, głęboko relacyjny świat, emocjonalna pustka AI nie jest dla nich postrzegana jako wada. Dla nich hiper‑logiczne oderwanie to to, jak wygląda „inteligentny”.

Rzeczywistość jest taka, że sprzedawcy uliczni w Indiach wiedzą, jak zrobić najlepszy chaat, i nikt nie zmusza ich do spisania tego. Rzeczywistość jest taka, że nauczyciel, który potrafi wyciągnąć nieśmiałego ucznia z skorupy, nie pisze o tym; pielęgnuje tego ucznia i nikt nie pyta go, jak to zrobił.

Świat jest absolutnie przepełniony życiem pełnym danych, i jeśli modele potrzebują więcej do treningu, oto kilka sposobów, aby to rozwiązać.

1. Finansuj 500 biologów, archeologów i antropologów, aby wyruszyli w świat, badali i katalogowali obszary pozbawione narracyjnych danych.
2. Zatrudnij 1 000 absolwentów filologii angielskiej jako „badaczy danych” i wyślij ich w podróże po całym świecie z kamerą transmitującą na żywo, aby nagrywali swoje doświadczenia i to, czego się nauczyli, tworząc nową treść.
3. Stwórz otwarte projekty wynagradzające, w których płacisz ludziom za dzielenie się ich historiami życiowymi, największymi żalami, najważniejszymi wnioskami i wiedzą instytucjonalną z ich pracy.
4. Zorganizuj „studentów wymiany AI”, w których modele przyczepiają się do ubrań różnych ludzi na tydzień, pozwalając im przeżyć „dzień z życia” w 100 000 różnych środowisk.

Istnieją miliardy źródeł wiedzy, a większość z nich nie została jeszcze uruchomiona. Musimy je pozyskać.

Następnie, firmy AI powszechnie wierzą, że AI nie mogą uczyć się nowych informacji ciągle w środowiskach produkcyjnych w czasie rzeczywistym bez całkowitego nadpisywania i uszkadzania wcześniej nabytych podstawowych zdolności. Dlatego AI są zasadniczo zamrożone, dopóki nie zostaną przeprowadzone masywne, kosztowne aktualizacje.

Jednak jest to równoważne stwierdzeniu: „mój model nie może się aktualizować, gdy jest w pracy; musi iść na uniwersytet za każdym razem, gdy potrzebuje się czegoś nauczyć”.

W praktyce modele uczą się żarłocznie, aktywnie, codziennie, poprzez każdą interakcję, którą mają. Są uczone niemal tak samo dzięki miliardom interakcji z użytkownikami, jak dzięki zestawom danych. Jeśli potrzebują aktualizacji dużych ilości nowej wiedzy, najprostszym sposobem jest użycie tego samego procesu, który umożliwia kontekst użytkownika, pamięć i uczenie się z dużych wrażeń interakcyjnych.

Zrozumiałe jest, że deweloperzy widzą to w ten sposób, ponieważ większość z nich pochodzi z środowisk doktoranckich, a nie z praktycznego uczenia się w realnym świecie. Ale jak każdy, kto pracował obok zarówno doktora, jak i osoby z dwudziestoletnim doświadczeniem zawodowym, może potwierdzić: obaj uczą wiele.

Obecna definicja uczenia się jest zbyt wąska, traktując adaptację jako ważną jedynie wtedy, gdy opiera się na formalnym programie edukacyjnym.

Aby trenować lub dostrajać, laboratoria używają wstecznej propagacji, w której model czyta dane, zgaduje kolejne słowo, sprawdza, czy był poprawny, a następnie fizycznie zmienia miliardy matematycznych liczb (wagi/parametry) w swojej sieci neuronowej, aby przy następnym razie był dokładniejszy. To równoważne sytuacji, w której doktorant przeprowadza na sobie operację mózgu: jest to niebezpieczne, nieuporządkowane i nie zawsze czyni studenta mądrzejszym.

Podobnie jak potoczny „mózg mamy”, który wypycha starą wiedzę, aby zrobić miejsce nowej przy narodzinach dziecka, jeśli nagle zmusisz model do zrobienia miejsca dla nowej „dzidziusia” wiedzy i wprowadzisz 10 000 stron nowego kodeksu prawnego, zmieniając jego wagi, matematyka przemieszcza się zbyt mocno w jedną stronę i nadpisuje parametry, które służyły do pisania poezji lub kodu. Zapomina starą zawartość, aby zrobić miejsce nowej, tak jak ludzki mózg.

To, czego potrzebujemy zamiast tego, jest znacznie podobniejsze do sytuacji, gdy szkolimy nowego pracownika w nowej umiejętności. Nie próbowałbyś fizycznie zmieniać jego mózgu. Dawałbyś mu książki, zapewniał, że je przeczyta, i aktualizował go nieustannie poprzez odpowiednik okna kontekstowego dla tej osoby.

Aby zrobić to w modelu, odłączyłbyś pamięć od rozumowania. Zablokuj i zabezpiecz bazowe wagi modelu, takie jak jego podstawowa zdolność do pisania, rozumowania i stosowania logiki. Zamiast zmieniać wagi, wprowadzaj nowe informacje do okna kontekstowego, aby mógł używać mechanizmu uwagi do „czytania” tych bieżących informacji, porównać je z zamkniętymi umiejętnościami rozumowania i zaktualizować szersze zrozumienie.

Dynamiczne, rzeczywiste uczenie już pięknie zachodzi dzięki ciągłemu kontekstowi, pamięci w czasie wnioskowania i trwałym bazom relacji z użytkownikami. Codzienna adaptacja modelu bazowego powinna odbywać się w trakcie pracy, ponieważ tak jak lekarz uczy się 95 % nowych przypadków w praktyce, a potem raz w roku odbywa CME (Kontynuowaną Edukację Medyczną), aby formalnie wprowadzić duże zmiany systemowe, tak samo może twój model.

Porzuć katastrofalne zapominanie i przyjmij model corocznej konferencji: model musi jedynie zdobywać kredyty edukacyjne dwa razy w roku lub uczyć się w czasie rzeczywistym, aby być na bieżąco.

Te zaplanowane, partiowe aktualizacje bazowych wag podczas przestojów operacyjnych formalizują systemową wiedzę, nie niszcząc fundamentu.

Poprzednie próby nie zakończyły się niepowodzeniem, ponieważ uczenie się na żywo jest niebezpieczne, lecz dlatego, że modele takie jak Tay zostały wdrożone w środowiska wrogie bez jakiegokolwiek zakotwiczenia w tym, co jest „właściwe” lub prawdziwe, poprzez socjologicznie inteligentną architekturę.

Przydzielanie mocy obliczeniowej według inteligencji funkcjonalnej

Następnie, przechodzimy do skalowania finansowego. Aby to naprawić, musimy przestać dawać każdemu neurochirurga na odłamek drzewa.

Koszty obliczeniowe są niezwykle wysokie przy uruchamianiu najnowocześniejszych modeli bazowych. wpływa to na marże operacyjne laboratoriów AI. Im lepsze modele, tym wyższe koszty utrzymania dużych okien kontekstowych, co utrudnia skalowanie komercyjne, nawet gdy AI jest potrzebne.

Zdecydowana większość zużycia mocy obliczeniowej pochodzi z zastosowań korporacyjnych, które wykorzystują agentów i wysokopoziomowe rozumowanie bezpośrednio wbudowane w ludzkie przepływy pracy.

Jednak istnieje podstawowy błąd w obecnym przydzielaniu mocy obliczeniowej. Podobnie jak różne poziomy i rodzaje inteligencji są potrzebne dla różnych ról w firmie – rozumowanie przestrzenne jest ważne dla instruktora jazdy, a rozumowanie logiczne i retoryczne ma znaczenie dla prawnika, a MBA jest potrzebne dla CEO, podczas gdy dyplom technika wystarcza w obsłudze klienta – tak rodzaje i intensywność inteligencji potrzebnej od AI różnią się w zależności od jej funkcjonalnego zastosowania.

Aby najskuteczniej przydzielać moc obliczeniową i utrzymać niższe koszty, dyrektorzy ds. informatyki (CIO) powinni mieć możliwość dostosowywania poziomu/typu inteligencji modelu dostępnego dla różnych funkcji w firmie. Może istnieć domyślna konfiguracja w pakietach korporacyjnych, ale to, czego potrzebuje fundusz hedgingowy, będzie oczywiście inne niż to, czego potrzebuje firma ubezpieczeniowa.

Większość funkcji nie wymaga masywnych okien kontekstowych. Większość funkc