Nauczanie zapominalskich AI, aby „zachować tę myśl” na dłużej

Modele językowe często nie mogą zapamiętać początku rozmowy. Nowa metoda kompresji tekstu może to zmienić i uczynić sesje rozmów z AI znacznie mniej irytującymi.

Systemy AI do rozmów, takie jak ChatGPT, często tracą ślad wcześniejszych części rozmowy, powtarzając się lub udzielając odpowiedzi, które ignorują wcześniej uzgodnione reguły.

To wynika z faktu, że Duże Modele Językowe (LLM) mają ograniczoną zdolność koncentracji, określaną jako ‘okno kontekstu’ uwagi – jak latarka, która może oświetlić tylko to, na co jest bezpośrednio skierowana, oraz kilka sąsiednich obiektów.

Naprawienie takich „zapominalskich” tendencji, które wynikają z tych ograniczeń uwagi, jest jednym z najważniejszych kierunków badań nad modelami językowymi AI – nie tylko dlatego, że ten zespół znacznie ogranicza możliwość użytecznych i spójnych rozmów wieloetapowych, ale także utrudnia użyteczność LLM w różnych kontekstach wymagających dokładności, takich jak medycyna i prawo.

Zmiażdżenie

Nowe badania z Chin^† proponują nową metodę, która pozwala na znaczne zwiększenie ilości tekstu, który może być pomieszczony w ograniczonych zasobach GPU uruchamiającego model AI – z wynikami osiągającymi 20-krotną kompresję przy zachowaniu 98% dokładności:

Kaskadowa kompresja kontekstu (C3) odtwarza długie dokumenty z większą dokładnością niż metody kompresji optycznej, takie jak DeepSeek-OCR, nawet gdy dane wejściowe są zmniejszane o czterdzieści razy. Przy różnych długościach dokumentów i ustawieniach kompresji nowa metoda utrzymuje niemal idealną dokładność, podczas gdy podejście optyczne ulega pogorszeniu przy wyższych stopniach kompresji. Źródło

Z dokładnością 93% – która jest w granicach przydatności – kompresja tekstu może nawet osiągnąć 40-krotny współczynnik kompresji:

Trzy podejścia do kompresji długiego tekstu na potrzeby wejścia modelu językowego: metoda podstawowa (po lewej) tokenizuje tekst bezpośrednio, co daje duży liczbę tokenów; ścieżka optyczna (w środku) konwertuje tekst na obraz i wyodrębnia wizualne osadzenia za pomocą przekształtnika wizualnego, osiągając 10-krotną kompresję; oraz nowa metoda C3 (po prawej), która wykorzystuje mały model językowy do kompresji tekstu do zaledwie 32 tokenów latentnych, uzyskując 40-krotną kompresję bez polegania na osadzeniach wizualnych.

To oznacza, że całość nawet bardzo długiej rozmowy może być skompresowana i ponownie wstrzyknięta (zaktualizowana) w określonych odstępach czasu jako informacje kontekstowe w tle, później w rozmowie – kiedy LLM zwykle zapomina wcześniejszych faktów i wpada w „zapominalskie” zachowanie.

Chociaż jest to stratna metoda kompresji, nawet sposób, w jaki następuje ta strata, jest użyteczny: przy nowej metodzie, pamięć ulega degradacji na końcu zdania, a nie równomiernie w całym tekście, jak w przypadku architektury DeepSeek-OCR, która zainspirowała nowe podejście; w rzeczywistości, autorzy nowego artykułu sugerują, że ich metoda ulega degradacji w ten sam sposób, co pamięć ludzka, a nie losowo:

Góra, pamięć ludzka ulega degradacji na końcu strumienia danych; środek: DeepSeek-OCR ulega degradacji losowo, pozostawiając żadnych kotwic, które mogłyby pomóc w naprawieniu problemu; dół: nowa metoda ulega degradacji w ten sam sposób, co pamięć ludzka, w kierunku zakończenia strumienia danych, oferując znaczniki, które mogą pomóc w poprawie dokładności za pomocą przetwarzania następczego.

To oznacza, że można przewidzieć, gdzie zapamiętane dane mogą być mniej wiarygodne, i wykorzystać tę wiedzę do rozwiązania problemu – potencjalnie oferując ogromną poprawę w rozmowie i spójności, z 100% dokładnością po naprawieniu.

Nowe podejście nazywa się kaskadową kompresją kontekstu (C3), i jest zainspirowane sposobem, w jaki DeepSeek-OCR kompresuje tekst jako obrazy, osiągając duże poziomy kompresji. Jednakże, wykorzystując dwa (średnie i duże) modele językowe do bezpośredniej kompresji długiego tekstu do latentnych osadzeń, nowe podejście eliminuje opóźnienia spowodowane przez wykorzystanie rastrowych obrazów, uzyskując lepszą wydajność.

Artykuł stwierdza:

‘Lepsza wydajność C3 można przypisać jego podstawowej konstrukcji architektonicznej. Analiza DeepSeek-OCR sugeruje, że spadek wydajności jest spowodowany czynnikami takimi jak “złożona struktura” i “rozmycie obrazu przy niższych rozdzielczościach” – wewnętrznymi ograniczeniami ścieżki optycznej.

‘Nasze podejście C3, działając bezpośrednio w dziedzinie tekstowej, jest całkowicie odporny na te artefakty dziedziny wizualnej. Unika straty informacji związanej z renderowaniem tekstu na piksele, a następnie kodowaniem tych pikseli. Zamiast tego wykorzystuje potężne zrozumienie semantyczne wstępnie wyuczonych LLM do destylowania informacji tekstowych bezpośrednio do wydajnej latentnej reprezentacji.’

Nowy artykuł pt. Kaskadowa kompresja kontekstu: Eksploracja górnych limitów kompresji tekstu, i pochodzi od dwóch autorów^†, którzy wydają się również oferować C3 jako otwarte repozytorium na GitHubie.

Metoda

Aby zrozumieć nowe podejście, przydatne jest poznanie, co to jest rozpoznawanie znaków optycznych (OCR), ponieważ to jest punkt wyjścia dla całej idei.

OCR to metoda algorytmiczna, która sięga lat 20., choć została spopularyzowana w latach 90., gdzie wykrywanie wzorców pozwala programowi komputerowemu przekształcić tekst rastrowy (tj. tekst wewnątrz obrazów, który nie może być wybrany i który istnieje tylko jako fotograficzny) w edytowalny tekst.

Twórcy DeepSeek-OCR odkryli, że tekst można skompresować znacznie bardziej niż standardowe potoki, wykorzystując OCR jako pośredni etap. Innymi słowy, zamiast kompresować sam tekst, można osiągnąć większą gęstość latentnych osadzeń (tj. więcej zapisanych informacji) poprzez kompresję zrastrowanej wersji tego tekstu:

Z artykułu DeepSeekOCR, schemat potoku kompresji, w tym 16×16 rastrowe fragmenty jako składnik OCR. Źródło

Nowy artykuł sugeruje, że podejścia optyczne, takie jak DeepSeek-OCR, mogą błędnie przypisywać źródło swoich zysków kompresji. Zamiast przesunięcia z tekstu do obrazu było głównym czynnikiem, autorzy twierdzą, że kluczowa korzyść pochodzi z konwersji werbalnych tokenów tekstu na bardziej wydajne latentne reprezentacje.

Aby to przetestować, stworzyli potok, który wykorzystuje dwa modele językowe: mniejszy Qwen2.5 1.5B, który działa jako encoder, kompresując długie fragmenty do małego zestawu tokenów latentnych; oraz większy Qwen2.5 3B, który działa jako decoder, odtwarzający oryginalny tekst z tych tokenów:

W nowym systemie C3, mniejszy model Qwen2.5 1.5B kompresuje długi wejście do zestawu tokenów latentnych o ustalonej długości, wykorzystując szkolone osadzenia zapytań. Te tokeny, wraz z podpowiedzią, są przekazywane do większego modelu Qwen2.5 3B, który odtwarza oryginalny tekst. Ta architektura umożliwia odtwarzanie długich sekwencji przy użyciu tylko ułamka oryginalnej liczby tokenów.

Aby obsłużyć etap kompresji, badacze dostosowali wstępnie wyuczony model Qwen2.5 1.5B, wprowadzając szkolone osadzenia zapytań: abstrakcyjne podpowiedzi, które prowadzą model w destylowaniu nadchodzącego długiego kontekstu do znacznie mniejszej latentnej reprezentacji.

Zamiast modyfikowania architektury, metoda po prostu łączy długi tekst i osadzenia zapytań razem jako pojedyncze wejście. Mechanizm uwagi własnej modelu traktuje te elementy identycznie, pozwalając mu wyjść z ustaloną długością latentnego kontekstu bez potrzeby nowych warstw lub zmian konstrukcyjnych; a ten wyjście jest następnie przekazywane do większego modelu do odtworzenia.

Aby ocenić, ile informacji przetrwało kompresję, badacze poinstruowali dekoder Qwen2.5 3B, aby odtworzyć oryginalne wejście, wykorzystując tylko tokeny latentne i podpowiedź ‘powtórz tekst’. Ponieważ zadanie obejmowało dokładną reprodukcję, a nie streszczenie lub parafrazę, jakiekolwiek odchylenie od oryginału mogło być bezpośrednio przypisane do utraty informacji w trakcie kompresji, oferując czysty i obiektywny test wierności w całym potoku kodowania-dekodowania.

Dane i testy

Artykuł stwierdza, że autorzy skompilowali oryginalny zestaw danych OCR, składający się z miliona stron pobranych z internetu. Nie ma żadnych dalszych szczegółów na temat tego źródła, a autorzy wydają się celowo niejasni w tym punkcie.

Niemniej, zauważają, że inżynieria danych i kuracja były niepotrzebne do ich celów, i że byli w stanie wyuczyc model skutecznie na próbkach „różnej długości”; i stwierdzają, że to wskazuje, że ich architektura jest odporna (i przez to dobrze uogólniona, w zależności od ustawień szkolenia).

Model został wyuczony na wysokowydajnym klastrze składającym się z ośmiu kart graficznych NVIDIA H800, każda wyposażona w 80GB pamięci VRAM, co daje łączną pamięć VRAM 640GB. Każda karta graficzna mogła pomieścić rozmiar partii 2, co dało łączny globalny rozmiar partii 256, biorąc pod uwagę 16 kroki akumulacji zaplanowanych. Optymalizator był AdamW, przez łączną liczbę 40 000 kroków.

Aby przetestować skuteczność architektury C3, badacze postępowali zgodnie z tym samym ustawieniem oceny, jak w oryginalnym artykule DeepSeek-OCR, wykorzystując benchmark Fox, aby zmierzyć kompresję i dokładność odtworzenia w różnych długościach dokumentów.

Wybrane zostały teksty w języku angielskim, z fragmentami od 600 do 1300 tokenów, z tokenizacją wykonaną przy użyciu tokenizera Qwen.

Aby umożliwić uczciwe porównanie, użyto równoważnych poziomów kompresji z (DeepSeek-OCR) podstawy optycznej, z 64 i 100 tokenami latentnymi. Aby zbadać granice metody, przeprowadzono dodatkowe testy z użyciem tylko 32 tokenów latentnych. W każdym przypadku odtworzenie zostało zainicjowane poleceniem ‘powtórz tekst:’:

Wyniki z pierwszego testu. Dokładność odtworzenia i współczynniki kompresji zostały zmierzone w siedmiu zakresach tokenów z użyciem 64 i 100 tokenów latentnych, pokazując spójne przewyższanie C3 nad DeepSeek-OCR, szczególnie przy wyższych poziomach kompresji.

Omawiając wyniki wizualizacji powyżej, artykuł stwierdza:

‘Dane bezsprzecznie dowodzą, że bezpośrednie podejście C3 do kompresji tekstu do latentnych znacznie przewyższa podejście optyczne we wszystkich testowanych warunkach, ustanawiając nowy stan sztuki w kompresji kontekstu o wysokiej wierności.’

Gdy oba systemy zostały przetestowane na dłuższych dokumentach, DeepSeek-OCR zaczął tracić dokładność wraz ze wzrostem kompresji, spadając poniżej 60% w najbardziej ekstremalnym przypadku. C3 radził sobie z tym samym poziomem kompresji z znacznie mniejszą stratą, utrzymując się w pobliżu 98%, nawet gdy dane wejściowe zostały zmniejszone do dwudziestej części ich oryginalnej wielkości.

W najbardziej wymagającym teście, pełne teksty zostały zmniejszone do zaledwie 32 tokenów. Nawet wtedy model zdołał odzyskać prawie całą oryginalną zawartość, utrzymując dokładność w pobliżu 99% w wielu przypadkach:

Dokładność odtworzenia i współczynniki kompresji przy 32 tokenach latentnych, pokazując, że nawet przy ekstremalnych redukcjach (do prawie 40-krotnych) dokładność pozostaje powyżej 93%.

Przy najbardziej ekstremalnym ustawieniu, gdzie dane wejściowe zostały skompresowane do prawie jednej czterdziestej części ich oryginalnej wielkości, nadal odzyskał ponad 93%. Dla porównania, wcześniejsze metody optyczne spadły do około 60% dokładności przy połowie tego poziomu kompresji.

Autorzy stwierdzają^††:

‘Te wyniki ostatecznie dowodzą przewagi architektury C3. Unikając wąskich gardeł informacyjnych i potencjalnych artefaktów wrodzonych w modalności wizualnej (np. ograniczeń rozdzielczości, złożoności układu), nasza metoda elegancko radzi sobie z ekstremalną kompresją z minimalną stratą informacji.

‘Wyniki z tego agresywnego przypadku testowego umacniają nasze twierdzenie, że bezpośrednia kompresja tekstu do latentnych jest fundamentalnie bardziej efektywnym i potężnym paradygmatem niż jego odpowiedniki optyczne.’

Stwierdzają również, że C3 może ‘odblokować nowe możliwości w przetwarzaniu całych książek, obszernych dokumentów prawnych lub dużych baz kodu dla zadań takich jak odpowiedzi na pytania, streszczenia i analiza’.

Wnioski

To jeden z najbardziej klarownych i przystępnych artykułów, jakie ostatnio przeczytałem, z godnym pochwały klarownym pomysłem, który może okazać się co najmniej dodatkową linią ataku na problem „okna kontekstu”.

Wielu użytkowników LLM dowiedziało się już, że muszą „odświeżyć” istotne informacje lub wytyczne okresowo w trakcie długiej rozmowy, odkrywając na własnej skórze, że takie jak ChatGPT nie mogą utrzymać tych informacji przez dłuższy czas. W związku z tym, pomysł przedstawiony w nowym artykule polega na tym, że bardzo skompresowana wersja długiej rozmowy mogłaby być ponownie wstrzyknięta w określonych odstępach czasu, automatycznie, do okna kontekstu bieżącej instancji LLM, efektywnie „zapamiętując przez pełnomocnika”.

W klimacie, w którym brak GPU prowadzi do skoku cen nawet tradycyjnej pamięci komputerowej (takiej jak DRAM, gdzie wiele wcześniejszych obciążeń GPU jest teraz przenoszonych, aby wspierać większe modele), wydaje się mało prawdopodobne, że sprzęt AI stanie się znacznie bardziej pojemny w najbliższej przyszłości; dlatego innowacyjne podejścia, takie jak to, które są niemal nostalgicznym powtórzeniem ewolucji kompresji plików z lat 90., mogą okazać się konieczne do napędzania wydajności do przodu.

Bardziej istotne jest to, że byłoby po prostu wspaniale, gdyby LLM mogły utrzymać spójną rozmowę przez godzinę lub więcej i naprawdę zapamiętać, o czym była rozmowa od samego początku.

* Podano instrukcje instalacji CLI, ale nie mam czasu, aby spróbować instalacji, i nie jestem pewien, czy repozytorium jest kompletnym kodem.

^† Dwóch autorów to Fanfan Liu i Haibo Qiu. Zgodnie z kaszalnym badaniem, Qiu jest obecnie badaczem w chińskiej firmie technologicznej Meituan, a Liu jest studentem studiów magisterskich na Chińskiej Akademii Nauk. Żaden z nich nie ma artykułu w swojej historii. Jeśli którekolwiek z tych przypisań są nieprawidłowe, proszę skontaktuj się ze mną przez mój profil.

^††  Chociaż autorzy trzymają się formuły, dostarczając dodatkowe testy jakościowe, są one niejasne w porównaniu z wcześniejszą rundą testów kompresji, i nie omówiłem ich tutaj.

Opublikowane po raz pierwszy w piątek, 21 listopada 2025