Najlepsze modele AI mają trudności z długimi dokumentami

Nowe badanie przeprowadzone przez badaczy z LMU Monachium, Centrum Sztucznej Inteligencji w Monachium i Adobe Research (ADBE ) ujawniło słabość w modelach językowych AI: mają one trudności ze zrozumieniem długich dokumentów w sposób, który może być zaskakujący. Wyniki badań pokazują, że nawet najbardziej zaawansowane modele AI mają trudności z łączeniem informacji, gdy nie mogą polegać na prostym dopasowaniu słów.

Ukryty problem z umiejętnościami czytania AI

Wyobraź sobie, że próbujesz znaleźć konkretny szczegół w długim artykule naukowym. Możesz przeskanować go, tworząc mentalne połączenia między różnymi sekcjami, aby połączyć informacje, których potrzebujesz. Większość modeli AI działa inaczej. Zamiast tego często polegają ciężko na znajdowaniu dokładnych dopasowań słów, podobnie jak przy użyciu kombinacji klawiszowej Ctrl+F na komputerze.

Zespół badawczy opracował nowy benchmark o nazwie NOLIMA (No Literal Matching), aby przetestować różne modele AI. Wyniki pokazały, że gdy modele AI mają do czynienia z tekstami dłuższymi niż 2 000 słów, ich wydajność spada dramatycznie. Gdy osiągają 32 000 słów – czyli długość krótkiej książki – większość modeli działa na połowie swojej normalnej wydajności. Dotyczy to również testowania głównych modeli, takich jak GPT-4o, Gemini 1.5 Pro i Llama 3.3 70B.

Rozważmy badacza medycznego, który używa AI do analizy dokumentów pacjentów lub zespołu prawnego, który używa AI do przeglądania dokumentów sprawy. Jeśli AI pomija istotne połączenia, ponieważ istotne informacje używają innych słów niż zapytanie wyszukiwania, konsekwencje mogą być znaczące.

Dlaczego dopasowanie słów nie jest wystarczające

Bieżące modele AI przetwarzają tekst przy użyciu czegoś, co nazywa się mechanizmem uwagi. Ten system pomaga AI skupić się na różnych częściach tekstu, aby zrozumieć relacje między słowami i pomysłami. Gdy pracuje się z krótszymi tekstami, działa to wystarczająco dobrze. Jednak badania pokazują, że ten mechanizm staje się przytłoczony, gdy teksty stają się dłuższe, szczególnie gdy nie może polegać na dokładnych dopasowaniach słów.

Test NOLIMA ujawnił tę ograniczenie, zadając modelom AI pytania, których odpowiedzi wymagały zrozumienia kontekstu, a nie znajdowania dopasowań słów. Wyniki były wymowne. Podczas gdy modele działały dobrze z krótkimi tekstami, ich zdolność do nawiązywania tych połączeń spadła znacząco wraz ze wzrostem długości tekstu. Nawet specjalistyczne modele zaprojektowane do zadań wymagających rozumowania uzyskały poniżej 50% dokładności przy radzeniu sobie z dłuższymi dokumentami.

Bez podparcia dopasowania słów modele AI miały trudności z:

• Łączeniem powiązanych pojęć, które używają różnej terminologii
• Śledzeniem wieloetapowych ścieżek rozumowania
• Znajdowaniem istotnych informacji, gdy pojawiają się one po kluczowym kontekście
• Ignorowaniem mylących dopasowań słów w nieistotnych sekcjach

Liczby mówią historię

Wyniki badań pokazują dramatyczny obraz tego, jak modele AI radzą sobie z dłuższymi tekstami. GPT-4o wykazał najmocniejszą wydajność, utrzymując skuteczność do około 8 000 tokenów (około 6 000 słów). Jednak nawet ten najlepszy model wykazał znaczący spadek wydajności w przypadku dłuższych tekstów. Większość innych modeli, w tym Gemini 1.5 Pro i Llama 3.3 70B, doświadczyła gwałtownego spadku wydajności między 2 000 a 8 000 tokenami.

Spadek wydajności stał się jeszcze bardziej wyraźny, gdy zadania wymagały wielu kroków rozumowania. Na przykład, jeśli model musiał wykonać dwa logiczne połączenia – jak zrozumienie, że postać mieszkała w pobliżu punktu orientacyjnego, a ten punkt orientacyjny znajdował się w określonym mieście – wskaźnik powodzenia spadł znacząco. Badania pokazały, że rodzaj wieloetapowego rozumowania staje się szczególnie trudny w tekstach dłuższych niż 16 000 tokenów, nawet przy użyciu technik zaprojektowanych w celu poprawy rozumowania, takich jak Chain-of-Thought prompting.

To, co sprawia, że te wyniki są szczególnie godne uwagi, to fakt, że podważają one twierdzenia dotyczące możliwości modeli AI w radzeniu sobie z długimi kontekstami. Chociaż wiele modeli reklamuje wsparcie dla obszernych okien kontekstowych, benchmark NOLIMA pokazuje, że skuteczne zrozumienie spada znacznie przed osiągnięciem tych teoretycznych limitów.

Źródło: Modarressi et al.

Gdy AI traci z oczu las dla drzew

Te ograniczenia mają poważne konsekwencje dla tego, jak używamy AI w aplikacjach świata rzeczywistego. Rozważmy system AI prawniczy wyszukujący w prawie. Może on pominąć istotne precedensy tylko dlatego, że używają one innej terminologii niż zapytanie wyszukiwania. System może zamiast tego skupić się na mniej istotnych przypadkach, które zdarzają się dzielić więcej słów z parametrami wyszukiwania.

Wpływ na wyszukiwanie i analizę dokumentów jest szczególnie niepokojący. Bieżące systemy wyszukiwania AI często polegają na technice zwanej Retrieval-Augmented Generation (RAG). Nawet gdy te systemy pomyślnie pobierają dokument zawierający odpowiednie informacje, AI może nie rozpoznać ich istotności, jeśli sformułowanie różni się od zapytania. Zamiast tego AI może skłaniać się ku mniej istotnym dokumentom, które wykazują powierzchniowe podobieństwa z parametrami wyszukiwania.

Dla użytkowników AI te wyniki sugerują kilka ważnych rozważań:

Po pierwsze, krótsze zapytania i dokumenty prawdopodobnie dadzą bardziej niezawodne wyniki. Gdy pracuje się z dłuższymi tekstami, podzielenie ich na mniejsze, skupione segmenty może pomóc w utrzymaniu wydajności AI.

Po drugie, użytkownicy powinni być szczególnie ostrożni, gdy proszą AI o nawiązanie połączeń między różnymi częściami długiego dokumentu. Badania pokazują, że modele AI mają największe trudności, gdy muszą łączyć informacje z różnych sekcji, szczególnie gdy połączenie nie jest oczywiste przez wspólną terminologię.

Wreszcie, te ograniczenia podkreślają nadal istotną rolę nadzoru ludzkiego. Chociaż AI może być potężnym narzędziem do przetwarzania i analizy tekstu, nie powinno być traktowane jako jedyny sposób identyfikacji istotnych połączeń w długich lub złożonych dokumentach. Ludzka zdolność do utrzymania kontekstu i nawiązywania połączeń konceptualnych w dłuższych tekstach pozostaje lepsza niż bieżące możliwości AI.

Wyniki badań służą jako przypomnienie, że pomimo szybkich postępów w technologiach AI, te systemy nadal przetwarzają informacje w sposób bardzo odmienny od ludzi. Zrozumienie tych ograniczeń jest kluczowe dla skutecznego korzystania z narzędzi AI oraz wiedzy, kiedy osąd ludzki pozostaje niezbędny.

Co dalej

Zrozumienie ograniczeń bieżących modeli AI w przetwarzaniu długich tekstów otwiera ważne pytania dotyczące przyszłości rozwoju AI. Badania za benchmarkiem NOLIMA ujawniły, że nasze bieżące podejścia do przetwarzania tekstu AI mogą wymagać znaczącej poprawy, szczególnie w tym, jak modele radzą sobie z informacjami w dłuższych pasażach.

Bieżące rozwiązania pokazały tylko częściowy sukces. Wskazanie łańcucha myśli, które zachęca modele AI do rozbijania swojego rozumowania na kroki, pomaga nieco poprawić wydajność. Na przykład, przy użyciu tej techniki, Llama 3.3 70B wykazała lepszą zdolność do radzenia sobie z dłuższymi kontekstami. Jednakże, to podejście nadal nie spełnia oczekiwań, gdy radzi sobie z tekstami dłuższymi niż 16 000 tokenów, sugerując, że potrzebujemy bardziej fundamentalnych rozwiązań.

Mechanizm uwagi, który tworzy podstawę, jak bieżące modele AI przetwarzają tekst, wymaga przemyślenia. Wyobraź sobie, że próbujesz prowadzić rozmowę w zatłoczonym pokoju – im dłuższa rozmowa, tym trudniej jest śledzić wszystkie ważne punkty, które zostały wcześniej wymienione. Nasze bieżące modele AI stają przed podobnym wyzwaniem, ale w znacznie większej skali.

Spójrzmy w przyszłość, badacze badają kilka obiecujących kierunków. Jednym z podejść jest rozwijanie nowych sposobów, aby AI mogła organizować i priorytetowo traktować informacje w dłuższych tekstach, przechodząc poza proste dopasowanie słów, aby zrozumieć głębsze połączenia konceptualne. Mogłoby to działać bardziej jak ludzkie tworzenie map mentalnych informacji, łącząc pomysły na podstawie znaczenia, a nie tylko wspólnej terminologii.

Innym obszarem rozwoju jest poprawa tego, jak modele AI radzą sobie z tym, co badacze nazywają “ukrytymi skokami” – logicznymi krokami niezbędnymi do połączenia różnych fragmentów informacji. Bieżące modele mają trudności z tymi połączeniami, szczególnie w dłuższych tekstach, ale nowe architektury mogą pomóc w przezwyciężeniu tej luki.

Dla tych, którzy pracują z narzędziami AI dzisiaj, te wyniki sugerują kilka praktycznych podejść:

Rozważ podzielenie dłuższych dokumentów na znaczące segmenty podczas pracy z AI. Pomaga to tworzyć logiczne sekcje, które zachowują ważny kontekst. Na przykład, jeśli analizujesz artykuł naukowy, możesz zachować sekcje metody i wyników razem, ponieważ często zawierają powiązane informacje.

Gdy prosisz AI o analizę dłuższych tekstów, bądź konkretny co do połączeń, które chcesz, aby AI wykonało. Zamiast zadawać ogólne pytania, skieruj AI w stronę konkretnych relacji, które chcesz badać. Pomaga to zrekompensować bieżące ograniczenia modelu w nawiązywaniu tych połączeń niezależnie.

Być może najważniejsze jest utrzymanie realistycznych oczekiwań co do możliwości AI w radzeniu sobie z dłuższymi tekstami. Chociaż te narzędzia mogą być niezwykle pomocne w wielu zadaniach, nie powinny być traktowane jako kompletne zastępstwo dla ludzkiej analizy złożonych dokumentów. Ludzka zdolność do utrzymania kontekstu i nawiązywania połączeń konceptualnych w dłuższych tekstach pozostaje lepsza niż bieżące możliwości AI.

Droga do przodu w rozwoju AI w tej dziedzinie jest zarówno wyzwaniem, jak i ekscytującą. Gdy lepiej zrozumiemy te ograniczenia, możemy pracować nad systemami AI, które naprawdę rozumieją długie teksty, zamiast tylko je przetwarzać. Do tego czasu skuteczne korzystanie z AI oznacza pracę w ramach jego bieżących ograniczeń, jednocześnie doceniając jego mocne strony.