Sztuczna inteligencja często cytuje strony internetowe, których nawet nie przeczytała

Czasem wśród publikacji naukowych danego dnia pojawia się artykuł, który naprawdę mnie irytuje – nie dlatego, że jest nieścisły lub obraźliwy, ale dlatego, że dostrzega i bada coś, co od dawna, choć mgliście i niekonkretnie, drażniło mnie gdzieś na obrzeżach świadomości (być może dlatego, że byłem zbyt zajęty, by zrobić cokolwiek poza ignorowaniem tego).

Dziś ukazała się właśnie taka praca, której autorami jest trzech badaczy z Wydziału Informatyki Imperial College London. Nowe badanie, zatytułowane Odnalezione, lecz nieprzeczytane: dlaczego duże modele językowe wspomagane wyszukiwaniem nie wykorzystują dostępnych dowodów, analizuje, dlaczego duże modele językowe (LLM-y) tak często podają nam adresy URL mające potwierdzać ich odpowiedzi (nieistotne cytowania artykułów naukowych, odsyłacze do wątpliwych tekstów w internecie itp.), nawet ich nie czytając.

Autorzy piszą:

„Stwierdzamy, że modele często odpowiadają na podstawie fragmentów wyników wyszukiwania, nie otwierając stron źródłowych, co wiąże się z większą liczbą nieaktualnych odpowiedzi i nierzetelnych cytowań. Nasze kontrolowane eksperymenty i analiza poszczególnych warstw ujawniają rozdźwięk między dostępnością dowodów a ich skutecznym wykorzystaniem.

„Nawet gdy odnalezione dowody wpływają na wewnętrzne przewidywania, modele mogą w ostatecznych odpowiedziach nadal przedkładać nieaktualne informacje”.

Autorzy przetestowali jeden własnościowy model LLM (OpenAI GPT-5.6 Luna) oraz sześć konfiguracji modeli z otwartymi wagami, sprawdzając je pod kątem setek faktów, które uległy zmianie od dat odcięcia wiedzy modeli.

Następnie sprawdzili, jak często systemy opierały się na fragmentach wyników wyszukiwania zamiast otwierać strony źródłowe; jak wpływało to na trafność odpowiedzi i cytowań; oraz dlaczego nieaktualne informacje czasami przeważały, nawet gdy nowsze dowody dostarczano bezpośrednio.

Testy wykazały, że modele często odpowiadały na pytania bez otwierania którejkolwiek ze stron znalezionych przez wyszukiwarkę, a zachowanie to wiązało się ze znacznie większą liczbą nieaktualnych odpowiedzi i wprowadzających w błąd cytowań:

Wyniki testów pokazujące, jak często modele AI cytują źródła internetowe, nie czytając ich w rzeczywistości. W ośmiu konfiguracjach badacze zmierzyli trafność odpowiedzi, poleganie na fragmentach wyników wyszukiwania bez otwierania stron źródłowych oraz cytowania sprzeczne z twierdzeniami modeli. W niektórych przypadkach ponad połowa wyszukiwań kończyła się bez otwarcia choćby jednej strony. Wszystkie wartości podano w procentach; w pierwszym wierszu wykorzystano wyszukiwanie w internecie na żywo, a w pozostałych — ustandaryzowane wyniki wyszukiwania. Źródło

Badacze odkryli również, że bezpośrednie dostarczenie prawidłowych dowodów może znacznie ograniczyć te problemy, choć niektóre modele nadal skłaniały się ku nieaktualnym informacjom, nawet gdy nowsze fakty przedstawiono im bezpośrednio.

Ukryte motywy?

Dwa najbardziej oczywiste powody, dla których modele LLM tak często zasypują nas dokumentami potwierdzającymi odpowiedź, które „brzmią poprawnie”, ale są nieadekwatne, to: a) oszczędność pieniędzy, ponieważ pobranie i przeczytanie choćby streszczenia właściwego materiału — który może być nawet niedostępny — wymaga przepustowości i czasu; oraz b) skrócenie czasu oczekiwania, jak gdyby szybkie udzielenie błędnej lub częściowo błędnej odpowiedzi było lepsze niż niewielkie opóźnienie w oczekiwaniu na lepszą.

Autorzy nowej pracy wolą jednak ustalić podstawowe mechanizmy stojące za tym niedostatkiem jakości, zamiast badać, w jaki sposób takie zachowanie mogło zostać pierwotnie zaprojektowane lub z góry założone.

Nic dziwnego, że moje dotychczasowe rozmowy z najnowocześniejszymi modelami o ekonomii skali w przypadku LLM-ów prowadzą do tego, co mogę jedynie uznać za z góry wyuczoną reakcję obronną.

Ekonomiczne uzasadnienie manipulowania w ten sposób zachowaniem LLM-ów przy cytowaniu wydaje mi się sensowne; jednak technologie te są wciąż tak słabo poznane, tak zmienne i tak podatne na nieprzewidywalne rezultaty, że obecnie trudno dowieść istnienia takich motywów.

Metoda

Aby sprawdzić, jak dobrze modele rzeczywiście korzystają z dowodów dostępnych w internecie, badacze zgromadzili 225 faktów, które zmieniły się od 16 lutego 2026 r. — daty odcięcia danych treningowych najpóźniejszej spośród podanych dla testowanych modeli.

Fakty pochodziły z informacji FDA o lekach (62 fakty), finansów (52), sportu (47), informacji o osobach (43), dokumentów składanych do SEC (13) oraz klasyfikacji chemicznych (8). Wykluczono zmiany, które weszły w życie przed datą odcięcia danych treningowych lub zostały ogłoszone przed 1 lutego, a także twierdzenia medyczne, na które można było odpowiedzieć na podstawie wiedzy ogólnej. Niezmienione fakty posłużyły również jako dane kontrolne, dzięki czemu badacze mogli odróżnić błędy dotyczące nowych informacji od bardziej ogólnych pomyłek.

Aby ustalić punkt odniesienia, GPT-5.6 Luna przetestowano bez dostępu do wyszukiwarki internetowej; model poprawnie odpowiedział jedynie na 23,3% ze 103 pytań dotyczących zmienionych faktów.

Nieokreślony model AI wykorzystano do przekształcenia klauzul z oznakowania leków FDA w przywołanym wcześniej zbiorze danych w pojedyncze, możliwe do przetestowania stwierdzenia faktyczne, a następnie każde z nich zostało ręcznie zweryfikowane*.

Przetestowane konfiguracje modeli o otwartych wagach obejmowały GLM-5.3-Flash firmy Z.ai; gpt-oss-120b i gpt-oss-20b firmy OpenAI; gemma-4-31b firmy Google DeepMind, testowany zarówno z rozumowaniem, jak i bez niego; oraz qwen3-8b firmy Qwen.

Modelom o otwartych wagach i GPT-5.6 Luna udostępniono te same wyniki wyszukiwania w internecie, aby można było rzetelnie porównać ich odpowiedzi. Lunę przetestowano również osobno, korzystając z wbudowanej w nią wyszukiwarki internetowej.

W przypadku 223 z 225 faktów zebrano wcześniej dziesięć wyników wyszukiwania za pomocą Brave Search. Każdy model otrzymał te same wyniki i mógł otwierać strony lub przeszukiwać ich treść przy użyciu identycznych narzędzi.

Strona zawierająca „prawidłową” odpowiedź była zawsze dostępna — jeśli naturalnie znalazła się wśród dziesięciu najwyższych wyników, jej pozycja pozostawała bez zmian; w przeciwnym razie dodawano ją do wyników na ustalonej wcześniej pozycji, co pozwalało badaczom sprawdzić, jak modele wykorzystywały dostępne dowody w porównywalnych warunkach.

Aby zwiększyć spójność testów, wartość temperatury ustawiono na zero w modelach obsługujących to ustawienie, a każdy model uruchamiano za pośrednictwem tego samego dostawcy przez cały czas trwania eksperymentów.

Forma promptów

W przypadku dwóch promptów użytych do przetestowania faktów pierwszy zawierał otwarte pytanie, takie jak „W którym klubie gra Bernardo Silva?” — z prośbą o podanie źródła lub bez niej; w drugim proszono model o zweryfikowanie stwierdzenia zawierającego informacje aktualne lub nieaktualne, co pozwalało badaczom porównać sposób traktowania obu wersji.

W zbiorczych wynikach uwzględniono cztery dodatkowe typy promptów: otwarte pytania zawierające wskazówki; prośby o cytaty; prośby o podanie źródła potwierdzającego przedstawione twierdzenie; oraz weryfikację arkuszy faktów, w której zadaniem modelu było wskazanie jednego nieaktualnego stwierdzenia spośród kilku prawidłowych.

Przykłady rzeczywistych promptów użytych do testowania modeli, opartych na pytaniach i twierdzeniach dotyczących piłkarza Bernardo Silvy. Tabela pokazuje, jak tę samą kwestię faktyczną przedstawiano w różnych prośbach o udzielenie odpowiedzi, weryfikację, cytaty i źródła. Wszystkie prompty zaczynały się od daty 8 sierpnia 2026 r., a w większości wymagano ujednoliconej odpowiedzi końcowej określonej w instrukcjach oznaczonych literami pod tabelą.

W każdym prompcie podano datę, a w większości wymagano odpowiedzi w ustalonym formacie, który dopuszczał odpowiedź „NIE MOŻNA ZWERYFIKOWAĆ’, dzięki czemu wyniki można było ocenić bez konieczności rozstrzygania przez człowieka lub model LLM.

Zastosowane miary obejmowały głębokość analizy (czy strony źródłowe zostały otwarte i zacytowane); poprawność odpowiedzi (odsetek prawidłowych odpowiedzi z wyłączeniem wstrzymania się od odpowiedzi); oraz zgodność cytowań ze źródłami (czy cytowane strony przeczyły twierdzeniom modelu).

Tam, gdzie było to możliwe, ocenę automatyzowano; nieokreślonemu modelowi LLM wolno było zatwierdzać cytowania wyłącznie wtedy, gdy potwierdzał je dokładny fragment z zarchiwizowanej strony. Oceny negatywne wymagające interpretacji powierzano osobom weryfikującym, a niezmienione fakty kontrolne wykorzystywano do ustalenia bazowego wskaźnika błędów w cytowaniach dla każdego modelu.

Wyniki

We wstępnych testach (przedstawionych na początku tego artykułu) dostęp do wyszukiwarki internetowej zwiększał zdolność modeli do udzielania prawidłowych odpowiedzi. Przy sprawdzaniu poprawności stwierdzeń faktycznych wyniki modeli wzrosły o 27–42 punkty procentowe. W przypadku bezpośrednich odpowiedzi na pytania modele odpowiadały poprawnie w 85,8–95,4% przypadków.

Jednak wiele odpowiedzi powstało bez faktycznego odwiedzenia przez modele stron internetowych zwróconych w wynikach wyszukiwania. Zamiast tego modele opierały się na krótkich fragmentach tekstu wyświetlanych obok wyników. Nawet gdy otrzymywały te same wyniki wyszukiwania, odsetek wyszukiwań, w których nie otwierano żadnej strony, wahał się — zależnie od modelu — od 2,6% do 76%.

W tym kontekście GPT-5.6 Luna wykazała się wyjątkowo małym zaangażowaniem:

„Przy tych samych wynikach wyszukiwania modele odpowiadają w 2,6–76,0% przypadków bez otwierania jakiejkolwiek strony. Korzystając z własnej wyszukiwarki, Luna odpowiada na 53,6% pytań wyłącznie na podstawie fragmentów tekstu.”

Wyniki testów porównujących nieaktualne odpowiedzi i mylące cytowania w zależności od tego, jak dokładnie modele analizowały wyniki wyszukiwania. „Fragment” oznacza, że nie otwarto żadnej strony internetowej; „Otwarto” — że otwarto stronę, ale jej nie cytowano; „Cyt.” oznacza, że cytowano otwartą stronę. Wszystkie wartości to odsetki łącznie dla siedmiu konfiguracji modeli i wszystkich typów promptów. Błędy na ogół częściej występowały, gdy modele opierały się wyłącznie na fragmentach wyników wyszukiwania.

W siedmiu konfiguracjach modeli 6,4% odpowiedzi opartych wyłącznie na fragmentach wyników wyszukiwania było nieaktualnych, w porównaniu z 1,3% odpowiedzi, w których cytowano otwarte strony. Jak pokazano powyżej, mylące cytowania również zdarzały się częściej: 6,4% wobec 2,3%. W przypadku pytań sportowych odsetek nieaktualnych odpowiedzi wśród modeli o otwartych wagach wyniósł 20,2%, wobec 2,1%. Gdy odpowiedzi były nieaktualne, 81,8% cytowań uzasadniających te twierdzenia im przeczyło, w porównaniu z zaledwie 0,9% w przypadku aktualnych odpowiedzi. Podobne tendencje zaobserwowano w testach z arkuszami faktów.

W praktyce oznacza to, że badane modele AI częściej udzielają błędnych odpowiedzi, gdy polegają na krótkich opisach wyświetlanych w wynikach wyszukiwania, zamiast czytać właściwe strony internetowe. Co gorsza, czasami podają linki do stron, które dowodzą, że ich odpowiedzi są błędne.

Wspólny mechanizm błędów

O ile wśród modeli wybranych do tych testów nie znalazły się „odstające” przypadki, można rozsądnie założyć, że ten sam problem dotyczy również innych modeli, zarówno zamkniętych, jak i open source. Spośród dziewięciu rodzajów błędów zaobserwowanych podczas wyszukiwania w sieci na żywo przez GPT-5.6 Luna aż siedem było istotnie powiązanych z błędami wykrytymi w innych modelach testowanych na tych samych, niezmiennych wynikach wyszukiwania. Sugeruje to, że problemy te nie ograniczały się do Luny.

Bezpośrednie podanie właściwej strony Wikipedii ograniczyło liczbę nieaktualnych odpowiedzi: liczba błędów spadła z 14 do zera w przypadku gemma-4-31b, z 11 do jednego w przypadku gpt-oss-20b oraz z 16 do ośmiu w przypadku qwen3-8b. Ponowne zadanie pierwotnego pytania po otwarciu każdej strony pozwoliło też poprawić 26,1% wcześniej błędnych odpowiedzi w testach z arkuszami faktów.

Wyniki pokazujące, jak często gemma-4-31b, gpt-oss-20b i qwen3-8b akceptowały nieaktualne twierdzenia w różnych warunkach. Te same dowody albo pomijano, albo podawano bezpośrednio w prompcie, albo udostępniano za pośrednictwem wyników wyszukiwania; w osobnych testach proszono o wskazanie źródeł na poparcie odpowiedzi. Bezpośrednie podanie właściwej strony było znacznie skuteczniejsze niż wymaganie od modeli, by same ją znalazły. Wartości pokazują liczbę błędów w stosunku do łącznej liczby testów.

Zasady klubowe

Na koniec, aby lepiej zrozumieć, dlaczego AI czasami ignoruje prawidłowe informacje, badacze przetestowali trzy modele o otwartych wagach, zadając pytania o piłkarzy, którzy zmienili kluby: gpt-oss-20b, gemma-4-31b i qwen3-8b.

Każdemu z modeli przedstawiono nieaktualne informacje o klubie danego zawodnika, czasami wraz z właściwą stroną Wikipedii, a następnie sprawdzano, którą odpowiedź model preferował w toku przetwarzania.

Wyniki pokazały, że modele mogły rozpoznać właściwy klub, a mimo to nadal udzielać błędnej odpowiedzi:

Wyniki testów pokazujące, jak qwen3-8b ważył informacje o właściwym i nieaktualnym klubie podczas formułowania odpowiedzi. Lewy wykres przedstawia poprawne odpowiedzi, w których właściwy klub utrzymał przewagę; prawy — błędne odpowiedzi, w których nieaktualny klub wyprzedził właściwy na końcowych etapach przetwarzania. Zacienione obszary wskazują różnice między testami.

W przypadku qwen3-8b właściwy klub czasami prowadził w wewnętrznym procesie modelu, zanim nieaktualny klub wyprzedzał go tuż przed wygenerowaniem odpowiedzi (zob. powyżej). Podobny wzorzec zaobserwowano w przypadku gpt-oss-20b, natomiast gemma-4-31b na ogół przez cały czas faworyzował „nieaktualny” klub.

Wygląda więc na to, że nawet gdy prawidłowe dowody są dostępne i rozpoznane, w ostatecznej odpowiedzi mogą ustąpić miejsca nieaktualnym informacjom.

Podsumowując, autorzy sugerują, że modele powinny lepiej wykorzystywać pobierane strony internetowe, zamiast polegać na fragmentach wyników wyszukiwania. Chcą też ustalić, dlaczego modele czasami trzymają się nieaktualnych informacji, mimo że znają prawidłową odpowiedź, oraz czy zmiany w sposobie, w jaki przetwarzają informacje, mogłyby w tym pomóc. Nie zaproponowano jednak żadnego ostatecznego rozwiązania.

Podsumowanie

Choć nowy artykuł dostarcza kilku cennych spostrzeżeń, nie wyjaśnia, dlaczego LLM-y tak lekkomyślnie posługują się cytowaniami i odsyłaczami. Jako konsument i osoba, która potrafi analizować wzorce, odnoszę wrażenie, że używane przeze mnie LLM-y polecają artykuły lub adresy URL, bo polecają je inne… polecane witryny…? Skąd właściwie bierze się to poczucie autorytetu?

Prawdę mówiąc, nie udało nam się rozwiązać tego problemu nawet w czasach przed AI, więc być może nie powinno dziwić, jeśli okaże się, że LLM-y nie oszczędzają ani pieniędzy, ani czasu, lecz jedynie rozpowszechniają te same chińskie plotki, które sami uznajemy za „prawdę”.

* W artykule nie podano, kto przeprowadził te przeglądy.

Opublikowano po raz pierwszy w piątek, 16 października 2026 r.