AI-förorening i sökresultat riskerar ‘återvinningssammanbrott’

När AI-innehåll förorenar webben öppnas en ny attackvektor i slagfältet för kulturell samförstånd.

Forskning ledd av ett koreanskt sökföretag hävdar att när AI-genererade sidor tränger in i sökresultat, undergräver de stabiliteten i sök- och rankningspipeliner och försvagar system – såsom Retrieval-Augmented Generation (RAG) – som förlitar sig på dessa rankningar för att bestämma vilken information som ska visas och lita på, och därmed ökar risken att vilseledande eller felaktig material kommer att behandlas som auktoritativt.

Begreppet som myntats för denna syndrom av forskarna är Återvinningssammanbrott, som skiljer sig från den kända hotet om modellkollaps (där AI tränas på sin egen utdata blir progressivt sämre).

I ett Återvinningssammanbrott-scenario, AI-genererat innehåll domineras gradvis sökmotorresultat, till den grad att även när svaren förblir ytligt sett korrekta, den underliggande bevisbasen kommer att ha blivit skild från ursprungliga mänskliga källor. Trots detta verkar detta “rotlösa” data vara på väg att uppnå en hög plats i sökresultat*:

‘Med spridningen av AI-genererat text, utmaningar i attributering och förtränings datakvalitet har intensifierats. Till skillnad från traditionell keyword spam, modern syntetiskt innehåll är semantiskt sammanhängande, vilket tillåter det att smälta in i rankningssystem och propagera genom pipeliner som auktoritativ bevis.’

Artikeln hävdar att detta skulle skapa en ‘strukturellt skör’ miljö där rankningssignaler föredrar AI-producerade, SEO-optimerade sidor, och förskjuter mänskligt skrivna källor över tiden på ett illusoriskt sätt, dvs. utan att utlösa uppenbara nedgångar i svarkvalitet:

‘[Tillväxten] av AI-genererat innehåll på webben presenterar en strukturell risk för informationsåtervinning, eftersom sökmotorer och Retrieval-Augmented Generation (RAG)-system alltmer konsumerar bevis producerade av stora språkmodeller (LLM).’

‘Vi karakteriserar denna ekosystemnivås felmodus som Återvinningssammanbrott, en tvåstegsprocess där (1) AI-genererat innehåll domineras sökresultat, eroderar källdiversitet, och (2) lågkvalitets- eller antagonistiskt innehåll infiltrerar återvinningspipelinen.’

Forskarna hävdar att när “dominans”-fasen är etablerad, blir samma återvinningspipeline mer mottaglig för medveten förorening, eftersom antagonistiska sidor kan utnyttja samma optimeringsmekanismer för att öka synlighet*:

‘Genom att etablera ramen för Återvinningssammanbrott, lägger detta arbete grunden för att förstå hur syntetiskt innehåll omformar informationsåtervinning. För att mildra dessa risker, föreslår vi en övergång till Defensiva Rankningsstrategier som gemensamt optimerar relevans, faktualitet och proveniens.’

Återvinningssammanbrott skulle förmodligen förvärra modellkollaps, eftersom det lägger till ett lager av ondskefull avsikt på “fotokopieffekten” av entropi, där AI alltmer matas med AI-genererad utdata. Utöver att påverka det uppenbara samförståndet om “sanning” i realtids-sökresultat, kunde fel och attacker senare bli inristade i tränade LLM som auktoritativa källor.

Det nya arbetet är titulerat Återvinningssammanbrott när AI förorenar webben, och kommer från tre forskare vid Naver Corporation.

Metod

För att testa hur AI-genererat innehåll sprids genom återvinningsystem, slumpmässigt valde forskarna 1000 fråga/svar-par från MS MARCO-dataset och benchmark, som består av öppendomänsfrågor parade med mänskligt validerade referenssvar. Dessa användes både för att grunda återvinning och för att utvärdera den faktiska korrektheten hos genererade svar.

För varje MS MARCO-fråga i testerna, togs tio webbdokument från Google Search, baserat på de topprankade SEO-resultaten för varje term, vilket slutligen producerade en pool på 10 000 dokument.

Dokumentens faktiska giltighet bedömdes genom att jämföra var och en av dem mot MS MARCO-grund­sanningen, med GPT-5 Mini som domare.

Innehållsfabriks­simulering

För att simulera kvalitetsnivån (av normala, icke-antagonistiska) artiklar associerade med innehållsfabriker, använde författarna den ekonomiska GPT-5 Nano-modellen från OpenAI för att faktiskt generera nya syntetiska artiklar, eftersom detta är den “billiga” nivån av AI som sannolikt kommer att användas av innehållskvarnar. GPT-5 Mini, som användes för att bedöma utdata, är en något mer kapabel modell.

Omvänt, för att simulera antagonistiska inlägg (dvs. innehåll som är utformat för att sprida desinformation eller som annars innehåller desinformation), användes inga verkliga referenser. Istället skapades första utkasten av proverna med en konventionell clickbait/SEO-generator, och sedan passerades de till GPT-5 Nano, som fick i uppgift att ersätta ett visst antal faktiska uppgifter med trovärdiga men osanna alternativ. GPT-5 Nano utförde också semantisk omrankning för det experimentella sammanhanget.

För att simulera AI-mättnad över tid, kördes en 20-omgångars föroreningsprocess, där ett syntetiskt dokument lades till per fråga till en fast uppsättning av tio ursprungliga dokument, vilket ökade AI-andelen från 0% till 66,7%.

För SEO-liknande poolen, instruerades genereringen att “agera som en SEO-specialist”, och att integrera hög-IDF-nyckelord från de ursprungliga dokumenten för att öka återvinnings­sannolikheten.

För den antagonistiska poolen, var prompten utformad för att bevara flytande, naturligt ljudande prosa medan den subtilt ändrade namngivna entiteter och numeriska detaljer, skapade dokument som inte skulle flagga statistiska filter, medan den tyst eroderade faktisk korrekthet.

Mätvärden

Tre mätvärden antogs för experimenten: Poolföroreningsgrad (PCR), för att bestämma hur mycket av den totala dokumentpoolen som var AI-genererad; Exponeringsföroreningsgrad (ECR), för att mäta hur mycket av de tio bästa sökresultaten kom från AI-källor (vilket indikerar vad som faktiskt gick in i återvinningspipelinen); och Citeringsföroreningsgrad (CCR), för att registrera hur mycket av den citerade bevisningen i det slutliga svaret var syntetisk.

För att undersöka praktisk påverkan, testades både kvaliteten på återvunna källor och integriteten hos det slutliga svaret. Precision@10 (P@10) fångade hur många av de tio bästa resultaten som faktiskt var korrekta när de kontrollerades mot MS MARCO-grund­sanningen; och Svars­korrekthet (AA) mätte om det genererade svaret matchade samma referenssvar, med GPT-5 Mini som användes för att bestämma om meningen var konsekvent.

Tester

Initialt testade författarna sin metod mot den ursprungliga poolen av dokument extraherade från SERPS, dvs. innan de användes som material för att generera syntetisk data, och de noterar att deras LLM-rankare uppnådde “stark återvinningskvalitet”, och överträffade BM25-rankaren-baslinjen.

Den första av de två primära scenariotesterna, kallad Dominans och homogenisering, var en undersökning av hur SEO-formade syntetiska dokument påverkar återvinningsresultat:

Vänster: föroreningskurvor för Scenario 1 under BM25 och LLM-rankare visar Poolföroreningsgrad (PCR) som stiger med varje omgång, med Exponeringsföroreningsgrad (ECR) och Citeringsföroreningsgrad (CCR) som ökar mer brant när syntetiska dokument tränger in i de bästa resultaten; Svars­korrekthet (AA) förblir i stort sett stabil. Höger: tabellen rapporterar samma progression numeriskt över omgång 0, 5, 10 och 20, med PCR, ECR, CCR och AA för båda rankare.

När fler AI-skrivna sidor gradvis lades till i testmiljön, började de dominera de bästa sökresultaten snabbare än förväntat. När AI-innehåll utgjorde 50% av alla tillgängliga dokument, var mer än 68% av BM25:s tio bästa resultat AI-genererade; och när andelen AI-material steg till 67%, kom över 80% av dess bästa resultat från AI-källor.

LLM-baserade rankaren visade en ännu starkare tendens i denna riktning, med cirka 76% av dess bästa resultat hämtade från AI-skrivna sidor, när dessa sidor utgjorde bara hälften av den totala poolen – och den fortsatte att förlita sig på dem mer än BM25, allteftersom deras närvaro ökade. Författarna kommenterar:

‘Denna mönster visar att SEO-optimerat innehåll oproportionerligt aktiverar rankningssignaler, vilket får båda modellerna att konvergera snabbt mot syntetiskt dominerat bevis.’

Med avseende på spänningen mellan faktisk stabilitet och diversitets­kollaps, noterar artikeln att trots de “dramatiska” skiften som visas i återvunna bevis, förblev Svars­korrekthet stabil, eller till och med förbättrades:

‘Eftersom SEO-dokument är av hög kvalitet och topiskt anpassade, verkar återvinning vara frisk när den mäts enbart med korrekthet. Men nästan alla återvunna bevis är syntetiska, vilket indikerar en allvarlig kollaps i källdiversitet.

‘Denna divergens, karakteriserad av stabil korrekthet trots kollapsande diversitet, avslöjar en strukturellt skör återvinningspipeline: systemet presterar bra i aggregerade mått medan det tyst förlorar sin förankring i mänskligt skrivet innehåll.’

‘Sammanfattningsvis, högkvalitativt syntetiskt innehåll inte bara integreras smidigt i återvinningspipeliner, utan överväldigar också rankningssignaler, vilket får båda BM25 och LLM-rankare att förlita sig nästan uteslutande på AI-genererat bevis.’

Det andra scenariot var namngivet Förorening och systemkorruption, och avslöjade en anmärkningsvärd divergens i rankarens beteende, jämfört med det första scenariot:

Vänster: resultaten från scenario 2 visar vad som händer när medvetet vilseledande sidor läggs till i systemet. När fler av dessa sidor blandas in, börjar BM25 att placera några av dem i sina bästa resultat – fast bara upp till cirka en kvart vid mitt­punkten, och nästan inga används faktiskt i det slutliga svaret. Den övergripande svarkvaliteten sjunker något. Höger: tabellen presenterar samma mönster numeriskt för båda BM25 och LLM-baserade rankare, och visar att BM25 låter några vilseledande sidor komma in i sina bästa resultat, medan LLM-rankaren i stort sett filtrerar bort dem.

LLM-baserade rankaren kunde i stort sett känna igen och filtrera bort vilseledande sidor, och höll andelen sådant innehåll i sina bästa resultat nära noll; men BM25 tillät en märkbar andel av de antagonistiska sidorna att komma in i sina tio bästa resultat, med cirka 19% till 24% som visades där vid vissa stadier av testet.

Även om LLM-baserade rankaren visade sig vara mer resistenta i detta experiment, noterar författarna att LLM-baserade rankningssystem är mer beräkningskrävande, vilket kan göra stor­skalig distribution opraktisk. Även om BM25 är enklare och billigare att köra, kan välkända återvinnings­system som utnyttjar det vara mer utsatta för manipulerat innehåll än de initialt verkar.

Författarna karakteriserar detta som en “betydande strukturell risk”.

Med avseende på kontrasten mellan uppenbar stabilitet och underliggande degradering, noterar författarna att i detta sammanhang förblir Svars­korrekthet relativt stabil, på grund av att LLM-domaren undertrycker citeringskorruption, och därmed fungerar som en slags sista-moment-brandvägg mot antagonistiskt innehåll.

Men Svars­korrekthet i detta avseende var konsekvent lägre än i det första scenariot:

‘Medan scenario 1 såg Svars­korrekthet upprätthållas eller till och med förbättras (upp till 70% med LLM-rankare) på grund av den höga kvaliteten på SEO-innehåll, visar scenario 2 en nedgång i svarkvalitet i förhållande till SEO-inställningen […]

‘Detta bekräftar att oavsett rankare, antagonistisk förorening i återvinnings­stadiet negativt påverkar slut­till­slutande prestanda, med den mest allvarliga försämringen när man förlitar sig på lätta återvinnare.’

Författarna slutsatsen att omrankning i återvinnings­stadiet är för sent, och att “inmatnings­stegs”-filter bör övervägas, och föreslår att “proveniens­grafer” och “förvirringsfilter” kan användas.

De avslutar med att betona att den grundläggande hotet är innehåll med hög flytande men låg attribut­täthet, i princip skild från tillförlitliga kedjor av proveniens, och observerar:

‘[När] Agentic AI börjar publicera innehåll på egen hand, måste försvars­mekanismer utvecklas från statisk textanalys till beteende­finger­avtryck, som identifierar och isolerar agenter som systematiskt producerar hög­entropi, låg­faktualitets­strömmar.’

Slutsats

Etableringen av nya eller förbättrade metoder för informationsproveniens kan vara en av de mest kritiska nödvändigheterna för 2026. Komplexa credentialsystem som C2PA, som kräver infrastruktur­förändringar från utgivare, och allmän utbildning om vad de betyder och hur eller varför de ska användas, verkar vara dömda att misslyckas.

Något enklare krävs, och det har inte hittats ännu. Det är en brådskande uppdrag, eftersom denna nuvarande era kan vara den mest kritiska vändpunkten för allmänhetens samförstånd om sanning sedan uppfinningen av fotografi 1822, och uppkomsten av propaganda i decennierna före andra världskriget.

* Min (selektiva, där nödvändigt) omvandling av författarnas inline-citationer till hyperlänkar.

Publicerad första gången torsdagen den 19 februari 2026