Heuristiikka vs. RAG: Shrinkflation politiikkadriivinä

Useimmissa tapauksissa verkon hakeminen parantaa ChatGPT:n vastausten faktuaalista tarkkuutta kysymyksiimme. Niin ollen, ilmapiirissä, jossa tekoäly kamppailee julkisen hyväksynnän kanssa, miksi se oletusarvoisesti “arvailee”?

Mielipide On virhe uskoa, että LLM:t, kuten ChatGPT, osallistuvat koskaan vihjaisiin mahdollisesti epäilyttäviin käytäntöihin, jotka liittyvät niiden isäntiin, vaikka kallis ja tuhlattu istunto olisi herättänyt riittävästi vihaa perehtyäksesi järjestelmän puutteisiin:

Tässä keskustelussa ChatGPT:n suosikkilogiikasta (verkkopohjaisen tutkimuksen ja vahvistamisen kautta RAG:lla – joka tuottaa vähemmän hallucinaatioita, mutta maksaa enemmän) aiheutuu ilmeinen hetki avoimuutta; mutta otkaa se annosteltuna. Lähde

Useimmiten – erityisesti myöhemmille mallille, joilla on myöhemmät tietämyksen leikkauspäivämäärät – tekoäly vain “riffaa” Reddit- ja foorumipostauksista, joita se on nähnyt koulutuksessa. Vaikka olisikin olemassa jonkinlaista “sisäpiirin” näkemyksiin liittyvää arvoa, on mahdotonta todistaa.

Kuitenkin joskus nämä kuumat vaihdokset johtavat “hakujen” (tai ainakin “temppujen”) löytymiseen, jotka lupaavat estää joitain tekoälyn pahimpia toistuvia tapoja – kuten viime viikolla, kun ChatGPT ehdotti, että voisin saada sen toimimaan kovemmin ja “hallusinoimaan” vähemmän sisällyttämällä adjuraation ‘ei heuristiikkaa’:

Olen käyttänyt ‘ei heuristiikkaa’ paljon siitä lähtien, ja kerran vain malli on turvautunut omiin koulutettuihin tietoihin sen jälkeen, kun olen sulkenut kysymyksen tämän komennan kanssa. Sen sijaan GPT käyttää heti Retrieval Augmented Generation (RAG), etsimällä internetistä valaisevia tai vahvistavia asiakirjoja.

Käytännössä useimmissa pyynnöissä tämä ei ole paljon erilaisempaa kuin kertoa järjestelmälle “etsi verkkoa” jokaisella kertaa, kun lähetät kysymyksen. Siinä, missä “ei heuristiikkaa” -lause oikeasti voi auttaa, on silloin, kun yrität saada ChatGPT:n lukemaan oikeasti uuden ladatun PDF-tiedoston, sen sijaan, että se käyttäisi metadataa aiemmista PDF-latauksista samassa istunnossa (tai monista muista mahdollisista lähteistä), tuottaen “uskottavan” mutta täysin “hallusinoituneen” vastauksen, ilman, että se on lukenut tai edes selannut asiakirjaa, jonka juuri esitit.

Se sanottu, mitä kauemmin chat-istunto on kestänyt, sitä vähemmän todennäköistä, että tämä toimii – ja olisi virhe luulla, että jokin tällainen “temppu” on luotettava tai pysyisi käytettävissä, kun järjestelmä kehittyy.

RAG-kauppa

Kasvavan kulttuurin yhteydessä, jossa on shrinkflation, ja suurten järjestelmien, kuten OpenAI:n GPT-infrastruktuurin, osoittautuessa valtavasti vaikuttavan jopa pieniin laajoihin käyttäytymisen muutoksiin, on myös helppo uskoa, että saan lyhyen mitan valinnoista, jotka tehdään suosituille LLM:lle, kuten ChatGPT:lle.

Valinnat, kuten se, käyttääkö se webiä RAG:lla; aloittaa Chain-of-Thought (CoT) -prosessi, joka saattaa tuottaa paremman tuloksen, mutta joka maksaa enemmän ja saattaa uuvuttaa käyttäjää; tai turvautuu omiin koulutettuihin upotukksiin ja paikallisesti saatavilla olevaan tietoon – joka on halvin ja nopein ratkaisu.

On useita käytännön syitä, miksi LLM:llä, jolla on herkkä julkisuuskuvaa, kuten ChatGPT:llä, saattaa olla taipumus rajoittaa RAG-kutsuja ja suosia omia heuristiikkaa. Ensinnäkin julkisuuskuvan kannalta usein herättämättömän verkon käyttö tukee yleistä luonnehdintaa LLM:istä vain “Googlers-by-proxy”:na, vähentäen niiden sisäisten, kalliiden koulutusohjelmien arvoa – ja maksullisen tilauksen houkuttelevuutta.

Toiseksi RAG-infrastruktuuri maksaa rahaa pyörittää, ylläpitää ja päivittää, verrattuna paikallisen inferenssin suhteellisen vähäiseen kustannukseen, eli parametriseen generointiin, joka on halpa ja nopea.

Kolmanneksi järjestelmällä ei välttämättä ole tehokasta menetelmää määrittämään, voitisiko RAG parantaa omia heuristisia tuloksia – ja usein se ei voi määrittää tätä ilman heuristiikan suorittamista ensin. Tämä jättää loppukäyttäjän arvioimaan virheellisen heuristisen tuloksen ja pyytämään RAG-kutsua, jos heuristiikan tulos vaikuttaa puutteelliselta.

Järjestelmän kannalta “tekoälyn shrinkflation” voi osoittaa, että ChatGPT virheilee useammin heuristiikkaa käyttäen ja onnistuu useammin RAG:lla, mikä viittaa siihen, että järjestelmä optimoi kustannuksia tuloksien sijaan.

RAG kasvaa välttämättömäksi ajan myötä

Huolimatta ChatGPT:n viimeaikaisesta “tunnustuksesta” minulle, että tämä on todella tapahtumassa, “shrinkflation” on laajempi asiayhteys tässä suhteessa. Vaikka RAG ei ole halpa, koko järjestelmän kannalta, se on paljon halvempaa kuin joko säännöllinen hienosäätö tai jopa perusmallin uudelleenkoulutus.

Vanhemmalle AI-mallille, jolla on etäisempi tietämyksen leikkauspäivämäärä, RAG voi ylläpitää järjestelmän ajankohtaisuutta, verkkokutsujen ja muiden resurssien kustannuksella; uudemmalle mallille RAG:n omat hakutulokset ovat todennäköisemmin tarpeettomia tai vahingoittavia tuloksien laadulle, jotka olisivat joissain tapauksissa olleet parempia heuristiikkaa käyttäen.

Siten tekoäly vaikuttaa tarvitsevan kyvyn määrittää, tulisiko se turvautua RAG:hen, ja jatkuvaan kehittämiseen RAG:n käytön politiikassa, kun sen sisäiset painot vanhenevat yhä enemmän.

Samaan aikaan järjestelmän on oltava kykenevä “sulkemaan” “suhteelliset vakiot” tietämyksessä, kuten kuun kiertoradat, klassinen kirjallisuus, kulttuuri ja historia; sekä perusmaantiede, fysiikka ja muut tieteelliset periaatteet, jotka eivät todennäköisesti kehity paljon ajan myötä (ts. “äkillisen muutoksen” riski ei ole olematon, mutta matala).

Poikkeusaiheet

Tällä hetkellä, ainakin ChatGPT:n osalta, RAG-kutsut (ts. web-tutkimuksen käyttö käyttäjän kysymyksiin, jotka eivät vaadi verkkotutkimusta) vaikuttavat harvoin valittaviksi järjestelmän toimesta, vaikka ne liittyisivät “reuna-alueisiin” alueisiin.

Yksi tällainen esimerkki reuna-alueesta on “epätavallinen” ohjelmistokäyttö. Tällaisessa tapauksessa vähäinen saatavilla oleva lähdeaineisto on kamppaillut huomion saadakseen koulutuksessa, ja aineiston ‘poikkeuksellinen’ status saattaa joko merkitä sitä huomion kohteeksi tai haudata sen “reuna-alueiseksi” tai “epämerkitykselliseksi” – ja vain yksi lisäfoorumi, joka on tehty AI:n tietämyksen leikkauspäivämäärän jälkeen, saattaa edustaa merkittävää lisäystä saatavilla olevasta tietämyksestä ja vastauslaadusta “pienelle” aiheelle, mikä tekee RAG-kutsun arvokkaaksi.

Kuitenkin RAG:n etu tendertää vähentymään perusmallin kasvaessa. Vaikka pienemmät mallit hyötyvät merkittävästi hakutuloksista, suuremmat järjestelmät, kuten Qwen3-4B tai GPT-4o-mini/-4o, osoittavat usein marginaalista tai jopa negatiivista parannusta RAG:sta.

Monilla mittareilla hakutulokset tuottavat enemmän häiriötä kuin hyötyä, mikä viittaa tasapainoon suuremman mallin sijoittamisen ja pienemmän mallin yhdistämisen hakutuloksilla.

Siten RAG vaikuttaa olevan eniten hyödyllinen “keskikokoisissa” malleissa, jotka edelleen tarvitsevat ulkoisia faktoja, mutta voivat arvioida niitä vähemmän monimutkaisilla sisäisillä heuristiikoilla.

Käytä ainoastaan hätätapauksissa

ChatGPT:n johdantopolitiikat RAG:n käytön päätöksenteossa eivät ole selvästi esitetty sen järjestelmäkäskyn mukaan, mutta ne käsitellään implisiittisesti (lähellä loppua):

‘Käytä web-työkalua pääsyä varten ajan tasalla oleviin tietoihin verkkoon tai kun vastaaminen käyttäjälle edellyttää tietoa käyttäjän sijainnista. Joitain esimerkkejä siitä, milloin web-työkalua tulisi käyttää, ovat:

Paikalliset tiedot: Käytä web-työkalua vastaamaan kysymyksiin, jotka edellyttävät tietoa käyttäjän sijainnista, kuten sää, paikalliset yritykset tai tapahtumat.

Virallisuus: Jos ajan tasalla olevat tiedot aiheesta voivat parantaa vastausta, käytä web-työkalua aina, kun muuten kieltäytyisit vastaamasta kysymykseen, koska tietämyksesi saattaa olla vanhentunutta.

Niukat tiedot: Jos vastaus hyötyisi yksityiskohtaisista tiedoista, joita ei laajasti tunneta tai ymmärretä (joita voisi löytyä internetistä), kuten yksityiskohtia pienestä naapurustosta, vähän tunnetusta yrityksestä tai arkaaisista säännöksistä, käytä web-lähteitä suoraan sen sijaan, että luotuisi koulutuksen aikana saatuun tietämykseen.

Tarkkuus: Jos virheen tai vanhentuneen tiedon kustannus on korkea (esim. käyttäminen vanhentunutta ohjelmistokirjastoa tai ei tiedä seuraavan ottelun päivämäärää urheilujoukkueelle), käytä web-työkalua.’

Erityisesti voidaan huomata, että nämä ohjeet suosivat RAG:ia tapauksissa, joissa koulutettu tietämyksellinen tietämys on niukkaa. Mutta miten järjestelmä saa tämän ymmärryksen? ChatGPT:n ja sen havainnoitsijan saattaa päätellä, että ne harvoissa tapauksissa, joissa “etsi verkkoon” -palkki näkyy tauon jälkeen, mallin sisäiset heuristiikat on juuri kysytty, ja ne eivät ole tuottaneet mitään.

Voidaan myös huomata, että implisiittisesti RAG suositellaan ainoastaan hyvin rajoitettuun joukkoon käyttötarkoituksiin. Tämä jättää GPT:n suositeltavaksi kysyä omia painojaan kaikissa muissa “fakta-pohjaisissa” kysymyksissä, joissa tekoälyn luontainen taipumus “hallusinoida” voi olla merkittävä vastuuvirhe.

Johtopäätös

Nykyisten ja viimeaikaisten tutkimusten trendit osoittavat, että heuristinen generointi on nopea ja halpa, mutta usein väärä; kun taas RAG on hitaampi, kalliimpi, mutta useammin oikein – sitä useammin, mitä pienempi malli on.

Oman ChatGPT-kokemukseni perusteella väittäisin, että OpenAI käyttää RAG:ia liian niukasti, tarkkuustyökaluna päivittäisen ajon sijaan, erityisesti kun kasvavien kontekstien ongelmat tekevät LLM:istä todennäköisemmin “hallusinoivia”, kun pitkät keskustelut kehittyvät.

Tämä tilanne voisi helpottua tarkistamalla heuristisia vastauksia verkkopohjaisia viranomaislähteitä vastaan ilman odottamista, että loppukäyttäjä epäilee tulosta tai kompastuu siihen, ja ilman, että sisäiset tulokset tarvitsisivat olla niin ilmeisen tyydyttämättömiä, että RAG:n käytön päätös on välttämätön.

Sen sijaan järjestelmä voisi olla koulutettu valikoivasti ja älykkäästi epäilemään itseään tapauskohtaisesti, ja siten osallistumaan webiin heuristisen suodatusprosessin kautta, joka olisi itse heuristinen. En ole tietoinen siitä, jättäisivätkö nykyisten mallien arkkitehtuuret tilaa tällaiselle lähestymistavalle, joka joutuisi lisäämään API-suodattimien kitkaa.

Kuten se nyt on, en voi edes osoittaa, että ongelma on olemassa; ei edes ^† “tunnustuksella”:

* Katso linkki tämän kappaleen alussa.

** Tämä on “itsepaljastuva” GPT-5-järjestelmäkäsky, joka voi olla vain GPT-5:lle uudelleenkoulutettu tiivistelmä prompt-foorumin postauksista, vaikka jotkut väittävät, että käsky on aito.

^† En todellakaan ehdota, että ChatGPT:n “syyllinen” avoimuus on merkityksellistä tässä; minun taipumukseni vastustaa OpenAI:n linjaa tekoälyn politiikassa tarkoittaa, että se lopulta “sopii” minun kanssani ja toistaa oman implisiittisen mielipiteeni. Tämä on kaukana siitä, että se paljastaisi Normandian maihinnousun yksityiskohtia painostuksen alla.

Julkaistu ensimmäisen kerran keskiviikkona, 10. joulukuuta 2025