Miksi kielenmallit eksyvät keskusteluissa

Microsoft Researchin ja Salesforcein uusi tutkimus osoittaa, että jopa kaikkein kyvykkäimmät suuret kielenmallit (LLM) hajoavat, kun ohjeet annetaan vaiheittain eikä kaikki kerran. Tutkijat totesivat, että suorituskyky laskee keskimäärin 39 prosenttia kuudessa tehtävässä, kun viesti jaetaan useaan vuoroon:

Yksivuoroinen keskustelu (vasemmalla) antaa parhaat tulokset, mutta se on epäluonnollinen loppukäyttäjälle. Monivuoroinen keskustelu (oikealla) osoittaa, että jopa korkeimmalle arvostellut ja suorituskykyisimmät LLM:t menettävät tehokkaan impulssin keskustelussa. Lähde: https://arxiv.org/pdf/2505.06120

Enemmän hämmästyttävästi, luotettavuus vasteista laskee jyrkästi, ja arvostetut mallit, kuten ChatGPT-4.1 ja Gemini 2.5 Pro, heiluvat lähes täydellisten vastausten ja ilmeisten epäonnistumisten välillä, riippuen siitä, miten sama tehtävä on muotoiltu; lisäksi tulosten johdonmukaisuus voi laskea yli puoleen prosentilla prosessissa.

Tutkijat esittävät menetelmän, jota kutsutaan shardingiksi*, joka jakaa täysin määritellyt viestit pienempiin palasiin ja vapauttaa ne yksi kerrallaan keskusteluun.

Yksinkertaisimmassa muodossa tämä vastaa yhtä kokonaisvaltaista ja kattavaa tilausta ravintolassa, jolloin tarjoilija joutuu vain vahvistamaan pyynnön; tai päättää käsitellä asian yhteistyössä:

Kaksi ääripäätä ravintolakeskustelusta (ei uudesta tutkimuksesta, vain havainnollistamistarkoituksiin).

Tärkeämpänä esimerkki yllä saattaa asettaa asiakkaan epäedulliseen valoon. Mutta toisen sarakkeen kuvaama perusidea on siinä, että ongelman määrittely tapahtuu ennen sen ratkaisemista – ilmeisesti järkevä ja kohtuullinen tapa lähestyä tehtävää.

Tämä asettelu heijastuu uuden tutkimuksen tyyppisessä, tiputusmuotoisessa sharded -lähestymistavassa LLM-viestintään. Tutkijat huomauttavat, että LLM:t usein tuottavat liian pitkiä vastauksia ja jatkavat riippuvaisuuttaan omista oivalluksistaan jopa sen jälkeen, kun nämä oivallukset on osoitettu virheellisiksi tai merkityksettömiksi. Tämä taipumus, yhdistettynä muihin tekijöihin, voi aiheuttaa järjestelmän menettämän kokonaan otteen vaihdosta.

Itsenäisyys on tosiasia, että tutkijat toteavat, mitä monet meistä ovat havainneet anekdoottisesti – että paras tapa saada keskustelu takaisin raiteilleen on aloittaa uusi keskustelu LLM:n kanssa.

‘Jos keskustelu LLM:n kanssa ei johtanut odotettuihin tuloksiin, uuden keskustelun aloittaminen, jossa toistetaan sama tieto, voi johtaa merkittävästi parempiin tuloksiin kuin keskustelun jatkaminen.’

‘Tämä johtuu siitä, että nykyiset LLM:t voivat eksyä keskustelussa, ja kokeemme osoittavat, että keskustelun jatkaminen mallin kanssa on tehokasta. Lisäksi, koska LLM:t tuottavat tekstiä satunnaisesti, uusi keskustelu voi johtaa parempiin tuloksiin.’

Tutkijat myöntävät, että toiminnalliset järjestelmät, kuten Autogen tai LangChain, voivat parantaa tuloksia toimimalla tulkintakerroksina loppukäyttäjän ja LLM:n välillä, viestimällä LLM:lle vain silloin, kun he ovat keränneet tarpeeksi ‘sharded’ -vastauksia yhdistämiseksi yhdeksi koherentiksi kysymykseksi (jota loppukäyttäjä ei näe).

Kuitenkin tutkijat väittävät, että erillinen abstraktiokerros ei ole välttämätön, tai sen pitäisi olla rakennettu suoraan LLM-lähteeseen:

‘Voi argumentoida, että monivuoroinen kyky ei ole välttämätön LLM:ien ominaisuus, koska se voidaan ulkoistaa agenttirunkoon. Toisin sanoen, tarvitseeko LLM:illä olla ominaisuus monivuoroinen kyky, kun agenttirunko voi orkesteroida vuorovaikutuksia käyttäjien kanssa ja hyödyntää LLM:itä ainoastaan yksivuoraisina toimijoina?…’

Mutta testattuaan tämän väitteen laajasti, he johtavat:

‘[Riippuvaisuus] agenttityyppisestä kehyksestä tietojen prosessointiin saattaa olla rajoittava, ja väitämme, että LLM:ien pitäisi tukea monivuoroinen vuorovaikutus luonnostaan’

Tämä mielenkiintoinen uusi tutkimus on nimeltään LLM:t eksyvät monivuoraisessa keskustelussa, ja se tulee neljältä tutkijalta Microsoft Researchista ja Salesforcesta,

Hajautetut keskustelut

Uusi menetelmä hajottaa perinteiset yksivuoraiset ohjeet pienempiin palasiin, jotka on suunniteltu esitettäviksi avainhetkillä LLM-vuorovaikutuksessa, ja se heijastaa tutkimuksen tuttuja, vuorovaikutteisia keskustelutyylejä.

Jokainen alkuperäinen ohje on yksittäinen, itsenäinen viesti, joka toimittaa koko tehtävän yhdessä, yhdistäen korkean tason kysymyksen, tukitekstin ja kaikki asiaankuuluvat ehdot. Sharded -versio jakaa tämän useaan pienempään osaan, joista jokainen lisää vain yhden tiedon palasen:

<img class=" wp-image-217458" src="https://www.unite.ai/wp-content/uploads/2025/05/sharded-and-unsharded.jpg" alt="Parittaiset ohjeet, jotka osoittavat (a) täydellisen viestin, joka toimitetaan yhdessä vuorossa, ja (b) sen sharded-version, jota käytetään simuloimaan epämääräistä, monivuoroista vuorovaikutusta. Semanttisesti kummankin versio toimittaa saman informaation.

Ensimmäinen palanen esittää aina tehtävän päämäärän, kun taas loput tarjoavat selventäviä yksityiskohtia. Yhdessä ne toimittavat saman sisällön kuin alkuperäinen viesti, mutta jakautuneena luonnollisesti useiden vuorojen ylitse keskustelussa.

Kunkin simuloitudun keskustelun osapuolina ovat avustaja, malli, jota arvioidaan; käyttäjä, simuloitu agentti, jolla on pääsy koko ohjeeseen sharded-muodossa; ja järjestelmä, joka valvoo ja arvioi vaihtoa.

Keskustelu alkaa, kun käyttäjä paljastaa ensimmäisen palasen ja avustaja vastaa vapaasti. Järjestelmä luokittelee tämän vastauksen useaan luokkaan, kuten selventävä pyyntö tai kokonainen vastausyritys.

Jos malli yritys vastata, erillinen komponentti poimii vain relevantin osan arvioinnista, jättäen muun tekstin huomiotta. Jokaisella uudella vuorolla käyttäjä paljastaa yhden lisäpalasen, joka aiheuttaa uuden vastauksen. Vaihto jatkuu, kunnes malli saa vastauksen oikein tai kaikki palaset on paljastettu:

<img class=" wp-image-217459" src="https://www.unite.ai/wp-content/uploads/2025/05/simulating-sharded-conversations.jpg" alt="Sharded-keskustelun simulaation kaavio, jossa arvioidaan malli punaisella.

Aikaiset testit osoittivat, että mallit usein kysyivät tietoa, jota ei ollut jaettu, joten tutkijat hylkäsivät idean paljastaa palaset kiinteässä järjestyksessä. Sen sijaan simulaattori käytettiin päättämään, mikä palanen paljastetaan seuraavaksi, riippuen siitä, miten keskustelu eteni.

Käyttäjäsimulaattori, joka toteutettiin GPT-4o-mini:llä, sai täyden pääsyn koko ohjeeseen ja keskusteluhistoriaan, ja se vastasi päättämällä kussakin vaiheessa, mikä palanen paljastetaan seuraavaksi, riippuen siitä, miten vaihto eteni.

Käyttäjäsimulaattori muokkasi jokaisen palasen säilyttääkseen keskustelun virtauksen, muuttaen samalla merkitystä. Tämä mahdollisti simulaation heijastaa ‘antaa ja vastaanota’ -luonnetta oikeassa dialogissa, säilyttäen samalla ohjauksen tehtävän rakenteesta.

Ennen keskustelun alkamista avustajalle annetaan vain perustiedot, jotka tarvitaan tehtävän suorittamiseen, kuten tietokantakaava tai API-viite. Sille ei kerrota, että ohjeet on jaettu, eikä sitä ohjata tiettyyn tapaan käsittelyssä. Tämä tehdään tarkoituksella: todellisessa maailmassa malleja harvoin kerrotaan, että viesti on epätäydellinen tai päivitetty ajan myötä, ja tämä auttaa simulaation heijastamaan, miten malli käyttäytyy realistisemmassa kontekstissa.

GPT-4o-mini käytettiin myös päättämään, miten mallin vastauksia luokitellaan, ja poimimaan lopullisia vastauksia niistä. Tämä auttoi simulaation säilyttämään joustavuuden, mutta se aiheutti satunnaisia virheitä: kuitenkin usean sadan keskustelun tarkastamisen jälkeen tutkijat totesivat, että alle viisi prosenttia niistä oli ongelmia, ja alle kaksi prosenttia osoitti muutosta lopputuloksessa, ja he pitivät tätä virhelukuna riittävän alhaisena projektin puitteissa.

Simulaatiotilanteet

Tutkijat käyttivät viittä simulaatiotyyppiä testaamaan mallin käyttäytymistä eri olosuhteissa, joista jokainen oli variointi siitä, miten ja milloin ohjeen osia paljastetaan.

Täysi -asetuksessa malli saa koko ohjeen yhdessä vuorossa. Tämä edustaa standardin benchmark-muotoa ja toimii suorituskyvyn vertailukohtana.

Sharded -asetuksessa ohje jaetaan useaan osaan ja toimitetaan yksi kerrallaan, simuloimalla realistisemman, epämääräisen keskustelun. Tämä on pääasiallinen asetustapa, jota käytetään testaamaan, miten hyvin mallit käsittelevät monivuoroinen syötteen.

Concat -asetuksessa palaset yhdistetään takaisin yhdeksi listaksi, säilyttäen sanamuodot, mutta poistamalla vuorovaikutuksen rakenteen. Tämä auttaa erottamaan keskustelun hajauttamisen vaikutukset uudelleenmuotoilusta tai sisällön menetyksestä.

Recap -asetuksessa toiminta on samanlainen kuin Sharded, mutta lopussa kaikki aiemmat palaset toistetaan ennen mallin lopullista vastausta. Tämä testaa, voitaisiinko yhteenvetoviesti auttaa palauttamaan kadonneen kontekstin.

Lopulta, Snowball menee pidemmälle, toistamalla kaikki aiemmat palaset jokaisella vuorolla, pitäen koko ohjeen näkyvissä keskustelun aikana – ja tarjoamalla anteeksi antavan testin monivuoroinen kyvystä.

Simulaatiotyypit, jotka perustuvat sharded-ohjeisiin. Täysin määritelty viesti jaetaan pienempiin osiin, joita voidaan käyttää joko yksivuoraisiin (Täysi, Concat) tai monivuoraisiin (Sharded, Recap, Snowball) keskusteluihin, riippuen siitä, miten nopeasti tietoja paljastetaan.

Tehtävät ja mittarit

Kuusi generointitehtävää valittiin kattamaan sekä ohjelmointi- että luonnollisen kielen alueet: koodigenerointiohjeet otettiin HumanEval:sta ja LiveCodeBench:sta; Teksti-SQL-kyselyt otettiin Spider:sta; API-kutsut rakennettiin Berkeley Function Calling Leaderboard:n tiedoista; perusmatemaattiset ongelmat toimitettiin GSM8K:lta; taulukkokuvaukset perustuivat ToTTo:on; ja monidokumenttisummit otettiin Summary of a Haystack -tietokannasta.

Mallin suorituskyky mitattiin kolmella ydinkohdalla: keskimääräinen suorituskyky, kyky ja epäluotettavuus.

Keskimääräinen suorituskyky sai kiinni, miten hyvin malli suoriutui yleisesti useiden yritysten yli; kyky heijasti parhaat tulokset, joita malli saavutti, perustuen sen korkeimpiin pisteytyksiin; ja epäluotettavuus mittasi, miten paljon nämä tulokset vaihtelivat, suuremmat erot parhaiden ja heikoimpien tuloksien välillä osoittaen vakaampaa käyttäytymistä.

Kaikki pisteytykset asetettiin 0-100 asteikon mukaan, jotta tulokset olisivat yhdenmukaisia tehtävittäin, ja mittarit laskettiin kullekin ohjeelle – ja keskitettiin sitten antamaan yleiskuvan mallin suorituskyvystä.

Kuusi sharded-tehtävää, jotka käytettiin kokeissa, kattavat sekä ohjelmoinnin että luonnollisen kielen generoinnin. Jokainen tehtävä on esitetty täydellisenä ohjeena ja sen sharded-versiona. Kussakin tehtävässä sovellettiin 90-120 ohjetta vakiintuneista vertailuista.

Vastakkainasettelut ja testit

Alkuvaiheen simulaatioissa (joiden arvioitu kustannus oli 5000 dollaria) 600 ohjetta, jotka kattoivat kuusi tehtävää, jaettiin ja käytettiin simuloimaan kolmea keskustelutyyppiä: täysi, concat ja sharded. Kussakin mallin, ohjeen ja simulaatiotyyppien yhdistelmässä suoritettiin kymmenen keskustelua, tuottaen yli 200 000 simulaatiota – skeema, joka mahdollisti sekä yleisen suorituskyvyn että syvemmän kyvyn ja luotettavuuden mittaamisen.

Vastakkainasetteluun osallistui 15 mallia, jotka edustivat laajaa valikoimaa toimittajia ja arkkitehtuureja: OpenAI-mallit GPT-4o (versio 2024-11-20), GPT-4o-mini (2024-07-18), GPT-4.1 (2025-04-14) ja o3 (2025-04-16).

Anthropic-mallit olivat Claude 3 Haiku (2024-03-07) ja Claude 3.7 Sonnet (2025-02-19), jotka oli saatavilla Amazon Bedrockin kautta.

Google osallistui Gemini 2.5 Flash (esikatselu-04-17) ja Gemini 2.5 Pro (esikatselu-03-25). Meta-mallit olivat Llama 3.1-8B-Instruct ja Llama 3.3-70B-Instruct, sekä Llama 4 Scout-17B-16E, Together AI:n kautta.

Muut osallistujat olivat OLMo 2 13B, Phi-4 ja Command-A, jotka oli saatavilla paikallisesti Ollama- tai Cohere API:n kautta; sekä Deepseek-R1, Amazon Bedrockin kautta.

Kahdelle ‘ajattelevalle’ mallille (o3 ja R1) token-rajoitukset korotettiin 10 000:een, jotta pidemmät päättelyketjut voitiin ottaa huomioon:

Keskimääräiset suorituskykypisteytykset kussakin mallissa kuudessa tehtävässä: koodi, tietokanta, toiminnot, data-teksti, matematiikka ja yhteenveto. Tulokset on esitetty kolmessa simulaatiotyyppissä: täysi, concat ja sharded. Mallit on järjestetty keskimääräisen täysi-asetuksen pisteytyksen mukaan. Variointi heijastaa suorituskyvyn laskua täydestä asetuksesta, ja viimeiset kaksi saraketta ilmoittavat keskimääräisiä laskuja concat- ja sharded-asetuksissa täyden asetuksen suhteen.

Tutkijat toteavat^†:

‘Yleisesti ottaen, jokainen malli näyttää heikentyneen suorituskykyä jokaisessa tehtävässä, kun verrataan täysiä ja sharded-suorituskykyjä, ja keskimääräinen heikentyminen on -39%. Tätä ilmiötä kutsutaan eksymiseksi keskustelussa: mallit, jotka saavuttavat erinomaisen (90%+) suorituskyvyn laboratoriomaisessa yksivuoraisen keskustelun asetelmassa, kamppailevat samassa tehtävässä monivuoraisessa asetelmassa.’

Concat -pisteytykset olivat keskimäärin 95 prosenttia täydestä pisteytyksestä, osoittaen, että suorituskyvyn lasku sharded-asetuksessa ei voida selittää tiedon menetyksellä. Pienemmät mallit, kuten Llama3.1-8B-Instruct, OLMo-2-13B ja Claude 3 Haiku, näyttivät voimakkaampaa heikentymistä concat -asetuksessa, osoittaen, että pienemmät mallit ovat yleensä herkempiä uudelleenmuotoilulle kuin suuremmat mallit.

Tutkijat huomauttavat^†:

‘Yllättäen, paremmat mallit (Claude 3.7 Sonnet, Gemini 2.5, GPT-4.1) eksyvät yhtä lailla keskustelussa verrattuna pienempiin malleihin (Llama3.1-8B-Instruct, Phi-4), keskimääräisellä heikentymisellä 30-40%. Tämä johtuu osittain mittausten määritelmistä. Koska pienemmät mallit saavuttavat alempia absoluuttisia pisteytyksiä täydessä asetelmassa, niillä on vähemmän mahdollisuuksia heikentyä kuin paremmilla malleilla.

‘Lyhyesti sanottuna, riippumatta siitä, kuinka vahva LLM:n yksivuorainen suorituskyky on, havaitsemme suuria suorituskyvyn laskuja monivuoraisessa asetelmassa.’

Alkuvaiheen testi osoitti, että jotkut mallit kestivät paremmin tietyissä tehtävissä: Command-A toimissa, Claude 3.7 Sonnet ja GPT-4.1 koodauksessa; ja Gemini 2.5 Pro data-tekstissä, osoittaen, että monivuoroinen kyky vaihtelee toimialueittain. Päättelymallit, kuten o3 ja Deepseek-R1, eivät menestyneet yleisesti ottaen paremmin, luultavasti siksi, että heidän pidemmät vastauksensa aiheuttivat enemmän oletuksia, jotka usein sekoittivat keskustelun.

Luotettavuus

Kyky ja luotettavuuden välinen suhde, joka oli selvä yksivuoraisissa simulaatioissa, näytti hajoavan monivuoraisissa olosuhteissa. Vaikka kyky laski vain kohtuullisesti, luotettavuus kaksinkertaistui keskimäärin. Mallit, jotka olivat vakaat täysissä ohjeissa, kuten GPT-4.1 ja Gemini 2.5 Pro, muuttuivat yhtä epävakaiksi kuin heikommat mallit, kuten Llama3.1-8B-Instruct tai OLMo-2-13B, kun ohje jaettiin.

Kyvyn ja epäluotettavuuden yleiskatsaus, esitetty ruutupiirroksena (a), seurauksena 15 mallin kokeista (b) ja tuloksina sharded-testistä, jossa ohjeet jaettiin yhteen kahteen tai kahdeksaan palaseen (c).

Mallien vastaukset usein vaihtelivat jopa 50 pistettä samassa tehtävässä, vaikka mitään uutta ei lisätty, osoittaen, että suorituskyvyn lasku ei johtunut taidon puutteesta, vaan siitä, että malli tuli yhä epävakaammaksi vuorovaikutuksen aikana.

Tutkimus toteaa^†:

‘[Vaikka] paremmat mallit ovat hieman parempia monivuoraisissa kyvyissään, kaikki testatut mallit ovat samalla tasolla epäluotettavuudessa. Sanallisesti, kaikki mallit, joita testasimme, osoittavat erittäin korkeaa epäluotettavuutta monivuoraisissa, epämääräisissä asetelmissa, suorituskyky heikkenee keskimäärin 50 pistettä parhaan ja heikoimman simuloitujen suoritusten välillä kussakin kiinteässä ohjeessa.’

Tutkijat testasivat, liittyykö suorituskyvyn heikentyminen vuoromäärään, ja suorittivat asteittaisen sharding-kokeen, jakamalla kunkin ohjeen yhteen kahteen tai kahdeksaan palaseen (oikeanpuoleisin sarakkeessa yllä olevassa kuvassa).

Kun palasten määrä kasvoi, epäluotettavuus nousi tasaisesti, vahvistaen, että joskin pienet lisäykset vuoromäärässä tekivät malleja epävakaammiksi. Kyky säilyi suurelta osin muuttumattomana, vahvistaen, että ongelma liittyy johdonmukaisuuteen, ei kykyyn.

Lämpötilan säätely

Erillinen koe testasi, johtuuko epäluotettavuus yksinkertaisesti satunnaisuudesta. Tätä varten tutkijat muuttelivat avustajan ja käyttäjäsimulaattorin lämpötiläasetuksia kolmessa arvossa: 1,0, 0,5 ja 0,0.

Yksivuoraisissa muodoissa, kuten täysi ja concat, avustajan lämpötilan laskeminen paransi merkittävästi luotettavuutta, vähentäen vaihtelua jopa 80 prosentilla; mutta sharded -asetuksessa sama väliintulo ei ollut vaikutusta:

Epäluotettavuuspisteytykset eri avustajan ja käyttäjän lämpötilayhdistelmille täysi-, concat- ja sharded-asetuksissa, alemmat arvot osoittavat suurempaa vastausjohdonmukaisuutta.

Jopa kun sekä avustaja että käyttäjä olivat asetettu nollaan, epäluotettavuus säilyi korkeana, GPT-4o:n vaihtellessa noin 30 prosenttia, osoittaen, että monivuoraisissa keskusteluissa havaittu epävakaus ei johtunut pelkästään stokastisesta melusta, vaan rakenteellisesta heikkoudesta siinä, miten mallit käsittelevät hajautettua syötettä.

Seuraukset

Tutkijat kirjoittavat löytöjensä seurauksista poikkeuksellisen pitkästi tutkimuksen lopussa, väittäen, että vahva yksivuorainen suorituskyky ei takaa monivuoroista luotettavuutta, ja varoittavat liiallisesta riippuvuudesta täysin määriteltyjen vertailujen arviointituloksista, kun arvioidaan todellista maailmanvalmista (koska tällaiset vertailut piilottavat epävakautta luonnollisemmissa, hajautetuissa vuorovaikutuksissa).

He myös ehdottavat, että epäluotettavuus ei ole ainoastaan näytevirhe, vaan perussääntöinen rajoitus siinä, miten nykyiset mallit käsittelevät kehittyvää syötettä, ja he korostavat, että tämä herättää huolta agenttikehyksistä, jotka riippuvat jatkuvasta päättelystä vuorovaikutuksissa.

Lopulta he väittävät, että monivuoroinen kyky tulisi kohdella LLM:ien perusominaisuutena, eikä ulkoistaa ulkoisiin järjestelmiin.

Tutkijat huomauttavat, että heidän tuloksensa alioittavat todellisen ongelman laajuutta, ja korostavat kokeiden ihanteellisia olosuhteita: käyttäjäsimulaattori heidän asetuksessaan oli täysin päässyt koko ohjeeseen ja voitiin paljastaa palaset optimaalisessa järjestyksessä, mikä antoi avustajalle epärealistisen edullisen kontekstin (käytännön käytössä käyttäjät usein toimittavat hajautettuja tai epäselviä ohjeita ilman tietoa, mitä malli tarvitsee kuulla seuraavaksi).

Lisäksi avustaja arvioitiin heti jokaisen vuoron jälkeen, ennen kuin koko keskustelu eteni, estäen myöhempään sekaannukseen tai itseensä ristiriitaisuuteen johtavan heikentymisen rangaistusta, mikä olisi heikentänyt suorituskykyä entisestään. Nämä valinnat, vaikka tarpeen kokeelliselle säätelylle, tarkoittavat, että havaittu epäluotettavuus on todennäköisesti vain aliarvio LLM:ien epäluotettavuudesta ja siitä, kuinka usein LLM:t eksyvät keskustelussa todellisissa maailman tilanteissa.

He johtavat:

‘[Me] uskomme, että suoritetut simulaatiot edustavat lempeää testaamisalustaa LLM:ien monivuoraisille kyvyille. Koska simulaation olosuhteet ovat liian yksinkertaisia, uskomme, että kokeiden aikana havaittu heikentyminen on todennäköisesti aliarvio LLM:ien epäluotettavuudesta ja siitä, kuinka usein LLM:t eksyvät keskustelussa todellisissa maailman tilanteissa.‘

Johtopäätös

Kukaan, joka on viettänyt merkittävän ajan LLM:n kanssa, tunnistaa todennäköisesti ongelmat, jotka on muotoiltu tässä; ja useimmat meistä, kuvittelen, ovat intuitiivisesti hylänneet ‘eksyneitä’ LLM-keskusteluita uusien toivossa, että LLM ‘aloittaisi uudelleen’ ja lopettaisi kiinniottamisen aiemmin esiintyneistä aiheista, jotka tulivat esiin pitkässä, mutkittelevassa ja yhä ärsyttävämmässä vaihdossa.

On mielenkiintoista huomata, että enemmän kontekstia ongelmalle ei välttämättä ratkaise sitä; ja todeta, että tutkimus herättää enemmän kysymyksiä kuin se antaa vastauksia (paitsi keinoja kiertää ongelmaa).

* Epäilyttävästi, tämä ei liity konventionaaliseen ‘sharding’-merkitykseen AI:ssa.

† Tutkijoiden omat lihavoitukset.

Julkaistu ensimmäisen kerran maanantaina, 12. toukokuuta 2025