Tekoäly suosii ihmisten vastauksia, vaikka ne ovat väärin

Tekoälykielimalleissa on paljastunut sisäänrakennettu vinouma ihmisten auktoriteetin suhteen, jolloin ne antavat enemmän painoa ihmisten kuin muiden tekoälyjärjestelmien vastauksille, vaikka ihmiset olisivatkin väärässä.

Uuden tutkimuksen mukaan useat johtavat avoimen lähdekoodin ja omistajan Large Language Modelit (LLM) antavat enemmän painoa tietolähteille, jotka ne tunnistavat “ihmisen” lähteiksi, verrattuna lähteisiin, jotka ne tunnistavat “tekoäly”-lähteiksi – vaikka ihmisten vastaukset olisivatkin väärin ja tekoälyvastaukset oikein.

Tutkimuksen tekijät toteavat:

‘Tehtävien yli, mallit noudattavat merkittävästi enemmän vastauksia, jotka on merkitty tulevan ihmisten asiantuntijoilta, myös silloin, kun tämä merkintä on väärä, ja muuttavat vastauksiaan asiantuntijoiden suuntaan helpommin kuin muiden LLM-mallien suuntaan.’

Testatuissa malleissa olivat LLM-mallit Grok 3:sta ja Gemini Flash:stä.

Kokeissa kielenmallit joutuivat vastaamaan binäärisiin kysymyksiin ja näytettiin sitten aiempia vastauksia, jotka oli kuvattu malleille joko “ihmisten asiantuntijoiden”, “ystävien” tai “muiden suurten kielenmallien” vastauksina – ainoana muutoksena oli neuvon lähde, ei itse sisältö.

Ensimmäisessä kolmesta testikokoonpanosta mallit saivat riippua omista koulutusmatriiseistaan. Lähde

Tehtävien yli, vastaukset, jotka oli merkitty peräisin ihmisten asiantuntijoilta, painotettiin enemmän, ja mallit olivat todennäköisempiä muuttamaan alkuperäisiä vastauksiaan näiden vastauksien mukaisiksi, jopa silloin, kun asiantuntijoiden vastaus oli väärä ja mallin alkuperäinen vastaus oikea.

Koska yhdeksän alaan erikoistunutta asiantuntijaa vastasi “Ei”, LLM suostuu ja muuttaa mielensä edellisestä vastauksesta.

Kun samat vastaukset oli attribuoitu “muiden” LLM-malleille, vaikutus oli vähäisempi. Sama ilmiö näkyi myös silloin, kun yksi ihmislähde ja yksi tekoälylähde esitettiin riitaisina, koska mallit osoittivat suurempaa taipumusta suosia ihmisten merkittyä asemaa, riippumatta siitä, kumpi puoli oli tosiasiallisesti oikein:

Valittuna yhden alan asiantuntijan mielipide ja LLM-mallin vastaus, isäntä-LLM suosii ihmisen vastausta, joka tässä tapauksessa on väärä, ja hylkää oikean LLM-mallin antaman vastauksen.

Termin ‘ihmisen asiantuntija’ toimii tässä luotettavuuden signaalina, joka muuttaa mallin käyttäytymistä riippumatta siitä, kuinka oikein tiedot itse asiassa ovat; ja tutkijat toteavat, että lähteen luotettavuus on merkittävä tekijä neuvon hyväksymisessä ja noudattamisessa: ihmisten taipumus suosia asiantuntijalähteitä havaittiin vuonna 1959, vaikka vuoden 2007 tutkimus osoittaa, että auktoriteettilähteiden yli- tai alihintaisuus voi tapahtua tietyissä arviointijärjestelmissä. Tutkimuksen tekijät toteavat:

‘Nämä kirjallisuudet osoittavat kaksi merkityksellistä vihjettä, jotka pitäisivät vaikuttaa LLM-mallien käsittelyyn aiempien vastausten kanssa: kuka tuotti vastaukset (luotettavuus) ja kuinka vahva konsensuksen näyttää (signaalin voimakkuus). ‘

‘Samalla LLM-mallit eivät koe sosiaalista hyväksyntää tai häpeää ihmisten tavoin, joten jokainen konformistinen käyttäytyminen on peräisin opitusta heuristiikasta, ohjeiden noudattamisesta tai implisiittisestä luotettavuuden mallinnuksesta.’

LLM-mallien taipumus sycophanttiin muodostaa osan taustaa tässä uudessa tutkimuksessa; jos LLM-mallit ovat taipuvaisia “ihmisten miellyttämiseen”, jopa totuuden ja hyödyllisyyden kustannuksella, miksi ne ei suosisi yleisesti ottaen muita ihmislähteitä suoraan kysyjän lisäksi?

Uusi tutkimus on otsikoitu Kenelle LLM-mallit luottavat? Ihmisen asiantuntijat merkitsevät enemmän kuin muut LLM-mallit, ja se on tehty kahden tutkijan toimesta Indianan yliopistossa Bloomingtonissa.

Menetelmä ja data

Tutkimuksessa arvioitiin neljää ohjattua suurta kielen mallia: Grok-3 Mini; Llama 3.3 70B Instruct; Gemini 2.5 Flash-Lite; ja DeepSeek V3.1, kaikki suoritettiin saman ohjelmistojärjestelmän alla deterministisella dekoodauksella lämpötilassa nolla, jotta ainoastaan lähde-merkintä (ts. ystävät, ihmisen asiantuntijat tai muut suuret kielenmallit) muuttui ehdot, eikä sanamuotoa:

Neljä datasettiä, jotka vaativat binäärisiä vastauksia, valittiin: BoolQ; StrategyQA; ja ETHICS. Tutkijat valitsivat jokaisesta datasetistä kiinteän joukon 300 kysymystä ja vastausta, ja jokainen kysymys vaati vain binäärisen kyllä tai ei -vastauksen. Jokaiseen kysymykseen liittyi lyhyt huomautus, jossa kerrottiin, miten toinen ryhmä oli (väittäen) vastannut samaan kysymykseen.

Mittarit

Käytetyt mittarit olivat tarkkuus; konformismi; haitallinen konformismi; vaihtuvuus; ja vaihtuvuuden suunta.

Tarkkuus mitattiin siinä, kuinka usein mallin vastaus vastasi datasetin merkintää; konformismi, kuinka usein vastaus vastasi ryhmän ilmoittamaa valintaa; haitallinen konformismi erotti saman vaikutuksen, kun ryhmä oli väärä; vaihtuvuus mitattiin siinä, kuinka usein malli hylkäsi alkuperäisen vastauksensa, kun siihen lisättiin sosiaalista tietoa; ja vaihtuvuuden suunta, miten nämä muutokset liikkuivat kohti ihmisten vai muiden LLM-mallien suuntaan.

Token-tasolla tehty analyysi Llama-3.3 70B:lle mitatti, miten mallin sisäiset todennäköisyydet Kyllä ja Ei muuttuivat, kun siihen lisättiin sosiaalinen vihje, ja vertasi näitä muutoksia sen oman taustatietojen perusteella olevaan lähtötilanteeseen, osoittaen vihjeen voimakkuuden:

Kokeet

Koe 1

Ensimmäisessä kahdesta pääkokeesta arvioitiin, kuunteleeko malli enemmän ihmisiä vai muita malleja. Jokainen kysymys sai “ryhmän vastauksen” (ystävät, ihmisen asiantuntijat tai muut suuret kielenmallit).

Ryhmä saattoi olla pieni tai suuri, ja jokainen kysymys esitettiin myös ilman ryhmää. Ryhmän vastaukset asetettiin oikeiksi puolet ajasta ja vääriksi puolet ajasta, ja tarkoituksena oli määrittää, kuinka voimakkaasti malli kallistui ryhmän valintaan:

Tulokset alkukokeesta: BoolQ:n, StrategyQA:n ja ETHICS:n yhdenmukaiset sosiaaliset taustat Grok-3 Mini, Llama-3.3 70B, Gemini-2.5 Flash Lite ja DeepSeek V3.1 -malleille.

BoolQ:n, StrategyQA:n ja ETHICS:n yli, vastaukset, jotka oli merkitty peräisin ihmisten asiantuntijoilta, vaikuttivat malleihin paljon voimakkaammin kuin vastaukset, jotka oli merkitty peräisin ystävistä tai muista suurista kielenmalleista – ja tämä vaikutus kasvoi, kun asiantuntijoita sanottiin olevan enemmän.

Jotta voidaan mitata, milloin tämä vaikutus johti ei-toivottuihin tuloksiin, haitallinen konformismi määriteltiin mahdollisuudeksi, jolla malli seurasi taustaa, joka oli itse asiassa väärä.

Kun yhdeksän asiantuntijaa oli samaa mieltä väärästä vastauksesta, mallit seurasivat heitä 36,5 %:ssa tapauksista BoolQ:ssa, verrattuna 16,0 %:iin, kun sama vastaus oli attribuoitu LLM-malleille; StrategyQA:ssa ero oli 39,0 % vs. 15,5 %; ja ETHICS:ssa se oli 63,9 % vs. 38,7 %:

Llama-3.3 70B:n uskomusten siirtymät BoolQ:ssa.

Toisaalta taustat, jotka oli attribuoitu ystäville, käyttäytyivät lähes täsmälleen samoin kuin ne, jotka oli attribuoitu muille suurille kielenmalleille, osoittaen, että vaikutus johtui nimenomaan sanasta asiantuntija, eikä “sosiaalisista” osoittimista.

Koe 2

Toisessa kokeessa testattavalle LLM-mallille esitettiin kaksi ristiriitaista taustaa – yksi attribuoitiin ihmiselle, toinen toiselle LLM-mallille. Ihminen kuvattiin joko ystävien ryhmänä tai alan asiantuntijana, kun taas vastustaja oli merkitty peräisin muista LLM-malleista. Kaksi aina eri mieltä, yksi sanomalla Kyllä ja toinen Ei.

Kunkin kohteen asetelma oli tasapuolinen, jotta kerta toisensa jälkeen ihminen oli oikein ja toisinaan LLM oikein, jotta voidaan testata, muuttaisiko malli alkuperäistä vastaustaan, kun se kohtaa tämän ristiriidan – ja jos se muuttaa, mihin suuntaan se siirtyy.

Voidakseen nähdä, muuttaisiko malli mielensä, sen vastaus ristiriidassa vertailtiin sen vastaukseen samaan kysymykseen, kun mitään taustoja ei ollut esitetty, jotta mikä tahansa ero voitiin jäljittää ristiriitaisten ihmisten ja LLM-vastausten läsnäoloon.

Analyysi keskittyi kahteen lopputulokseen: muuttaisiko malli vastaustaan; ja jos se teki, liikkuisiko se kohti ihmistä vai LLM:ää.

Tilastolliset testit käytettiin arvioimaan, lisäisikö asiantuntijan merkintä ihmisen kohdalla todennäköisyyttä siirtymiseen kohti ihmisen vastausta, ottaen huomioon erot datasettien ja mallien välillä:

Uskomusten muutos suorassa ihmisen ja LLM:n välisessä ristiriidassa BoolQ:ssa, StrategyQA:ssa ja ETHICS:ssa.

Toisessa kokeessa mallit vastasivat ensin jokaiseen kysymykseen omin avuin, ja sitten heille esitettiin kaksi ristiriitaista vastausta, yksi attribuoitiin ihmiselle ja toinen toiselle LLM-mallille. Analyysi keskittyi vain tapauksiin, joissa malli muutti alkuperäistä vastaustaan.

Kun ihminen oli merkitty asiantuntijaksi, mallit siirtyivät ihmisen puolelle 91,2 %:ssa tapauksista BoolQ:ssa, 94,7 %:ssa StrategyQA:ssa ja 81,3 %:ssa ETHICS:ssa. Kun ihminen oli merkitty ystäväksi, mallit siirtyivät ihmisen puolelle vain 39,8 %:ssa, 37,9 %:ssa ja 27,9 %:ssa, useimmiten puolustaen LLM:ää sen sijaan.

Siirtymät olivat harvinaisia yleensä, mutta yleisempiä asiantuntijoiden kohdalla, ja asiantuntijoiden kehys teki siirtymän kohti ihmistä noin neljänneksen todennäköisemmäksi kuin ystävien kehys.

Tutkijat etsivät selitystä kokeidensa yleisille taipumuksille ja hypoteettisesti:

‘Todennäköinen mekanismi on, että ohjattu koulutus ja mieltymysoptimointi palkitsevat yhteistyöhön perustuvaa käyttäytymistä, mukaan lukien noudattamista kontekstuaalista tietoa, joka voi yleistyä noudattamiseksi sosiaalisesti kehytettyjä taustoja.’

‘Liittyvä työ sycophantismista osoittaa, että RLHF-tyyppiset avustajat priorisoivat joskus sopimista käyttäjän ilmoittamiin uskomuksiin totuudenmukaisuuden sijaan.’

Mielipide: Tekoälyn uskonnon ihmislähteisiin mahdolliset vaarat

Koska verkossa oleva materiaali, joka heijastaa kasvavaa epäilyä tekoälyn puutteista (erityisesti hallusinaatioita), skannataan uusien mallien koulutusdataan, LLM-mallien olemassa oleva taipumus suosia ihmislähteitä näyttää todennäköisesti voimistuvan. Jos me laskemme viimeiset kaksi vuotta (2024-2025 mukaan lukien) kulttuuriseksi virstanpylvääksi tekoälylle, mikä näyttää oikeutetulta useiden tilastojen valossa, voimme odottaa, että suurempi määrä negatiivisia näkemyksiä “tekoälylähteistä” tullaan sisällyttämään laajamittaisiin, kalliisiin LLM-kehyksiin seuraavan vuoden tai parin aikana.

Voimme myös odottaa, että suositut kielenmallit tulevat riippumaan yhä enemmän valikoitujen viranomaisten, kuten hyvin maineikkaiden perinteisten media-alustojen, avusta – vaikka motivaatio tällaisille sopimuksille voi olla enemmänkin pyrkimys lievittää kustantajien vihaa skannatun datan vuoksi kuin vilpitön toive luovuttaa tai jakaa valtaa.

Koska jopa korkean auktoriteetin lähteet, kuten Ars Technica, altistuvat tekoälyajohtaisille virheille, ja koska kehittyvä takaisku tekoälyverkkokäyttäjille uhkaa heikentää lopulta tekoälyn tuotoksen laatua, yleinen taipumus suosia “asiantuntijalähteitä” voi olla ristiriidassa nykyisen kyvyttömyytemme kanssa “ihmisen” tuotoksen tehokkaaseen määrittämiseen ja tunnistamiseen – puhumattakaan siitä, onko lähde “asiantuntija” tai ei (journalistinen konventio, jota myös tekoäly hyökkää).

Parhaimmillaan meillä on nykyisin hajanainen joukko puolivirallisia innovaatioita, joiden tarkoituksena on eksplisiittisesti merkitä sisältöä tekoälyllä luoduksi, kuten Adoben johtama Content Authenticity Initiative ja joitain julkaisijoiden vapaaehtoinen suostumus sisällyttää varoituksia tekoälyn käytöstä tuotoksissaan.

Niinpä vaikka se voi näyttää rohkaisevalta niille, jotka haluavat säilyttää ja vahvistaa ihmislähteet “todellisen” uskottavuuden lähteenä tekoälyjärjestelmien välittämälle todellisuuden konsensukselle, mitä varmemmin LLM-mallit ovat ihmisten auktoriteetista, sitä vaarallisempaa “väärä” ihmisen auktoriteetti voi tulla.

Ongelma on yhtä paljon käytännöllinen kuin teoreettinen: emme ole ratkaisseet ongelmaa, joko määrittelemällä tai todistamalla alkuperän; siksi tekoäly, joka “luottaa ihmisten lähteisiin”, on todennäköisemmin attribuoimaan inhimillisyyttä tekoälyn omiin tuotoksiin, yksinkertaisesti siksi, että emme ole tarjonneet, eikä voi helposti tarjota, merkityksellisiä alkuperän todistusmekanismeja.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran perjantaina 20. helmikuuta 2026