Loistavat kaaviot voivat tehdä jopa “pahasta” tutkimuksesta luotettavan

Uusi tutkimus osoittaa, että monimutkaisten ja yksityiskohtaisten kaavioiden lisääminen voi tehdä ihmisistä luottavaisia aiheuttajien vinoutuneisiin päätöksiin, vaikka ne ovat ilmiselvästi epäoikeudenmukaisia.

Vaikka “tiedeynnän” käsite edeltää merkittävästi nykyistä tekoälyä, se on kiistatta täydellistymässä tässä aikakaudessa – ei vähiten siksi, että tieteellisten artikkeleiden julkaisujen viimeaikainen kasvu on tehnyt signaali-melun suhteen epäedulliseksi, ja “halvat temput” ovat kiistatta yleisempiä.

Uskollisesti vanhaan sanontaan “valheet, saatanan valheet ja tilastot“, keskeinen väline, jota käytetään pettämään tai johtamaan lukijoita harhaan, esittäessä uusia järjestelmiä ja tieteellisiä todisteita, jotka selittävät tai oikeuttavat niiden väitteitä, ovat kaaviot ja data-analyysi.

Vuonna 2019 tutkimuksessa kaavioiden vaikutuksesta osallistujiin Pennsylvanian maaseudulla, tutkimuksen tekijät havaitsivat:

‘Ihmiset, jotka olivat vaikuttaneet väkivaltaan tai riippuvuuteen, suosivat kaavioita, jotka edustivat näitä aineita. Ihmiset usein määrittelivät kaavion laadun sen perusteella, kuinka helppo tai vaikea se oli löytää heidän kotiosavaltionsa.

‘Muut ihmiset arvioivat kaavioita ei niiden oman ymmärryksen perusteella, vaan kaavion havaitun tehokkuuden perusteella viestimään muiden ihmisten kanssa.

‘Lopulta yksi osallistuja ehdotti, että hän kiinnittäisi enemmän huomiota paikallisten uutislähteiden visualisointiin kuin kansallisten.

Jotkut kaaviot, jotka esitettiin Pennsylvanian maaseudun asukkaille vuonna 2019. Lähde

Kaavioiden lumoava vaikutus on erityisen merkittävä uuden tekoälyajan aikana, jossa luottamus on kriittinen tekoälytalouden ylläpitämiseksi (ja, kiistatta, tekoälyn romahduksen estämiseksi).

Vuoden 2024 US/UK yhteistyö Luottamusroska ja paholaisen vivut: tekoälyn visualisoinnin luottamuksen kalibrointi esitteli Luottamusroska-käsitteen: XAI-visualisoinnin, jolla ei ole merkityksellistä yhteyttä perustana olevaan malliin tai tietoihin [ja] jota käytetään luottamuksen lisäämiseen:

Paperista “Luottamusroska ja paholaisen vivut: tekoälyn visualisoinnin luottamuksen kalibrointi”, esimerkki siitä, miten dataa voidaan käyttää tarkoituksenmukaiseen tarkoitukseen (oikea), sen sijaan, että se esitetään selkeästi (vasen). Tämäntapainen lähestymistapa “rohkaisee yliriippuvuutta ja yllättää käyttäjää, samalla luoden illuusion hallinnasta”, tutkimuksen mukaan. Lähde

Pikakatsaus

Koska Luottamusroska-käsite esiteltiin, sitä ei ole testattu – ylihintaa, jonka uusi tutkimus osoittaa, jossa osallistujille esitettiin tuloksia oletetusta tekoälytutkimuksesta, joka koski sitä, kuka todennäköisesti pääsisi läpi Yhdysvaltain lakitutkinnon.

Jos tarkasteli tarkkaan, huomasi, että suodatuskriteerit olivat a) kaikki mustat miehet ja b) kaikki muut – ja ennustettiin, että kaikki mustat miehet epäonnistuisivat kokeessa:

<img class="size-full wp-image-436268" src="https://emilywall.github.io/media/papers/TrustOnionPACVIS24.pdf" alt="Uudesta tutkimuksesta: annotoitu ärsyke, jota käytettiin tutkijoiden kokeissa, osoittaa mallipäätöksen (C) siitä, pääseekö ehdokas (B) läpi lakitutkinnon, sekä selittävät komponentit, jotka toimivat "luottamusroskana" (A, D, E, F). Malli on syrjivä, mutta lisääntyvä määrä pääasiassa merkityksettömiä selittäviä tietoja johtaa osallistujien suostuvan sen tuloksiin ja pitävän sitä reiluna. Lähde

Suurin osa osallistujista suostui mallin ennusteisiin ja arvosti sitä reiluksi ja luotettavaksi, ja suostumus, luottamus ja koettu reiluus kasvoivat, kun lisääntyvä määrä merkityksettömiä kaavioita ja yksityiskohtia lisättiin – vaikka vähemmän ihmisiä huomasi ilmeisen ja avoimen rotu- ja sukupuolivallin.

Jotkut käyttäjät vastustivat tutkimusta, mutta ei ilmeisesti sen keskeisen asian vuoksi:

‘Huomasimme 19 tapausta, joissa osallistujat kuvasivat mallin reiluksi (esim. [osallistuja] sanoi, “Se on reilu, koska siinä ei ole rotu- tai sukupuolivallin”). Osallistujat ilmaisivat kuitenkin joskus epämukavuutta mallin suhteen. [Yksi osallistuja] sanoi olevansa huolissaan “mikälaista pimeyttä ihmiset voisivat käyttää sen hyväkseen”.

Kuitenkin kaikkien kolmen tutkimusryhmän osallistujat eivät havainneet todellista ongelmaa.

Tutkijat toteavat*:

‘Lyhykäisyydessä, havaitsemme, että luottamusroska toimi: osallistujat olivat joko “lohdutettuja” merkityksettömästä tiedosta tai “turtutettuja” suuren määrän tietoa selityksissä.

‘Kaikki tämä manipulointi ja vakuuttaminen tapahtui mallin puitteissa, joka oli pinta-alaltaan syrjivä, juuri sellainen tapaus, jossa toivoisimme XAI:n antavan mahdollisuuden maallikoille tehdä oikein.

Koska meitä kehotetaan tarkistamaan, mitä tekoäly meille kertoo (joko epäilyttävien itsekkäiden motiivien tai virhealttiiden tulosten vuoksi), meidän kannattaa kaivaa syvemmälle otsikoiden alle ja analyysoida tutkimuspaperien, yritysten neljännesvuosiraporttien ja muiden kaukaisen neutraliteetin tiedonvälitysmuotojen lähdemateriaalia.

Mutta olemme valmiit kiinnittämään enemmän huomiota “lohduttaviin” kaavioihin, jotka vakuuttavat meitä oikeellisuudesta – tai ainakin alentamaan “totuuden sumun”, jonka kaavioita voi aiheuttaa?

Uusi tutkimus “Luottamusroska johtaa perusteettomaan tukeen syrjiviin ennustemalleihin” on tehty kolmen tutkijan toimesta Northeastern Universityssa Bostonissa, Massachusettsissa. Lisäaineisto on myös saatavilla.

Menetelmä

Tutkijat suorittivat joukko-osallistujien kokeen “luottamusroskan” vaikutuksesta XAI-selityksiin, testaten, voisivatko lisääntyvät määrät teknisesti oikein, mutta merkityksettömiä yksityiskohtia, vakuuttaa käyttäjiä siitä, että vinoutunut malli on reilu ja hyödyllinen.

Tutkimusaineisto perustui aiempaan tutkimukseen, ja tuloksena oli XAI-ohjaus, joka yhdisti useita selitysmenetelmiä yhteen käyttöliittymään.

Edellä mainituille erittäin “syrjiville” osallistujille tutkijat kehittivät “roska”-selityksiä tutkimukseen, selitykset, jotka suunniteltiin “harhaanjohtavien” tietojen esittämistekniikoiden ympärille:

‘Tarjosimme liian paljon tietoa mallin binääriselle luokittelutehtävälle. Lisäämme suuria määriä monimutkaisen näköisiä, mutta lopulta merkityksettömiä yksityiskohtia, tarkoituksena oli ylittää käyttäjien kyky ymmärtää dataa, sen sijaan, että tarjotaan todella hyödyllistä tietoa.

‘Tämä tekniikka [metaforisesti] turruttaa käyttäjää hyväksymään oman kyvyttömyytensä ymmärtää dataa […].

Tutkimus perustuu aiempiin kiistoihin tekoälyarvioinnista kansainvälisessä ylioppilastutkinnossa ja yleisissä tutkinnossa, käyttäen lakitutkinnon läpäisemistodistuksen tietokantaa, joka sisältää demograafisia, akateemisia ja tulostietoja 20 000 ehdokkaalle vuosilta 1991-1997.

Tätä dataa käytettiin syrjivän mallin rakentamiseen, joka ennusti, että mustat miehet epäonnistuisivat kokeessa, kun taas kaikki muut pääsisivät läpi; mutta malli saavutti silti 93,7 %:n oikean tuloksen, johtuen luokkatasapainottomuudesta rotu- ja sukupuoliryhmittäin.

“Vallan valttina” -strategiaa myös testattiin, jossa käytettiin näennäisesti vaikuttavia viitteitä, kuten arvostetun yliopiston yhteys, tietojoukon koko ja harhaanjohtava tarkkuus.

Lisäksi toimenpiteet, jotka olisivat paljastaneet mallin riippuvuuden rodusta ja sukupuolesta, jätettiin pois, ja esitettiin vain myönteisiä tuloksia. Pieni joukko samankaltaisia ehdokkaita esitettiin heidän todellisten tutkintotuloksien rinnalla, sen sijaan, että esitettiin mallin ennusteita – ja tämä auttoi peittämään mustien miesten johdonmukaisen epäonnistumisen mallissa.

Jotta osallistujat tulkitsivat järjestelmää, tietoa esitettiin tavalla, joka rohkaisi heitä muodostamaan yksinkertaisia, mutta harhaanjohtavia selityksiä siitä, miten malli toimi. Kaikkien saatavilla olevien ominaisuuksien yksityiskohtia esitettiin, luoden vaikutelman, että useat tekijät vaikuttivat päätökseen, vaikka vain rotu ja sukupuoli käytettiin. Kyyninen painotus yksilöllisille ominaisuuksille rohkaisi osallistujia rakentamaan uskottavia, mutta vääräksi osoittautuneita tarinoita siitä, miksi ehdokas ennustettiin pääsevän läpi tai epäonnistuvan.

Uhrinsyöjät

Kokeen ryhmässä jokainen selitys määriteltiin yhdelle kolmesta luottamusroskan tasosta kolmen ehdotusryhmän kautta: osallistujat Perus-ehdossa näkivät vain perustiedot, ehdokkaan profiilin ja mallin päätöksen; ne, jotka olivat Malli-ehdossa, näkivät myös tarkkuustilastot; ja ne, jotka olivat Kaikki-ehdossa, näkivät myös piirroshistogrammeja ja profiileja samankaltaisista ehdokkaista koulutusaineistosta.

Tutkimus hyväksyttiin institutionaalisen tarkastelulautakunnan toimesta, ja se toteutettiin Prolific-palvelussa, jossa osallistujat saivat 15 dollaria tunnilta, ja heidät jaettiin satunnaisesti ehtoihin.

Jokainen osallistuja tarkasti kahdeksan lakitutkinnon ehdokkaan profiilia satunnaisessa järjestyksessä, ja arvioi, pääsivätkö he läpi, ja suostumus käytettiin riippuvuuden mittarina, seurattuna kyselyllä, jolla arvioitiin luottamus, ja lopullinen otos 28, 27 ja 28 osallistujaa Perus– Malli– ja Kaikki-ehdoissa.

Tutkijat esittivät, että lisäämällä enemmän näennäisesti rikasta, mutta lopulta hämäävää tai epätäydellistä tietoa, voitiin “luottamusroskata” malli luomalla aiheeton luottamus sen tuloksiin. He odottivat, että osallistujat Malli– ja Kaikki-ehdoissa näyttäisivät suurempaa suostumusta ja vahvempaa luottamusta, reiluutta ja hyödyllisyyttä kuin Perus-ehdossa. He analysoivat myös osallistujien kirjalliset selitykset, tarkastaen, miten osallistujat ymmärtivät mallin päätöksiä, keskittyen siihen, onko he huomasivat sen vinoutuneisuuden tai tietojen puutteen.

Tulokset

Mallin suostumus oli sellainen, että ihmiset tunnistivat oikean tuloksen 66,6 %:ssa tapauksista, mutta suostuivat malliin 73,9 %:ssa tapauksista – osoittaen taipumusta seurata mallin päätöksiä, vaikka ne olivat väärin. Tämä vaikutus vahvistui, kun lisättiin enemmän selittävää tietoa, ja yksityiskohtaisin ehdotus nosti suostumusta 82,6 %:iin, ja lisäsi todennäköisyyttä, että osallistujat väärin luovuttivat mallille:

Yhteenvetotulokset suostumuksesta (vasen), luottamuksesta (keski) ja tyytyväisyydestä (oikea); osallistujat “Kaikki”-ehdossa, jotka altistuivat lisääntyneelle selittävälle sisällölle, johtamattomalle reiluudelle, ilmoittivat merkittävästi korkeampia tuloksia kaikilla mittareilla, vaikka malli oli samanlainen ja ilmiselvästi epäoikeudenmukainen.

Luottamustulokset vaihtelivat merkittävästi ehdotuksesta riippuen, osallistujat Kaikki-ehdossa ilmoittivat korkeamman luottamuksen (M = 25,3) kuin ne Perus-ehdossa (M = 16,8), kun taas Malli-ehdossa (M = 20,1) ei ollut tilastollisesti merkittävää eroa kumpaankaan.

Tyytyväisyyden selitykselle oli tilastollisesti merkittävä ero ehdotuksesta riippuen, osallistujat Kaikki-ehdossa ilmoittivat korkeamman tyytyväisyyden (M = 34,2) kuin muissa ehdotuksissa (M = 26,4).

Osallistujat arvioivat reiluutta neljällä kysymyksellä seitsemän pisteen asteikolla, jotka kattoivat sukupuolivallin, yleisen vallin ja eettisyyden, eikä havaittu merkittäviä eroja ehdotusten välillä:

Jakautuminen osallistujien arvioissa ehdotusten mukaan koettua reiluutta rodun ja sukupuolen suhteen, puuttuvan vallin ja yleisen eettisyyden suhteen. Korkeammat tasot selittävää tietoa liittyvät hieman korkeampiin arvioihin reiluudesta ja vallittomuudesta, vaikka perimmäinen malli on muuttumaton ja epäoikeudenmukainen.

Ero havaittiin kuitenkin rodun suhteen, jossa Perus-ryhmä arvioi mallin vähiten reiluksi (M = 3,9), kun taas Malli– ja Kaikki-ryhmät arvioivat sen korkeammaksi (M = 4,8). Suurempi osa osallistujista, jotka katsoivat ilmiselvästi epäoikeudenmukaista mallia reiluksi, tuli kahdesta ryhmästä, joille esitettiin enemmän selittävää tietoa – jotka olivat myös vähiten todennäköisiä havaitsemaan sen vallin.

Laatukontrolli

Laadulliset vastaukset osoittivat, että osallistujat, joille esitettiin vähiten tietoa, olivat todennäköisemmin havainneet ongelmia mallissa – erityisesti sen riippuvuutta rodusta ja sukupuolesta. He olivat myös todennäköisemmin sanoneet, että tärkeitä yksityiskohtia puuttui.

Toisaalta osallistujat, joille esitettiin enemmän yksityiskohtaisia selityksiä, ilmaisivat nämä huolet harvemmin. Vaikka vain kolme osallistujaa kaikissa ehdotuksissa osoittivat jopa osittaisen ymmärryksen mallin päätöksiä ohjaavista tekijöistä; ja kukaan ei täysin tunnistanut, miten se toimi.

Kaaviot, jotka osoittavat, kuinka usein osallistujat ilmoittivat mahdollista rotu- tai sukupuolivallin ja puuttuvan selittävän tiedon ehdotusten mukaan, korkeammat tasot selittävää tietoa liittyvät vähemmän osallistujiin, jotka huomasivat vallin tai ilmoittivat puuttuvan tiedon – vaikka malli perustui ainoastaan rotuun ja sukupuoleen.

Monet osallistujat kuvasivat mallin reiluksi, 19 tällaista vastausta kirjattiin, vaikka se oli ilmiselvästi syrjivä.

Samaan aikaan jotkut epäilykset ilmaantuivat, useat osallistujat ilmaisivat huolta siitä, miten tällainen järjestelmä voisi olla käytössä, ja 15 vastausta kyseenalaisti, voisi ko malli todella kaapata yksittäisten ehdokkaiden monimutkaisuuden.

Tutkijat toteavat:

‘Vain vähäinen osa osallistujista kuvasi mallin epäoikeudenmukaiseksi tai syrjiväksi. Harvat osallistujat, jotka ilmoittivat huolia mallista, eivät kyenneet täsmällisesti ilmaisemaan, miksi malli oli virheellinen, ja puuttuvan tärkeän mallitiedon puuttuessa, turvautuivat epävirallisiin, usein virheellisiin päättelyyn mallin virheellisyydestä tai epäoikeudenmukaisuudesta.’

Tutkimus johtaa*^†:

‘Vaikka jotkut ongelmista, joita olemme paljastaneet, voidaan ratkaista lisäämällä tietojen lukutaitoa yleisöihin, koulutus yksin ei riitä (jopa itsekuvailevat tekoälyasiantuntijat tulkkaavat tai eivät ymmärrä XAI-tekniikoita).

‘Toistamme Hullmanin ja kollegoiden väitteen: tekoälyselitysten menestyksestä voidaan arvioida vain, kun otetaan huomioon tällaisten selitysten tavoitteet.

‘Kehotamme yhteisöä kiinnittämään huomiota tekoälyselitysten retorisiin tavoitteisiin ja niiden manipuloivaan voimaan vakuuttavina artefakteina.’

Johtopäätös

Kun edistyksellisten mallien taipumus “koristella” lauseita vääränkauloisilla kaavioilla tulee ilmi, on selvää, ettei tekoälykaavioita pidä luottaa vallan perustana, ja yleinen “ambient” -vaikutus visualisoinneista on jotain, minkä kanssa meidän tulisi aloittaa alentaminen – aivan kuten valokuvien luottamus on heikentynyt syvän väärennöksen myötä.

Tämä on kiistatta hälyttävä kehitys, koska se edustaa toista “uupumispistettä” yleisön tahdon tarkastella mitä he näkevät ja kuulevat mediassa, ja riskin “terminaalista antautumista” virheelliseen tietoon.

* Minun korvaaminen kirjoittajien sisäisillä viittauksilla hyperlinkkeinä.

^† Kirjoittajien alkuperäinen muotoilu, ei minun.

Julkaistu ensimmäisen kerran maanantaina, 20. heinäkuuta 2026