Miksi tekoälymallit eivät ratkaise radiologian perongelmat

Suurin osa tekoälytyöstä radiologiassa on keskittynyt diagnostisiin malleihin. Tarkoituksena on parantaa tarkkuutta kouluttamalla enemmän dataa ja jalostamalla malleja. Tämä lähestymistapa kohdellaan pääasiassa visuaalisena tunnistustehtävänä, jossa parempi havaitseminen odotetaan parantavan koko järjestelmää. Ensimmäisellä silmäyksellä tämä näyttää järkevältä: jos havaitseminen parane, diagnostinen laatu pitäisi parantua myös. Tämä näkökulma kuitenkin ohittaa pääongelman.

Radiologian perongelma on, miten diagnoosi itsessään on rakennettu. Se ei ole rajoitus kuvioiden tunnistamisesta, vaan siitä, miten työ on järjestetty ja miten päätöksiä tehdään. Ja parantamalla malleja ei voida korjata tätä. Tässä selvitetään, miksi tämä tapahtuu ja mitä muutoksia vaaditaan mallin tarkkuuden parantamisen lisäksi.

Ongelma on rakenteellinen

CV-mallit auttavat kuvioitten tunnistamisessa. Kontrolloiduissa tutkimuksissa ne voivat saavuttaa radiologien vertaisen suorituskyvyn, AUC usein yli 0,90 ja joissakin seulontatilanteissa vastaavat tai ylittävät erikoistuneiden suorituskyvyn. Monilla alueilla havaintojen tunnistaminen ei ole enää päärajoitus.

Samaan aikaan ne toimivat vain kuvadatan kanssa. Ne korostavat mahdollisia löydöksiä, mutta eivät osallistu itse diagnostiseen prosessiin. Ne eivät yhdistä eri syötevirtoja yhteen diagnostiseen tulokseen eivätkä ohjaa, miten päätöksiä tehdään. Monilla alueilla havaintojen tunnistaminen ei ole enää päärajoitus. Ne on suunniteltu tunnistamaan kuvioita, ei osallistumaan diagnoosiin prosessina.

Käytännössä tämä tarkoittaa, että rakennetta ei muuteta. Radiologit vastaavat edelleen tulosten tarkastamisesta ja lopullisista päätöksistä, ja tekoälyn tulokset vaativat usein lisävarmistusta. Vastuu säilyy lääkärillä. Työnkulku ei muutu. Pulmahan on edelleen. Jokainen tutkimus on edelleen yhden radiologin vastuulla, joka odotetaan tarkastavan, tulkitsevan, validoivan ja raportoivan. Tutkimukset osoittavat, että kliinisen suorituskyvyn edelleen riippuu siitä, miten tekoälyvirheitä käsitellään, ja virheelliset tulokset voivat vaikuttaa negatiivisesti päätöksentekoon.

Malli ei voi tarkastella uudelleen omaa päätöstään. Jos se tekee virheen, ei ole mitään keinoa tarkastella tapausta uudelleen lisäkontekstin kanssa. Tulos säilyy kiinteänä, kun taas todellinen diagnoosi vaatii jatkuvaan sopeutumista. Niiden tulokset ovat staattisia, kun taas kliininen päättely on luonteeltaan iteraatiivista.

Tämän seurauksena pullotilat säilyvät, vaihtelut jatkuvat ja prosessi jatkuu yhden radiologin varassa. Kun kuvamäärät kasvavat, yhden erikoistuneen lääkärin perustuva järjestelmä saavuttaa rajansa.

Luottamuskriisi

Tekoäly radiologiassa herättää myös luottamuskriisin.

Radiologi ei kyseenalaista ainoastaan mallin tulosta. Hän kyseenalaista järjestelmää, joka on sen takana, erityisesti kun tekoälyä esitetään korvikkeena sen sijaan, että se olisi työkalu, jonka hän voi hallita. Luottamus malliin on epävakaa. Vähemmän kokeneet lääkärit saattavat luottaa siihen liikaa ja olla havaitsematta virheitä. Kokemattomammat lääkärit, yhden virheen jälkeen, saattavat lopettaa sen käytön. Nämä kaksi mallia — yliriippuvuus ja irtautuminen — aiheuttavat molemmat uusia riskejä sen sijaan, että ne vähentäisivät niitä.

Virheen jälkeen malli usein poistuu päätöksentekoprosessista. Sitä ei enää käytetä työkaluna, vaan se ohitetaan yksinkertaisesti. Tämä rikkoo jatkuvuuden ja rajoittaa sen käytännön arvoa. Käytännössä tämä johtaa epäjohdonmukaiseen käyttöön sen sijaan, että se olisi vakaasti integroitu työnkulkuun.

Tämä heijastaa syvempää ristiriitaa siitä, miten lääketiede toimii. Radiologi ei voi siirtää vastuuta diagnoosista järjestelmälle. Kliininen ja oikeudellinen vastuu säilyy lääkärillä. Tekoälyn käsittely korvikkeena lääkärille on ristiriidassa lääketieteellisen käytännön rakenteen kanssa.

Tämä luo rakenteellisen ristiriidan, jossa malli ehdottaa, mutta lääkärin on vahvistettava. Tunnettu voidaan automatisoida. Vastuu ei voida siirtää. Ja niin kauan kuin vastuu ei voida siirtää, jokaisen mallin tulokset on tarkistettava, mikä rajoittaa sen kykyä vähentää työmäärää.

Teon tehokkuuden illuusio

Tekoäly ei poista työtä radiologilta. Se lisää kerroksen valvontaa. Lääkäri tulkkaa edelleen tutkimuksen ja on myös vahvistettava mallin tulokset. Tämä luo kaksinkertaisen työn sen sijaan, että se säästäisi aikaa. Sen sijaan, että ponnistelut poistettaisiin, tekoäly usein uudelleenjakoaa niitä validoinnin ja korjauksen lisäaskeliin.

Järjestelmä saattaa näyttää nopeammalta, mutta käytännössä aika siirtyy lisätarkasteluihin sen sijaan, että se vähenee. Ajan myötä tämä työkalujen kertyminen lisää operatiivista kuormitusta ilman, että se parantaa perustavasti, miten diagnoosi tuotetaan.

Tekoäly myös esittää fragmentaatiota. Useimmat mallit on suunniteltu kapeaan tehtävään: yhteen anatomiseen alueeseen, modaliteettiin tai patologiaan. Kattamaan todelliset kliiniset tarpeet, klinikan on käytettävä useita malleja. Sen sijaan, että yhtenäinen järjestelmä, tämä johtaa fragmentoituun joukkoon työkaluja.

Kunkin mallin mukana tulee oma liittymänsä, integraationsa ja ylläpitovaatimuksensa. Tämä lisää järjestelmän monimutkaisuutta ja lisää vuorovaikutuspisteitä.

Tämän seurauksena järjestelmästä tulee vaikeampi hallita, kun taas diagnostinen prosessi säilyy muuttumattomana.

Teon skaalautuvuuden rajoitukset

Jokaisen uuden malliversion kanssa on rakennettava uudelleen luottamus. Työnkulku alkaa sopeutua malliin sen sijaan, että se tukee lääkäriä. Tämä siirtää keskustelun pois järjestelmän parantamisesta yksittäisten työkalujen sopeuttamiseen.

Tämä tehdään vaikeammaksi useimpien mallien kapean keskittymisen vuoksi. Kunkin mallin on suunniteltu tiettyyn tehtävään tai anatomiseen alueeseen. Käytännössä tämä tarkoittaa, että klinikan on käytettävä useita malleja samanaikaisesti, kunkin omilla rajoituksillaan, integraatioillaan ja kustannuksillaan. Järjestelmästä tulee vaikeampi toimia.

Samaan aikaan käy ilmi, missä tekoälyllä on eniten vaikutusta tänään. Ei kuvien tulkinnassa, vaan järjestelmän parantamisessa ympärillä — reitittämällä tutkimuksia, hallitsemalla jonot, määrittämällä oikeat erikoistuneet lääkärit ja ennustamalla työmäärää. Nämä alueet hyötyvät koordinoinnista sen sijaan, että ne olisivat erillisiä ennusteita.

Mitä tapahtui käytännössä

Meidän klinikoiden verkostossa, jossa on yli miljoona MRI- ja CT-tutkimusta vuodessa yli 40 klinikassa kolmessa maassa, toteutimme useita tekoälymalleja, mukaan lukien FDA-hyväksytyt ratkaisut. Asettelma oli yksinkertainen: malli analysoi kuvatutkimuksia, generoi raportin ja radiologi tarkasti ja vahvisti sen. Odotettu tulos oli nopeampi käsittelyaika ja vähemmän virheitä.

Käytännössä kokeneet radiologit jatkoivat tutkimusten tulkintaa itse ennen kuin tarkastivat mallin tulokset. Työskenteleminen generoidun tekstin kanssa usein vaati enemmän ponnistelua kuin kirjoittaminen alusta alkaen, koska se ei vastannut heidän raportointityyliään. Prosessi ei nopeutunut ja useissa tapauksissa se hidastui. Joissakin tapauksissa vuorovaikutus mallin kanssa aiheutti enemmän kitkaa kuin arvoa.

Käyttäjän käyttäytyminen myös loi riskejä. Kun malli teki virheen, kokeneet radiologit usein menettivät luottamuksensa ja lopettivat sen käytön. Vähemmän kokeneet lääkärit olivat taas enemmän taipuvaisia luottamaan järjestelmään, mikä lisäsi virheiden ja niihin liittyvien kliinisten ja oikeudellisten riskien mahdollisuuden.

Nämä havainnot osoittavat syvemmän ongelman. Yksittäisten työkalujen parantaminen ei muuta, miten järjestelmä toimii. Pulmahan on työnkulussa, joka on rakennettu yhden radiologin ympärille, joka käsittelee tutkimuksen alusta loppuun. Nämä rajoitukset tekevät vaikeaksi parantaa järjestelmää lisäämällä vain työkaluja.

Meidän DICO:ssa lähestyimme asiaa toisin. Sen sijaan, että lisäsimme tekoälyä olemassa olevaan työnkulkuun, keskityimme itse rakenteeseen. Tutkimukset voidaan jakaa osiin, joista kunkin käsittelee asiaankuuluva erikoistunut lääkäri suoraan kuvadatan parissa. Lopullinen raportti koostuu näistä syötteistä, ja tekoäly tukee koordinointia. Diagnoosi ei ole enää yhden henkilön kirjoittama — se koostuu useista osista.

Nämä eivät olleet mallin laadun ongelmia. Ne olivat rakenteen ongelmia.

Diagnostisen järjestelmän uudelleenarviointi

Moderni radiologia perustuu yhteen oletukseen. Yksi tutkimus, yksi radiologi. Tämä luo pullotilat, vaihtelun ja rajoittaa skaalautuvuuden. Pääongelma ei ole, että mallit tekevät virheitä. Järjestelmä ei ole rakennettu toimimaan niiden kanssa. Se on rakennettu skaalautumattomalle perustalle.

Epäiteratiivinen työkalu on asetettu prosessiin, joka riippuu iteraatiosta. Kliinisessä käytännössä radiologia ei ole yksittäinen päätös. Tutkimukset osoittavat, että alku- ja toisen tulkinnan välillä on erimielisyyttä noin 30 %:ssa tapauksista, ja kliinisesti merkittävät eroavaisuudet voivat vaikuttaa hoitoon noin 18-20 %:ssa tapauksista. Toisen mielipiteen pyytäminen ei ole poikkeus, vaan diagnostisen työn normaali osa.

Laajemmin lääketieteessä toisen mielipiteen pyytäminen johtaa diagnoosin muutokseen 10-62 %:ssa tapauksista, riippuen tilanteesta.

Ilman mahdollisuutta tarkastella uudelleen, koordinoida ja arvioida uudelleen kontekstin kanssa, mallin tulokset säilyvät staattisina, kun taas todellinen diagnoosi vaatii jatkuvaan sopeutumista.

Seuraava askel ei ole tarkempien mallien kehittäminen. Se on diagnostisen järjestelmän uudelleen suunnittelu.

Siirtymä on erillisten tekoälytyökalujen sijaan yhtenäiseen diagnostiikkaa hallinnoivan järjestelmään — jossa diagnoosi ei ole yksittäinen päätös, vaan prosessi, jota ohjataan ja tulkitaan useiden askelten kautta. Rajoitus ei ole älykkäiden mallien puute, vaan järjestelmän puute, joka voi koordinoida diagnostista työtä prosessina.