Terveydenhuollon tekoälyllä on vastuun ongelma

Terveydenhuollossa tekoäly on nykyään upotettu kaikkeen klinisiin päätöksiin, HR:ään ja rahoitusasioihin. Useat organisaatiot kuitenkin puuttuvat edelleen riskienhallinnan valtuutuksesta, jotta voidaan varmistaa, etteivät tekoälytyökalut lopulta aiheuta haittaa. Rakenteellisen valvonnan puute tarkoittaa, että tekoälyyn liittyvät päätökset tehdään ilman selkeää vastuuta, jolloin organisaatiot altistuvat eettisten ja sääntelyn loukkausten vaaralle.

Kun kukaan ei ole vastuussa tekoälyn tekemistä päätöksistä ja toimista, sokeat pisteet laajenevat nopeasti. Tekoälyjärjestelmän tekemien korkean panoksen päätösten ilman valvontaa seuraukset ovat moninaiset ja laajat, erityisesti silloin, kun ihmishenkiä on vaarassa.

Tänään terveydenhuollon tekoälyn hallinnolliset aukot muistuttavat aiempia käänteitä, joissa teknologian kehityskäyrä kiihtyi nopeammin kuin yrityksen kyky hallita sitä. Kävimme läpi tämän pilvilaskennan kanssa: tiimit omaksuivat SaaS:in, IaaS:in ja “varjorahoituksen” nopeuden lisäämiseksi, kun taas hallinto jäljessä perusasioissa, kuten tietoluokittelussa, identiteetin ja pääsyoikeuksien hallinnassa, toimittajien valvonnassa, lokien seuraamisessa ja jaetun vastuun selkeydessä – jolloin vastuu hajosi IT:hen, tietoturvaan, hankintoihin ja liiketoimintaan. Olemme myös nähneet tämän kuluttajien IT:n ja mobiili/BYOD:n nopean kasvun, jossa työntekijät toivat uusia laitteita ja sovelluksia säänneltyihin ympäristöihin kauan ennen kuin organisaatiot olivat kehittäneet kypsiä käytäntöjä salaustekniikoille, päätepisteiden ohjaimille, sovelluksen tarkastamiselle ja sähköisen asiakirjan etsimiselle. Jokaisessa tapauksessa omaksuminen oli järkevää ja usein arvonlisäystä – mutta selkeän omistajuuden, vakioiden valvonnan ja elinkaaren valvonnan puute loi ennustettavissa olevia epäonnistumisia. Tekoälylle oppi on yksinkertainen: hallintoa ei voida tehdä jälkikäteen kiinni innovaatioon; se on rakennettava kuin muut kriittiset infrastruktuurit – tarkoituksella, määritellyillä päätösoikeuksilla, jatkuvailla seurannalla ja pakottavilla esteillä.

Vastuun ongelma

Tekoälyn nopea käyttöönotto on ohittanut hallinnon ja vastuun kehityksen, mikä on johtanut “hajautetun vastuun” aukkoon, jossa kukaan yksittäinen taho ei ota vastuuta, kun tekoäly epäonnistuu.

Vastuu on jo valmiiksi läsnä terveydenhuollossa, ja tekoäly on tuonut uusia haasteita. Tekoälytyökaluilla ei ole tunnustettua oikeudellista identiteettiä, mikä tarkoittaa, että niitä ei voida haastaa oikeuteen tai vakuuttaa, eikä niillä ole mahdollisuutta maksaa oikeudellista korvausta uhreille. Oikeudellisissa menettelyissä virhe on siirrettävä ihmiselle tai yritykselle, ei välineelle.

Tutkijat The Lancet -lehdessä, johtavassa lääketieteellisessä tutkimuslehdessä, väittivät äskettäin, että “laittoman vastuun rakenteet on jaettava uudelleen klinikoista organisaatioihin, jotka suunnittelevat ja käyttöönottoivat [tekoäly]työkaluja.” On selvää, että tällaiset kysymykset vastuusta jatkuvat pitkälle tulevaisuuteen.

Euroopan unioni yrittää käsitellä näitä asioita alueellisella tasolla. Unioni on esittänyt kaksi merkittävää lainsäädäntövälinettä: tekoälylain, joka säätelee tekoälyn käyttöä riskin asteella ja korostaa ihmisen valvonnan säilyttämistä; ja tekoälyn vastuudirektiivi, joka asettaa uudet säännöt, jotka tekevät helpommaksi ihmisille hakea korvausta tekoälyn aiheuttamista vahingoista.

Mutta sääntely yksinään ei ratkaise ongelmaa. Sairaalat toimivat monimutkaisessa verkostossa toimittajia, klinikoita, johtajia ja IT-tiimejä, joten kun tekoälyjärjestelmä tuottaa haitallisen tai harhaanjohtavan tuloksen, vastuu siirretään kuin pallo osapuolten välillä: toimittaja voi viitata väärään käyttöön, klinikit voivat sanoa, että suunnittelu on viallinen, ja johtajuus voi syyttää epäselvää sääntelyä.

Kaikki tämä tarkoittaa, että vastuu on hajautunut, jättäen sairaalat alttiiksi suurille oikeudellisille taisteluille.

Praktiikka hallinnon aukkojen sulkemiseksi

Hyvä uutinen on, että vaikka kattavia sääntelyjä ei ole, terveydenhuollon organisaatiot voivat proaktiivisesti sulkea hallinnon aukot tekoälyssä. Aloittaaksesi johtajat voivat aloittaa Maailman terveysjärjestön raportilla ” Tekoälyn eettisyys ja hallinto terveydenhuollossa“, joka pyrkii maksimoimaan tekoälyn lupausta minimoiden riskiä.

Raportissa esitetyt toimenpiteet pyrkivät suojelemaan autonomiaa, edistämään inhimillistä hyvinvointia ja julkisen turvallisuuden turvallisuutta, varmistamaan avoimuuden ja selitettävyyden ja edistämään vastuuta ja vastuuta. Hallinnon aukkojen käsittelyyn keskittyen tarkastelemme jälkimmäisiä kohtia.

Implementoi yhtenäinen lähestymistapa tekoälyn hallintoon, varmista, että se on suunnattu ylhäältä alaspäin hallitusten tai asiantuntijoiden toimesta. Tällä hetkellä monet organisaatiot antavat yksittäisten osastojen käyttää tekoälyä, missä he näkevät sen sopivan, jättäen johtajat kykenemättömiksi selittämään, miten ja missä organisaatio käyttää näitä työkaluja. Näkyvyys on olennainen, varmista, että sinulla on luettelo siitä, mitä työkaluja käytetään missäkin ja mihin tarkoitukseen.

On yhtä tärkeää perustaa selkeät vastuun rajat tekoälyn elinkaaren ylitse. Tämä tarkoittaa, että henkilö tai osasto on vastuussa kaiken, alkaen hankinnasta ja validoinnista, käyttöönotosta, valvonnasta ja häiriöiden vastuusta. Sairaaloiden on vaadittava toimittajilta, että he täyttävät määritellyt avoimuuden ja tarkastettavuuden vaatimukset, ja varmistettava, että sisäiset tiimit ovat koulutettu ymmärtämään sekä tekoälyjärjestelmien kykyjä että rajoituksia.

Lopulta hallinto on operationalisoitava, ei vain dokumentoitu. Upota käytäntöjä työprosesseihin integroimalla tekoälyn riskiarviot hankintaprosesseihin, suorittamalla säännöllisiä tekoälyn suorituskyvyn tarkasteluja ja luomalla mekanismeja eturintamatiimin ilmoittamiseksi ilman kitkaa.

Käytännössä hallinnon aukon sulkeminen on vähemmän uusien periaatteiden esittelyä ja enemmän kurinpidon toteuttamista: vakioida, miten tekoäly saa pääsyn organisaatioon, määritellä, kuka omistaa sen jokaisessa vaiheessa, ja varmistaa, että sen suorituskyky on jatkuvasti tarkasteltu. Ilman tätä kurinpidon tekoälytyökalut jatkavat kehittymistä rakenteiden yläpuolella, jotka on suunniteltu pitämään ne turvallisina.

Piilotettu riski: datan laatu

Vaikka vastuu rakenteet ovat paikallaan, toinen riski usein aliarvioidaan: tekoälyjärjestelmiin syötettävän datan eheys ja miten nämä järjestelmät kehittyvät ajan myötä. Mikä tahansa tekoälyjärjestelmä on vain niin luotettava kuin data, jolle se on koulutettu ja josta se jatkuvasti oppii, ja sairaaloiden tietoympäristöt ovat mainittavasti hajautuneita, epäjohdonmukaisia ja alttiita aukkoja.

Elektroniset terveystiedot, kuvaukset ja hallintojärjestelmät usein toimivat erillään, luoden ristiriitoja, jotka voivat suoraan vaikuttaa tekoälyn tuloksiin. Malli, joka on koulutettu epätäydellisille tai harhaanjohtaville tietojoukoille, voi tuottaa virheellisiä suosituksia, jotka voivat jäädyttää huomaamattomaksi, kunnes vahinko on jo tapahtunut. Se on erityisen vaarallista kliinisissä ympäristöissä, joissa pienet tarkkuuden poikkeamat voivat kääntyä merkittäviksi seurauksiksi potilaille.

Tätä ongelmaa yhdistää ” mallin siirtymä” : tekoälymallien taipumus poiketa ohjeista ja kontekstista, kun enemmän dataa tulee järjestelmään. Kun potilasväestöt kehittyvät, uudet hoidon ohjeet esitetään ja ulkoiset tekijät vaikuttavat toimintaan, tekoälytyökalujen perusoletukset voivat siirtyä. Ilman jatkuvaista seurantaa ja uudelleenkalibrointia tekoälyjärjestelmä, joka aiemmin suoritti luotettavasti, voi alkaa tehdä toimia tai ehdottaa ratkaisuja, jotka poikkeavat koulutuksestaan.

Toimimaan mallin siirtymän kanssa sairaaloiden on kohdeltava tekoälyjärjestelmiä dynaamisina, korkean riskin varusteina eikä staattisina työkaluina. Tämä tarkoittaa jatkuvaan suorituskyvyn seurantaa, selkeiden tarkkuuden kynnysten määrittelyä ja omistajuuden määrittelyä uudelleen kouluttamiseksi ja validoinniksi. Datanhallinnan on myös vahvistettava, jotta voidaan standardisoida datan laatu, yhteentoimivuus ja harhasuojelu.

Ilman datan laadun ja mallin siirtymän riskeihin liittyvien ongelmien käsittelyä, jopa parhaat tekoälyn hallintorakenteet eivät riitä. Terveydenhuollon tekoälyjärjestelmille, jotka ovat vain yhtä hyviä kuin niiden perustana oleva data, tämän riskin laiminlyönti luo mahdollisuuden järjestelmälliseen epäonnistumiseen jonain päivänä.

Saada oikein ennen kuin saadaan käyntiin

Tekoälyllä on potentiaali muuttaa terveydenhuoltoa parantamalla tehokkuutta, tarkkuutta ja potilastuloksia. Mutta ilman selkeää omistajuutta riskeistä, jotka se tuo esiin, tuo potentiaali voi nopeasti muuttua vastuulliseksi.

Sairaalat eivät voi pitää tekoälyn hallintaa yhtenä noudattamisharjoituksena. Se on kohdeltava yhtenä perusoperaatiivisena prioriteettina: määritellä omistajuus, rakentaa valvonta ja arvioida jatkuvasti. Koska terveydenhuollossa, kun jotain menee pieleen, seuraukset voivat olla paljon pahempia kuin kuka on syyllinen.