Terveydenhuollon tekoälyllä on vastuun ongelma

Terveydenhuollossa tekoäly on nykyään upotettu kaikkeen klinisiin päätöksiin, HR:ään ja rahoitukseen. Useat organisaatiot kuitenkin puuttuvat edelleen riskienhallinnan valtuutuksesta, jotta voidaan varmistaa, etteivät tekoälytyökalut lopulta aiheuta vahinkoa. Rakenteellisen valvonnan puute tarkoittaa, että tekoälyyn liittyvät päätökset tehdään ilman selkeää vastuuta, altistaen organisaatiot etiikan ja sääntelyrikkomusten vaaralle.

Kun kukaan ei ole vastuussa tekoälyn tekemistä päätöksistä ja toimista, sokeat pisteet laajenevat nopeasti. Tekoälyjärjestelmän tekemien korkean riskin päätösten ilman valvontaa seuraukset ovat moninaiset ja laajat, etenkin kun kyse on ihmishengistä.

Nykyiset tekoälyhallinnon aukot muistuttavat aiempia käännekohtia, joissa teknologian kehityskäyrä kiihtyi nopeammin kuin yrityksen kyky hallita sitä. Kävimme läpi tämän pilvilaskennan kanssa: tiimit omaksuivat SaaS:in, IaaS:in ja “varjoteknologian” siirtyäkseen nopeammin, kun taas hallinto jäljessä perusasioissa kuten tietoluokittelussa, identiteetin ja pääsystä, toimittajavalvonnassa, lokituksessa/seurannassa ja jaetun vastuun selkeydessä – jolloin vastuu hajosi IT:hen, tietoturvaan, hankintoihin ja liiketoimintaan. Olemme myös nähneet tämän nopean IT-konsumerisoinnin ja mobiili/BYOD:n kanssa, jossa työntekijät toivat uusia laitteita ja sovelluksia säänneltyihin ympäristöihin pitkään ennen kuin organisaatiot olivat kehittäneet kypsiä käytäntöjä salaukselle, päätepisteiden ohjaimille, sovelluksen tarkastamiselle ja e-tutkimukselle. Jokaisessa tapauksessa omaksuminen oli järkevää ja usein arvonlisäystä – mutta selkeän omistajuuden, standardoitujen valvontatoimien ja elinkaaren valvonnan puute loi ennustettavissa olevia epäonnistumisia. Tekoälylle oppi on suora: hallinto ei voi olla jälkikäteen kiinnitetty innovaatioon; se on rakennettava kuin muut kriittiset infrastruktuurit – tarkoituksella, määritellyillä päätösoikeuksilla, jatkuvalla seurannalla ja pakottavilla esteillä.

Vastuun ongelma

Tekoälyn nopea käyttöönotto on ohittanut hallinnon ja vastuun kehityksen, johtaen “hajautetun vastuun” aukkoon, jossa kukaan yksittäinen taho ei ota vastuuta, kun tekoäly epäonnistuu.

Vastuu on jo valmiiksi läsnä oleva kysymys terveydenhuollossa, ja tekoäly on tuonut uusia haasteita. Tekoälytyökaluilla ei ole tunnustettua oikeudellista identiteettiä, mikä tarkoittaa, että niitä ei voida haastaa oikeuteen tai vakuuttaa, eikä niitä voida maksaa oikeudellista korvausta uhreille. Oikeudellisissa menettelyissä virhe on siirrettävä ihmisen toimijalle tai yritykselle, ei työkalulle.

Tutkijat The Lancet -lehdessä, johtavassa lääketieteellisessä tutkimuslehdessä, argumentoivat äskettäin, että “laittoman vastuun rakenteiden on uudelleen jaettava vastuuta kliinikoista organisaatioihin, jotka suunnittelevat ja käyttöönottoivat [tekoäly]työkaluja.” On selvää, että tällaiset kysymykset vastuusta jatkuvat pitkälle tulevaisuuteen.

Euroopan unioni yrittää käsitellä näitä kysymyksiä alueellisella tasolla. Unioni on esittänyt kaksi merkittävää lainsäädäntövälinettä: tekoälylain, joka säätelee tekoälyn käyttöä riskin asteella ja korostaa ihmisen valvonnan säilyttämistä; ja tekoälyvastuudirektiivi, joka asettaa uudet säännöt, jotka tekevät helpommaksi ihmisille hakea korvausta tekoälyn aiheuttamista vahingoista.

Mutta sääntely yksin ei ratkaise ongelmaa. Sairaalat toimivat monimutkaisessa verkostossa toimittajia, kliinikoita, johtajia ja IT-tiimejä, joten kun tekoälyjärjestelmä tuottaa haitallisen tai harhaanjohtavan tuloksen, vastuu siirretään kuin pallo osapuolten välillä: toimittaja voi osoittaa virheelliseen käyttöön, klinikkoihin voi sanoa, että suunnittelu on vajavaista, ja johtajuus voi syyttää sääntelyä epämääräisyydestä.

Kaikki tämä tarkoittaa, että vastuu on hajautunut, jättäen sairaalat alttiiksi suurille oikeudellisille taisteluille.

Praktiikkaa hallinnon aukkojen sulkemiseksi

Hyvä uutinen on, että vaikka kattavia sääntelyjä ei ole, terveydenhuollon organisaatiot voivat proaktiivisesti sulkea tekoälyhallinnon aukot. Aloittaaksesi johtajat voivat aloittaa Maailman terveysjärjestön raportilla “Tekoälyn eettisyys ja hallinto terveydenhuollossa“, joka pyrkii maksimoimaan tekoälyn lupausta minimoiden riskiä.

Raportissa esitetyt toimenpiteet pyrkivät suojelemaan itsemääräämisoikeutta, edistämään inhimillistä hyvinvointia ja julkista turvallisuutta, varmistamaan avoimuuden ja selitettävyyden sekä edistämään vastuuta ja vastuullisuutta. Hallinnon aukkojen käsittelyssä keskitytään jälkimmäisiin kohtiin.

Implementoi yhtenäinen lähestymistapa tekoälyhallintoon, varmista, että se on suunnattu ylhäältä alaspäin hallitusten tai asiantuntijoiden toimesta. Tällä hetkellä monet organisaatiot antavat yksittäisten osastojen käyttää tekoälyä, missä he näkevät sen sopivan, jättäen johtajat kykenemättömiksi selittämään, miten ja missä organisaatio käyttää näitä työkaluja. Näkyvyys on olennainen, varmista, että sinulla on luettelo siitä, mitkä työkalut ovat käytössä missäkin ja mihin tarkoitukseen.

On yhtä tärkeää määritellä selkeät vastuun rajat tekoälyn elinkaaren aikana. Tämä tarkoittaa, että henkilö tai osasto on vastuussa kaikosta hankinnasta ja validoinnista käyttöönoton seurantaan ja tapahtumanvastuuseen. Sairaaloiden on vaadittava toimittajilta, että he täyttävät määritellyt avoimuuden ja auditoinnin vaatimukset, ja varmistettava, että sisäiset tiimit ovat koulutettu ymmärtämään sekä tekoälyjärjestelmien kykyjä että rajoituksia.

Lopulta hallinto on operationalisoitava, ei vain dokumentoitu. Upota käytäntöjä työprosesseihin integroimalla tekoälyriskiarviot hankintaprosesseihin, suorittamalla säännöllisiä tekoälysuorituskyvyn tarkastuksia ja luomalla mekanismeja eturintamatiimin ilmoittamiseen ilman kitkaa.

Käytännössä hallinnon aukon sulkeminen on vähemmän uusien periaatteiden esittelyä ja enemmän kurinpidon toteuttamista: standardisoi, miten tekoäly saapuu organisaatioon, määrittele, kuka omistaa sen jokaisessa vaiheessa, ja varmista, että sen suorituskyky on jatkuvasti tarkasteltu. Ilman tätä kurinpidon tekoälytyökalut jatkavat ylittämään rakenteita, jotka on suunniteltu pitämään ne turvallisina.

Piilotettu riski: datan laatu

Vaikka vastuurakenteet ovat paikallaan, toinen riski usein aliarvioidaan: tekoälyjärjestelmiin syötettävän datan eheys ja miten nämä järjestelmät kehittyvät ajan myötä. Mikä tahansa tekoälyjärjestelmä on vain yhtä luotettava kuin data, jolle se on koulutettu ja josta se jatkuvasti oppii, ja sairaaloiden dataympäristöt ovat mainittavasti hajautuneita, epäjohdonmukaisia ja alttiita aukkoja.

Elektroniset terveystiedot, kuvauksijärjestelmät ja hallintojärjestelmät toimivat usein erillään, luoden ristiriitoja, jotka voivat suoraan vaikuttaa tekoälytuloksiin. Malli, joka on koulutettu epätäydellisille tai harhaanjohtaville tietojoukoille, voi tuottaa virheellisiä suosituksia, jotka voivat jäädyttää huomaamattomaksi, kunnes vahinko on jo tapahtunut. Se on erityisen vaarallista kliinisissä ympäristöissä, joissa pienet tarkkuuden poikkeamat voivat kääntyä merkittäviksi seurauksiksi potilaille.

Tätä ongelmaa yhdistää “mallin siirtymä”: tekoälymallien taipumus poiketa ohjeista ja kontekstista, kun enemmän dataa syötetään järjestelmään. Kun potilasväestöt kehittyvät, uudet hoitoprotokollat esitetään ja ulkoiset tekijät vaikuttavat toimintaan, tekoälytyökalujen perusoletukset voivat siirtyä. Ilman jatkuvaa seurantaa ja uudelleenkoulutusta tekoälyjärjestelmä, joka on toiminut aiemmin luotettavasti, voi alkaa tehdä toimia tai ehdottaa ratkaisuja, jotka poikkeavat sen koulutuksesta.

Toimimaan mallin siirtymän kanssa sairaaloiden on kohdeltava tekoälyjärjestelmiä dynaamisina, korkean riskin varusteina eikä staattisina työkaluina. Tämä tarkoittaa jatkuvan suorituskyvyn seurantaa, selkeiden hyväksyttävien tarkkuuden kynnysten määrittelyä ja omistajuuden määrittelyä uudelleenkoulutukseen ja validointiin. Datavalvonta on myös vahvistettava, standardoimalla datakvaliteetin, yhteentoimivuuden ja harhasuojan käytäntöjä.

Ilman datan laadun ja mallin siirtymän riskeihin liittyvien ongelmien käsittelyä, jopa parhaat tekoälyhallintorakenteet eivät voi onnistua. Terveydenhuollon tekoälyjärjestelmille, jotka ovat vain yhtä hyviä kuin niiden perustana oleva data, tämän riskin kerroksen laiminlyönti luo mahdollisuuden järjestelmälliselle epäonnistumiselle aikaisemmin tai myöhemmin.

Saada oikein ennen kuin saat sen toimimaan

Tekoälyllä on potentiaali muuttaa terveydenhuoltoa parantamalla tehokkuutta, tarkkuutta ja potilastuloksia. Mutta ilman selkeää omistajuutta riskeistä, jotka se tuo esille, tämä potentiaali voi nopeasti muuttua vastuullisuudeksi.

Sairaaloiden ei voida sallia tekoälyhallinnon käsittelyä yksinomaan sääntelynäsi. Se on kohdeltava ydinoperaatioon prioriteettina: määrittele omistajuus, rakenna valvonta ja arvioi jatkuvasti. Koska terveydenhuollossa, kun jotain menee pieleen, seuraukset voivat olla paljon pahempia kuin kuka on syyllinen.