Vsak agent umetne inteligence lahko govori. Le redkim lahko zaupamo.

Potreba po agentih umetne inteligence v zdravstvu je nujna. V celotni panogi so preobremenjene ekipe preobremenjene s časovno intenzivnimi nalogami, ki ovirajo oskrbo pacientov. Zdravniki so preobremenjeni, klicni centri plačnikov so preobremenjeni, pacienti pa morajo čakati na odgovore na takojšnja vprašanja.

AI agenti lahko pomaga z zapolnjevanjem velikih vrzeli, razširitvijo dosega in razpoložljivosti kliničnega in administrativnega osebja ter zmanjšanjem izgorelosti zdravstvenega osebja in pacientov. Preden pa lahko to storimo, potrebujemo trdno podlago za izgradnjo zaupanja v agente umetne inteligence. To zaupanje ne bo prišlo iz toplega tona glasu ali tekočnosti pogovora. Prihaja iz inženiringa.

Čeprav zanimanje za agente umetne inteligence strmo narašča in naslovi trobijo o obljubi agentne umetne inteligence, vodilni v zdravstvu – odgovorni svojim pacientom in skupnostim – še vedno oklevajo z uvedbo te tehnologije v velikem obsegu. Zagonska podjetja hvalijo agentne zmogljivosti, ki segajo od avtomatizacije vsakdanjih opravil, kot je načrtovanje terminov, do komunikacije in oskrbe pacientov. Vendar pa večina še ni dokazala, da so te interakcije varne.

Mnogi od njih nikoli ne bodo.

Resnica je, da lahko vsakdo zavrti glasovni agent poganja ga model velikega jezika (LLM), mu dajte sočuten ton in napišite pogovor, ki zveni prepričljivo. Obstaja veliko platform, kot je ta, ki prodajajo svoje agente v vsaki panogi. Njihovi agenti so morda videti in zvenijo drugače, vendar se vsi obnašajo enako – nagnjeni so k halucinacijam, nezmožni so preveriti ključnih dejstev in manjkajo mehanizmi, ki zagotavljajo odgovornost.

Ta pristop – gradnja pogosto pretankega ovoja okoli temeljnega LLM – bi lahko deloval v panogah, kot sta trgovina na drobno ali gostinstvo, vendar bo v zdravstvu propadel. Temeljni modeli so izjemna orodja, vendar so večinoma splošnega namena; niso bili posebej usposobljeni za klinične protokole, politike plačnikov ali regulativne standarde. Tudi najbolj zgovorni agenti, zgrajeni na teh modelih, lahko zaidejo v halucinantno območje, odgovarjajo na vprašanja, na katera ne bi smeli, si izmišljujejo dejstva ali ne prepoznajo, kdaj je treba v zanko vključiti človeka.

Posledice takšnega vedenja niso teoretične. Lahko zmedejo paciente, ovirajo oskrbo in povzročijo drago predelavo s strani ljudi. To ni problem inteligence. To je problem infrastrukture.

Za varno, učinkovito in zanesljivo delovanje v zdravstvu morajo biti agenti umetne inteligence več kot le avtonomni glasovi na drugi strani telefona. Upravljati jih morajo sistemi, zasnovani posebej za nadzor, kontekst in odgovornost. Iz mojih izkušenj z gradnjo teh sistemov je to v praksi videti takole.

Nadzor odziva lahko povzroči, da halucinacije ne obstajajo

Agenti umetne inteligence v zdravstvu ne morejo zgolj ustvarjati verjetnih odgovorov. Vsakič morajo podati pravilne. To zahteva nadzorljiv »prostor delovanja« – mehanizem, ki umetni inteligenci omogoča razumevanje in omogočanje naravnega pogovora, hkrati pa zagotavlja, da je vsak možen odgovor omejen z vnaprej določeno, odobreno logiko.

Z vgrajenimi parametri za nadzor odziva se lahko agenti sklicujejo le na preverjene protokole, vnaprej določene operativne postopke in regulativne standarde. Ustvarjalnost modela se izkorišča za vodenje interakcij in ne za improvizacijo dejstev. Tako lahko vodje zdravstvenega varstva zagotovijo tveganje halucinacija se v celoti odpravi – ne s testiranjem v pilotnem projektu ali eni sami fokusni skupini, temveč z načrtovanjem tveganja že v pritličju.

Specializirani grafi znanja lahko zagotovijo zaupanja vredne izmenjave

Kontekst vsakega pogovora o zdravstveni oskrbi je zelo oseben. Dve osebi s sladkorno boleznijo tipa 2 lahko živita v isti soseski in imata enak profil tveganja. Njuna upravičenost do določenega zdravila se bo razlikovala glede na njuno zdravstveno anamnezo, zdravniške smernice za zdravljenje, zavarovalnico in pravila izdajanja zdravil.

Agenti umetne inteligence ne potrebujejo le dostopa do tega konteksta, temveč morajo biti sposobni z njim sklepati v realnem času. Specializiran graf znanja zagotavlja to zmožnost. Gre za strukturiran način predstavitve informacij iz več zaupanja vrednih virov, ki agentom omogoča, da preverijo, kaj slišijo, in zagotovijo, da so informacije, ki jih posredujejo, točne in prilagojene. Agenti brez te plasti se morda zdijo obveščeni, vendar v resnici le sledijo togim delovnim potekom in zapolnjujejo praznine.

Robustni sistemi pregledovanja lahko ocenijo natančnost

Pacient morda prekine pogovor z agentom umetne inteligence in je zadovoljen, vendar delo za agenta še zdaleč ni končano. Zdravstvene organizacije potrebujejo zagotovilo, da agent ni le posredoval pravilnih informacij, temveč je tudi razumel in dokumentiral interakcijo. Tukaj pridejo na vrsto avtomatizirani sistemi za naknadno obdelavo.

Robusten sistem pregledovanja bi moral oceniti vsak pogovor z enako natančno stopnjo pregleda, kot jo bi to storil nadzornik z vsem časom na svetu. Moral bi biti sposoben ugotoviti, ali je bil odgovor točen, zagotoviti, da so bile zajete prave informacije, in ugotoviti, ali je potrebno nadaljnje ukrepanje. Če kaj ni v redu, bi moral imeti agent možnost, da zadevo posreduje človeku, če pa je vse v redu, pa se lahko naloga z zaupanjem odjavi s seznama opravil.

Poleg teh treh temeljnih elementov, potrebnih za vzpostavitev zaupanja, vsaka infrastruktura agentske umetne inteligence potrebuje robusten varnostni in skladnostni okvir, ki ščiti podatke o pacientih in zagotavlja, da agenti delujejo znotraj predpisanih meja. Ta okvir bi moral vključevati strogo upoštevanje skupnih industrijskih standardov, kot sta SOC 2 in HIPAA, vendar bi moral imeti vgrajene tudi procese za testiranje pristranskosti, zaščiteno redakcijo zdravstvenih informacij in hrambo podatkov.

Ti varnostni ukrepi ne le preverjajo skladnost s predpisi. So temelj zaupanja vrednega sistema, ki zagotavlja, da je vsaka interakcija upravljana na ravni, ki jo pričakujejo pacienti in ponudniki storitev.

Zdravstvena industrija ne potrebuje več pompa okoli umetne inteligence. Potrebuje zanesljivo infrastrukturo umetne inteligence. V primeru agentne umetne inteligence si zaupanje ne bo toliko prisluženo, kot pa zasnovano.