Generativ AI i helseindustrien trenger en dose forklarbarhet

Den bemerkelsesverdige hastigheten som tekstbasert generativ AI-verktøy kan fullføre høynivå skriving og kommunikasjon oppgaver har slått en streng med selskaper og forbrukere alike. Men prosessene som skjer bak scenen for å muliggjøre disse imponerende evnene kan gjøre det risikabelt for sensitive, reguleringsindustrier som forsikring, finans eller helse, å utnytte generativ AI uten å anvende betydelig forsiktighet.

Noen av de mest illustrative eksemplene på dette kan finnes i helseindustrien.

Slike problemer er vanligvis relatert til de omfattende og diverse datasettene som brukes til å trene Large Language Models (LLMs) – modellene som tekstbasert generativ AI-verktøy får næring fra for å utføre høynivå oppgaver. Uten eksplisitt utenkelig inngripen fra programmere, tenderer disse LLMs å skrape data ukritisk fra forskjellige kilder på internettet for å utvide sin kunnskapsbase.

Dette tilnærmingen er mest egnet for lavrisiko forbruker-orienterte brukstilfeller, hvor det ultimate målet er å rette kunder mot ønskede tilbud med presisjon. Økende likevel, store datasett og de uklare stier som AI-modellene genererer sine utdata med, overskygger forklarbarheten som sykehus og helseleverandører krever for å spore og forebygge potensielle unøyaktigheter.

I denne sammenhengen refererer forklarbarhet til evnen til å forstå en gitt LLMs logiske stier. Helsepersonale som ønsker å adoptere assistive generative AI-verktøy må ha midlene til å forstå hvordan deres modeller produserer resultater så at pasienter og ansatte er utstyrt med full transparens gjennom ulike beslutningsprosesser. Med andre ord, i en industri som helse, hvor liv er på spill, er innsatsen for høye for profesjonelle å misforstå dataene som brukes til å trene deres AI-verktøy.

Takk og lov, finnes det en måte å unngå generativ AI sitt forklarbarhetsproblem – det krever bare en litt mer kontroll og fokus.

Mysterium og skeptisisme

I generativ AI, konseptet om å forstå hvordan en LLM kommer fra punkt A – inndata – til punkt B – utdata – er langt mer komplekst enn med ikke-generative algoritmer som kjører langs mer faste mønster.

Generative AI-verktøy gjør talløse forbindelser mens de går fra inndata til utdata, men for den ytre observatøren, hvordan og hvorfor de gjør en gitt serie av forbindelser, forblir et mysterium. Uten en måte å se “tenketanken” som en AI-algoritme tar, mangler menneskelige operatører en grundig måte å undersøke dens begrunnelse og spore potensielle unøyaktigheter.

I tillegg komplicerer de kontinuerlig utvidende datasettene som brukes av ML-algoritmer forklarbarheten ytterligere. Jo større datasett, jo mer sannsynlig er systemet å lære fra både relevante og irrelevante informasjon og produsere “AI-hallusinasjoner” – usannheter som avviker fra eksterne fakta og kontekstuell logikk, selv om de er overbevisende.

I helseindustrien kan slike feilaktige resultater utløse en rekke problemer, som feil diagnostisering og feil medisineringsordninger. Etiske, juridiske og finansielle konsekvenser til side, kunne slike feil lett skade ryktet til helseleverandørene og de medisinske institusjonene de representerer.

Til tross for sin potensiale til å forbedre medisinske inngrep, forbedre kommunikasjon med pasienter og styrke operasjonell effektivitet, forblir generativ AI i helseindustrien omgitt av skeptisisme, og rettferdig så – 55% av kliniske ansatte tror ikke det er klart for medisinsk bruk og 58% mistro det helt. Likevel er helseorganisasjoner i ferd med å gå videre, med 98% integrerer eller planlegger en generativ AI-utviklingsstrategi i et forsøk på å kompensere for virkningene av sektorens pågående arbeidskraftmangel.

Kontroll over kilden

Helseindustrien er ofte fanget på bakfoten i den nåværende forbrukerklimaet, som verdsetter effektivitet og hastighet over å sikre jernharde sikkerhetstiltak. Nylig nyheter om fallgruvene ved å skrape data ukritisk for å trene LLMs, som fører til saker om opphavsrettsbrudd, har bragt disse problemene til fremtreden. Noen selskaper står også overfor påstander om at borgernes personlige data ble utnyttet til å trene disse språkmodellene, potensielt i strid med personvernlovene.

AI-utviklere for høyt regulerte industrier bør derfor utøve kontroll over datakilder for å begrense potensielle feil. Det vil si, prioritere å hente data fra pålitelige, bransje-godkjente kilder i stedet for å skrape eksterne nettsider ukritisk og uten uttrykt tillatelse. For helseindustrien betyr dette å begrense datainntak til FAQ-sider, CSV-filer og medisinske databaser – blant andre interne kilder.

Hvis dette lyder litt begrensende, prøv å søke etter en tjeneste på et stort helse systems nettsted. USAs helseorganisasjoner publiserer hundrevis, hvis ikke tusenvis, av informasjonssider på sine plattformer; de fleste er gravd så dypt at pasienter aldri kan faktisk nå dem. Generative AI-løsninger basert på interne data kan levere denne informasjonen til pasienter på en praktisk og sømløs måte. Dette er en gevinst for alle parter, ettersom helse-systemet endelig ser avkastning fra denne innholdet, og pasientene kan finne de tjenestene de trenger umiddelbart og uten problemer.

Hva er neste skritt for generativ AI i regulerte industrier?

Helseindustrien står til å benefitere fra generativ AI på en rekke måter.

Vurdér for eksempel den utbredte utbrentheten som rammer den amerikanske helsesektoren for tiden – nær 50% av arbeidsstyrken forventes å forlate sine stillinger innen 2025. Generativ AI-drevne chatboter kunne hjelpe med å lettet mye av arbeidsbyrden og bevare overutstrekede pasienttilgangslag.

På pasientsiden har generativ AI potensialet til å forbedre helseleverandørenes call center-tjenester. AI-automatisering har kraften til å håndtere et bredt spekter av spørsmål gjennom ulike kontakt-kanaler, inkludert FAQ, IT-problemer, medisineringsordninger og legehenvisninger. Bortsett fra frustrasjonen som kommer med å vente på telefonen, klarer kun omtrent halvparten av USAs pasienter å løse sine problemer på første forsøk, resulterende i høye frafallshastigheter og redusert tilgang til omsorg. Den resulterende lave kundetilfredsheten skaper ytterligere press for industrien å handle.

For industrien å virkelig benefitere fra generativ AI-Implementering, må helseleverandørene facilitere en bevisst omstrukturering av dataene deres LLMs har tilgang til.