Generativ AI i sundhedssektoren har brug for en dosis gennemskuelighed

Den bemærkelsesværdige hastighed, hvormed tekstbaserede generative AI-værktøjer kan udføre komplekse skrive- og kommunikationsopgaver, har ramt en streng tone hos både virksomheder og forbrugere. Men processerne, der finder sted bag kulisserne for at muliggøre disse imponerende funktioner, kan gøre det risikabelt for følsomme, regulerede brancher som forsikring, finans eller sundhedsvæsen at udnytte generativ AI uden at udvise betydelig forsigtighed.

Nogle af de mest illustrative eksempler på dette kan findes i sundhedssektoren.

Sådanne problemer er typisk relateret til de omfattende og diverse datasets, der bruges til at træne Large Language Models (LLM’er) – de modeller, som tekstbaserede generative AI-værktøjer afhænger af for at udføre komplekse opgaver. Uden ekstern indgriben fra programmører tenderer LLM’er til at skrabe data uden diskrimination fra forskellige kilder på internettet for at udvide deres viden.

Dette tilgang er mest egnet for lav-risiko, forbrugerorienterede brugsområder, hvor det endelige mål er at dirigere kunderne til ønskede tilbud med præcision. Dog er store datasets og de uklare vejledninger, som AI-modellerne genererer deres output med, mere og mere med til at skjule den gennemskuelighed, som hospitaler og sundhedsydelser kræver for at spore og forhindre potentielle uøjeligheder.

I denne kontekst refererer gennemskuelighed til evnen til at forstå en given LLM’s logiske vejledninger. Sundhedsprofessionelle, der søger at adoptere assistive generative AI-værktøjer, må have midlerne til at forstå hvordan deres modeller producerer resultater, så patienter og personale er udstyret med fuld gennemsigtighed under forskellige beslutningsprocesser. Med andre ord, i en branche som sundhed, hvor liv er på spil, er væddemålene simpelthen for høje til, at fagfolk misfortolker data, der bruges til at træne deres AI-værktøjer.

Takket være, at der er en måde at omgå generativ AI’s gennemskuelighedsdilemma – det kræver bare lidt mere kontrol og fokus.

Gåden og skeptikeren

I generativ AI er begrebet om at forstå, hvordan en LLM kommer fra punkt A – input – til punkt B – output – langt mere komplekst end med ikke-generative algoritmer, der følger mere faste mønstre.

Generative AI-værktøjer skaber utallige forbindelser, mens de bevæger sig fra input til output, men for den ydre iagttager forbliver det en gåde, hvordan og hvorfor de foretager en given række forbindelser. Uden en måde at se ‘tankeprocessen’, som en AI-algoritme følger, mangler menneskelige operatører en grundig mulighed for at undersøge dens begrundelse og spore potentielle uøjeligheder.

Dertil kommer, at de kontinuerligt udvidede datasets, der bruges af ML-algoritmer, komplicerer gennemskueligheden yderligere. Jo større datasettet er, jo mere sandsynligt er det, at systemet lærer af både relevante og irrelevante oplysninger og producerer “AI-hallucinationer” – usandheder, der afviger fra ydre kendsgerninger og kontekstuel logik, dog overbevisende.

I sundhedssektoren kan disse fejlbehæftede resultater udløse en række problemer, såsom misdiagnoser og forkerte recepter. Bortset fra de etiske, juridiske og finansielle konsekvenser kan sådanne fejl let skade rygterne for sundhedsydelserne og de medicinske institutioner, de repræsenterer.

Trods sin potentiale til at forbedre medicinske indgreb, forbedre kommunikation med patienter og styrke operationel effektivitet forbliver generativ AI i sundhedssektoren omgivet af skeptik, og med rette – 55% af kliniske specialister tror ikke, det er klar til medicinsk brug, og 58% stoler ikke på det overhovedet. Alligevel er sundhedsorganisationer i gang med at føre generativ AI i brug, hvor 98% enten integrerer eller planlægger en strategi for implementering af generativ AI i et forsøg på at afbalancere virkningerne af sektorens igangværende mangel på arbejdskraft.

Kontrol over kilden

Sundhedssektoren er ofte fanget på bagsiden af den nuværende forbruger klima, der værdsætter effektivitet og hastighed over sikkerhedsgarantier. Nylig nyheder om faldgruberne ved næsten ubegrænset datasamling til træning af LLM’er, der fører til sager om ophavsretskrænkelser, har bragt disse spørgsmål til fremme. Nogle virksomheder står også over for krav om, at borgeres personlige data blev udnyttet til at træne disse sprogmodeller, muligvis i strid med privatlivslove.

AI-udviklere for højt regulerede brancher bør derfor udøve kontrol over datakilder for at begrænse potentielle fejl. Det vil sige, prioritere udtrækning af data fra troværdige, branchegodkendte kilder i stedet for at skrabe eksterne websider uden omhu og uden udtrykt tilladelse. For sundhedssektoren indebærer dette at begrænse dataindtastninger til FAQ-sider, CSV-filer og medicinske databaser – blandt andre interne kilder.

Hvis dette lyder lidt begrænsende, prøv at søge efter en service på et stort sundhedssystems website. Amerikanske sundhedsorganisationer offentliggør hundredvis, hvis ikke tusindvis, af informations sider på deres platforme; de fleste er begravet så dybt, at patienter aldrig kan nå dem. Generative AI-løsninger baseret på interne data kan levere denne information til patienter på en bekvem og problemfri måde. Dette er en gevinst for alle parter, da sundhedssystemet endelig ser en afkast fra denne indhold, og patienterne kan finde de tjenester, de har brug for, øjeblikkeligt og uden besvær.

Hvad kommer herefter for generativ AI i regulerede brancher?

Sundhedssektoren kan udnytte generativ AI på en række måder.

Overvej for eksempel den udbredte udbrændthed, der rammer den amerikanske sundhedssektor for tiden – næsten 50% af arbejdsstyrken forventes at forlade deres stillinger inden 2025. Generative AI-drevne chatbots kunne hjælpe med at lette en stor del af arbejdsbyrden og bevare overbelastede patientadgangshold.

På patienternes side har generativ AI potentialet til at forbedre sundhedsydelsernes call center-tjenester. AI-automatisering har kraften til at håndtere et bredt spektrum af forespørgsler gennem forskellige kontaktkanaler, herunder FAQ, IT-problemer, medicin-genopfyldninger og lægehenvisninger. Bortset fra frustrationen over at vente på hold, lykkes det kun omkring halvdelen af amerikanske patienter at løse deres problemer på deres første opkald, resulterende i høje frafaldsrater og nedsat adgang til sundhedsydelser. Den resulterende lave kundetilfredshed skaber yderligere pres for branchen til at handle.

For branchen til virkelig at udnytte generativ AI, har sundhedsydelserne brug for at facilitere en bevidst omstrukturering af de data, deres LLM’er har adgang til, resulterende i høje frafaldsrater og nedsat adgang til sundhedsydelser. Den resulterende lave kundetilfredshed skaber yderligere pres for branchen til at handle. For branchen til virkelig at udnytte generativ AI-implementation, har sundhedsydelserne brug for at facilitere en bevidst omstrukturering af de data, deres LLM’er har adgang til.