Generativ AI inom hälso- och sjukvårdsindustrin behöver en dos av förklarbarhet

Den anmärkningsvärda hastighet med vilken textbaserade generativa AI-verktyg kan slutföra högnivåskrivnings- och kommunikationsuppgifter har fått företag och konsumenter att reagera. Men de processer som sker bakom kulisserna för att möjliggöra dessa imponerande funktioner kan göra det riskabelt för känsliga, reglerade branscher, som försäkring, finans eller hälso- och sjukvård, att utnyttja generativ AI utan att vidta betydande försiktighet.

Några av de mest illustrativa exemplen på detta kan hittas inom hälso- och sjukvårdsindustrin.

Sådana problem är vanligtvis relaterade till de omfattande och varierade datamängder som används för att träna stora språkmodeller (LLM) – de modeller som textbaserade generativa AI-verktyg använder för att utföra högnivåuppgifter. Utan uttrycklig yttre ingripande från programmerare tenderar LLM att skrapa data ostrukturerat från olika källor på internet för att utöka sin kunskapsbas.

Denna metod är mest lämplig för lågriskkonsumerade användningsfall, där det ultimata målet är att dirigera kunder till önskvärda erbjudanden med precision. Alltmer dock, stora datamängder och de otydliga vägarna genom vilka AI-modellerna genererar sina utdata, försvårar förklarbarheten som sjukhus och hälso- och sjukvårdsleverantörer kräver för att spåra och förhindra potentiella fel.

I detta sammanhang avser förklarbarhet förmågan att förstå en given LLM:s logiska vägar. Hälso- och sjukvårdspersonal som vill anta generativa AI-verktyg måste ha möjlighet att förstå hur deras modeller ger resultat så att patienter och personal är utrustade med fullständig transparens under olika beslutsprocesser. Med andra ord, i en bransch som hälso- och sjukvård, där liv står på spel, är insatserna för höga för att proffsen ska missförstå data som används för att träna deras AI-verktyg.

Lyckligtvis finns det ett sätt att kringgå generativ AI:s förklarbarhetsproblem – det kräver bara lite mer kontroll och fokus.

Mysterium och skepticism

Inom generativ AI är begreppet att förstå hur en LLM kommer från punkt A – indata – till punkt B – utdata – mycket mer komplext än med icke-generativa algoritmer som körs längs mer fasta mönster.

Generativa AI-verktyg skapar otaliga anslutningar medan de färdas från indata till utdata, men för en yttre observatör förblir det hur och varför de gör en given serie anslutningar ett mysterium. Utan ett sätt att se “tankeprocessen” som en AI-algoritm tar, saknar mänskliga operatörer en grundlig metod för att undersöka dess resonemang och spåra potentiella fel.

Dessutom komplicerar de kontinuerligt expanderande datamängder som används av ML-algoritmer förklarbarheten ytterligare. Ju större datamängden är, desto mer sannolikt är systemet att lära sig från både relevant och irrelevant information och generera “AI-hallucinationer” – lögn som avviker från yttre fakta och kontextuell logik, hur övertygande som helst.

Inom hälso- och sjukvårdsindustrin kan dessa typer av felaktiga resultat utlösa en mängd problem, såsom feldiagnoser och felaktiga recept. Etiska, rättsliga och finansiella konsekvenser åsidosatta, sådana fel kan lätt skada ryktet för hälso- och sjukvårdsleverantörerna och de medicinska institutioner de representerar.

Så, trots sin potential att förbättra medicinska ingrepp, förbättra kommunikationen med patienter och stärka den operativa effektiviteten, förblir generativ AI inom hälso- och sjukvård invecklad i skepticism, och rätteligen så – 55% av kliniker tror inte att det är redo för medicinskt bruk och 58% misstror det helt och hållet. Ändå är hälso- och sjukvårdsorganisationer på väg framåt, med 98% integrerar eller planerar en strategi för generativ AI-distribution i ett försök att kompensera för effekten av branschens pågående arbetskraftsbrist.

Kontrollera källan

Hälso- och sjukvårdsindustrin är ofta på defensiven i den nuvarande konsumentklimatet, som värdesätter effektivitet och hastighet över att säkerställa oangreppbara säkerhetsåtgärder. Nyliga nyheter om riskerna med nästan obegränsad dataskrapning för att träna LLM, vilket leder till stämningsanspråk för upphovsrättsintrång, har fört dessa frågor till framträdande plats. Vissa företag står också inför påståenden om att medborgares personuppgifter samlades in för att träna dessa språkmodeller, vilket potentiellt kränker dataskyddslagar.

AI-utvecklare för starkt reglerade branscher bör därför utöva kontroll över datakällor för att begränsa potentiella misstag. Det vill säga, prioritera att extrahera data från betrodda, branschgranskade källor istället för att skrapa externa webbsidor ostrukturerat och utan uttryckligt tillstånd. För hälso- och sjukvårdsindustrin innebär detta att begränsa datainmatningar till FAQ-sidor, CSV-filer och medicinska databaser – bland andra interna källor.

Om detta låter något begränsande, försök att söka efter en tjänst på en stor hälso- och sjukvårdsorganiations webbplats. USA:s hälso- och sjukvårdsorganisationer publicerar hundratals, om inte tusentals, informativa sidor på sina plattformar; de flesta är begravda så djupt att patienter aldrig kan komma åt dem. Generativa AI-lösningar baserade på interna data kan leverera denna information till patienter på ett bekvämt och sömlöst sätt. Detta är en vinst för alla parter, eftersom hälso- och sjukvårdsorganisationen slutligen ser avkastning på denna innehåll, och patienterna kan hitta de tjänster de behöver omedelbart och utan ansträngning.

Vad kommer härnäst för generativ AI i reglerade branscher?

Hälso- och sjukvårdsindustrin står att vinna på generativ AI på flera sätt.

Till exempel den utbredda utbrändheten som drabbar den amerikanska hälso- och sjukvårdssektorn nyligen – nästan 50% av arbetsstyrkan förväntas sluta till 2025. Generativa AI-drivna chattbotar kunde hjälpa till att lindra en stor del av arbetsbördan och bevara överbelastade patientåtkomstteam.

På patientens sida har generativ AI potentialen att förbättra hälso- och sjukvårdsleverantörernas kundtjänst. AI-automatisering har kraften att hantera ett brett utbud av förfrågningar via olika kontaktkanaler, inklusive FAQ, IT-problem, läkemedelspåfyllningar och läkarremisser. Bortsett från frustrationen som kommer med att vänta på att bli uppringd, lyckas endast cirka hälften av USA:s patienter att lösa sina problem på sitt första samtal, vilket resulterar i höga avbrottsfrekvenser och nedsatt tillgång till vård. Den resulterande låga kundtillfredsställelsen skapar ytterligare tryck på branschen att agera.

För att branschen verkligen ska kunna dra nytta av generativ AI-implementering, behöver hälso- och sjukvårdsleverantörer underlätta en avsiktlig omstrukturering av de data som deras LLM har tillgång till.