Generativ AI inom hälso- och sjukvårdsindustrin behöver en dos av förklarbarhet

Den anmärkningsvärda hastighet med vilken textbaserade generativa AI-verktyg kan slutföra högnivåskrivnings- och kommunikationsuppgifter har fått företag och konsumenter att reagera. Men de processer som sker bakom kulisserna för att möjliggöra dessa imponerande funktioner kan göra det riskabelt för känsliga, statligt reglerade branscher, som försäkringar, finans eller hälso- och sjukvård, att utnyttja generativ AI utan att vidta betydande försiktighet.

Några av de mest illustrativa exemplen på detta kan hittas inom hälso- och sjukvårdsindustrin.

Sådana problem är vanligtvis relaterade till de omfattande och varierade dataset som används för att träna stora språkmodeller (LLM) – de modeller som textbaserade generativa AI-verktyg matas med för att utföra högnivåuppgifter. Utan uttrycklig yttre ingripande från programmerare tenderar dessa LLM att skrapa data ostrukturerat från olika källor på internet för att utöka sin kunskapsbas.

Denna metod är mest lämplig för lågriskiga konsumentinriktade användningsfall, där det ultimata målet är att dirigera kunder till önskvärda erbjudanden med precision. Alltmer dock, stora dataset och de otydliga vägarna genom vilka AI-modellerna genererar sina utdata, suddar ut förklarbarheten som sjukhus och hälso- och sjukvårdsleverantörer kräver för att spåra och förhindra potentiella fel.

I detta sammanhang avser förklarbarhet förmågan att förstå en given LLM:s logiska vägar. Hälso- och sjukvårdsprofessionella som vill anta generativa AI-verktyg måste ha medlen att förstå hur deras modeller ger resultat så att patienter och personal är utrustade med fullständig transparens genom olika beslutsprocesser. Med andra ord, i en bransch som hälso- och sjukvård, där liv står på spel, är insatserna för höga för att proffs ska missförstå data som används för att träna deras AI-verktyg.

Luckligtvis finns det ett sätt att kringgå generativ AI:s förklarbarhetsdilemma – det kräver bara lite mer kontroll och fokus.

Mysterium och skepticism

I generativ AI är konceptet att förstå hur en LLM kommer från punkt A – indata – till punkt B – utdata – mycket mer komplext än med icke-generativa algoritmer som följer mer fasta mönster.

Generativa AI-verktyg skapar otaliga anslutningar medan de färdas från indata till utdata, men för den yttre observatören förblir det hur och varför de gör en given serie anslutningar ett mysterium. Utan ett sätt att se “tankeprocessen” som en AI-algoritm tar, saknar mänskliga operatörer en grundlig metod för att undersöka dess resonemang och spåra potentiella fel.

Dessutom komplicerar de kontinuerligt expanderande dataset som används av maskinlärningsalgoritmer förklarbarheten ytterligare. Ju större dataset, desto troligare är systemet att lära sig från både relevant och irrelevant information och generera “AI-hallucinationer” – lögn som avviker från yttre fakta och kontextuell logik, hur övertygande det än kan vara.

I hälso- och sjukvårdsindustrin kan dessa typer av felaktiga resultat utlösa en mängd problem, såsom feldiagnoser och felaktiga recept. Etiska, juridiska och finansiella konsekvenser åsido, kan sådana fel lätt skada ryktet för hälso- och sjukvårdsleverantörerna och de medicinska institutioner de representerar.

Trots dess potential att förbättra medicinska ingrepp, förbättra kommunikationen med patienter och stärka operativ effektivitet, förblir generativ AI inom hälso- och sjukvård invecklad i skepticism, och rätteligen så – 55% av kliniker tror inte att det är redo för medicinskt bruk och 58% misstror det helt och hållet. Ändå driver hälso- och sjukvårdsorganisationer framåt, med 98% integrerar eller planerar en generativ AI-distributionsstrategi i ett försök att kompensera för påverkan av sektorns pågående arbetskraftsbrist.

Kontrollera källan

Hälso- och sjukvårdsindustrin är ofta på efterkälken i den nuvarande konsumentklimatet, som värderar effektivitet och hastighet över att säkerställa järnhårda säkerhetsåtgärder. Nyliga nyheter om fallgroparna med nästan obegränsad dataskrapning för att träna LLM, vilket leder till stämningsanspråk för upphovsrättsintrång, har fört dessa frågor till framträdande position. Vissa företag står också inför påståenden om att medborgarnas personuppgifter samlades in för att träna dessa språkmodeller, vilket potentiellt kränker sekretesslagar.

AI-utvecklare för starkt reglerade industrier bör därför utöva kontroll över datakällor för att begränsa potentiella misstag. Det vill säga, prioritera att extrahera data från betrodda, branschgranskade källor i stället för att skrapa externa webbsidor ostrukturerat och utan uttryckt tillstånd. För hälso- och sjukvårdsindustrin innebär detta att begränsa datainmatningar till FAQ-sidor, CSV-filer och medicinska databaser – bland andra interna källor.

Om detta låter något begränsande, prova att söka efter en tjänst på en stor hälso- och sjukvårdsorganisations webbplats. Amerikanska hälso- och sjukvårdsorganisationer publicerar hundratals, om inte tusentals, informationsidor på sina plattformar; de flesta är begravda så djupt att patienter aldrig faktiskt kan komma åt dem. Generativa AI-lösningar baserade på interna data kan leverera denna information till patienter på ett bekvämt och sömlöst sätt. Detta är en vinst för alla parter, eftersom hälso- och sjukvårdsorganisationen slutligen ser avkastning på detta innehåll, och patienterna kan hitta de tjänster de behöver omedelbart och utan ansträngning.

Vad kommer härnäst för generativ AI inom reglerade industrier?

Hälso- och sjukvårdsindustrin står att vinna på generativ AI på ett antal sätt.

Överväg till exempel den utbredda utbrändheten som drabbar den amerikanska hälso- och sjukvårdssektorn nyligen – nästan 50% av arbetsstyrkan förväntas sluta till 2025. Generativa AI-drivna chattbotar kunde hjälpa till att lindra mycket av arbetsbördan och bevara överbelastade patienttillgänglighetsteam.

På patientens sida har generativ AI potentialen att förbättra hälso- och sjukvårdsleverantörernas kundtjänst. AI-automatisering har kraften att hantera ett brett spektrum av förfrågningar genom olika kontaktkanaler, inklusive FAQ, IT-problem, läkemedelspåfyllningar och läkarremisser. Bortsett från frustrationen som kommer med att vänta i kö, lyckas bara ungefär hälften av amerikanska patienter att lösa sina problem på sitt första samtal, resulterande i höga avbrottsfrekvenser och nedsatt tillgång till vård. Den resulterande låga kundtillfredsställelsen skapar ytterligare tryck på branschen att agera.

För att branschen verkligen ska kunna dra nytta av generativ AI-implementering, behöver hälso- och sjukvårdsleverantörer underlätta en avsiktlig omstrukturering av de data deras LLM har tillgång till.