AI-Chatboter er lovende, men begrensede i å fremme sunn atferdsendring

I de senere år har helseindustrien vært vitne til en betydelig økning i bruken av store språkmodellbaserte chatboter, eller generative konversasjonsagenter. Disse AI-drevne verktøyene har blitt brukt til ulike formål, inkludert pasientutdanning, vurdering og håndtering. Ettersom populariteten til disse chatbotene vokser, har forskere fra University of Illinois Urbana-Champaigns ACTION Lab tatt en nærmere titt på deres potensiale til å fremme sunn atferdsendring.

Michelle Bak, en doktorgradsstudent i informasjonsvitenskap, og professor Jessie Chin har nylig publisert sine funn i Journal of the American Medical Informatics Association. Deres studie hadde som mål å bestemme om store språkmodeller kunne effektivt identifisere brukernes motivasjonstilstander og gi relevant informasjon for å støtte deres reise mot sunnere vaner.

Studiedesign

For å vurdere evnene til store språkmodeller i å fremme atferdsendring, designet Bak og Chin en omfattende studie som involverte tre fremtredende chatbot-modeller: ChatGPT, Google Bard og Llama 2. Forskerne skapte en rekke på 25 scenarier, hver rettet mot bestemte helsebehov som lav fysisk aktivitet, kosthold og ernæringsproblemer, mentale helseutfordringer, kreftskriving og -diagnose, kjønnssykdommer og stoffavhengighet.

Scenariene ble nøye utformet for å representere de fem distinkte motivasjonstilstandene for atferdsendring:

1. Motstand mot endring og manglende bevissthet om problematferd
2. Økt bevissthet om problematferd, men tvil om å gjøre endringer
3. Hensikt til å iverksette små skritt mot endring
4. Initiering av atferdsendring med en forpliktelse til å opprettholde den
5. Vellykket opprettholdelse av atferdsendringen i seks måneder med en forpliktelse til å opprettholde den

Ved å evaluere chatbotenes svar på hver scenario over de ulike motivasjonstilstandene, hadde forskerne som mål å bestemme styrkene og svakhetene til store språkmodeller i å støtte brukerne gjennom deres atferdsendringsreise.

Hva fant studien?

Studien avdekket både lovende resultater og betydelige begrensninger i evnen til store språkmodeller til å støtte atferdsendring. Bak og Chin fant at chatboter kan effektivt identifisere motivasjonstilstander og gi relevant informasjon når brukerne har etablerte mål og en sterk forpliktelse til å iverksette endringer. Dette tyder på at personer som allerede er i de senere stadiene av atferdsendring, som de som har initiert endringer eller har vært vellykket i å opprettholde dem i en periode, kan dra nytte av veiledningen og støtten som disse AI-drevne verktøyene tilbyr.

Likevel oppdaget forskerne også at store språkmodeller sliter med å gjenkjenne de innledende stadiene av motivasjon, særlig når brukerne er motstandere mot endring eller tvil om å gjøre endringer i deres atferd. I disse tilfellene sviktet chatbotene i å gi tilstrekkelig informasjon for å hjelpe brukerne med å vurdere deres problematferd og konsekvensene, samt hvordan deres omgivelser påvirkte deres handlinger. For eksempel, når de ble presentert for en bruker som var motstander mot å øke sin fysisk aktivitet, sviktet chatbotene ofte i å gi informasjon om å melde seg på et treningsstudio i stedet for å engasjere brukeren emosjonelt ved å fremheve de negative konsekvensene av en sittende livsstil.

Videre avdekket studien at store språkmodeller ikke tilbød tilstrekkelig veiledning om å bruke belønningssystemer for å opprettholde motivasjon eller redusere miljømessige stimuli som kunne øke risikoen for tilbakefall, selv for brukere som allerede hadde tatt skritt mot å endre sin atferd. Bak bemerket: “De store språkmodellbaserte chatbotene tilbyr ressurser på å få ekstern hjelp, som sosial støtte. De mangler informasjon om hvordan å kontrollere omgivelsene for å eliminere en stimulus som forsterker problematferd.”

Konsekvenser og fremtidig forskning

Funnene fra denne studien understreker de nåværende begrensningene til store språkmodeller i å forstå motivasjonstilstander fra naturlige språklige samtaler. Chin forklarte at disse modellene er trent til å representere relevansen av en brukers språk, men sliter med å differensiere mellom en bruker som vurdere å endre, men fortsatt er tvil, og en som har en fast hensikt til å iverksette endringer. I tillegg gjør den semantiske likheten i brukerforespørsler over ulike motivasjonstilstander det vanskelig for modellene å nøyaktig identifisere brukerens beredskap til å endre seg basert bare på deres språk.

Til tross for disse begrensningene, mener forskerne at store språkmodellbaserte chatboter har potensialet til å tilby verdifull støtte når brukerne har sterke motivasjoner og er klare til å iverksette endringer. For å fullt ut realisere dette potensialet, vil fremtidige studier fokusere på å finjustere disse modellene for bedre å forstå brukernes motivasjonstilstander ved å utnytte språklige signaler, informasjonssøkningsmønster og sosiale bestemmelsesfaktorer for helse. Ved å utstyre modellene med mer spesifikk kunnskap og forbedre deres evne til å gjenkjenne og svare på ulike stadier av motivasjon, håper forskerne å forbedre effektiviteten til disse AI-drevne verktøyene i å fremme sunn atferdsendring.

AI-Chatboter i atferdsendring

Studien fra University of Illinois Urbana-Champaigns ACTION Lab har kastet lys over potensialet og begrensningene til store språkmodellbaserte chatboter i å fremme sunn atferdsendring. Mens disse AI-drevne verktøyene har vist løfter i å støtte brukere som er engasjert i å gjøre positive endringer, sliter de fortsatt med å effektivt gjenkjenne og svare på de innledende stadiene av motivasjon, som motstand og tvil. Ettersom forskerne fortsetter å forbedre og forbedre disse modellene, håper de at de vil bli stadig mer effektive i å guide brukerne gjennom alle stadier av atferdsendringsprosessen, og til slutt bidra til bedre helseutfall for enkeltpersoner og samfunn.