Josh Miller, CEO av Gradient Health – Intervju-serie

Josh Miller er CEO av Gradient Health, et selskap som er grunnlagt på ideen om at automatiserte diagnostiske verktøy må eksistere for at helsevesenet skal være rettferdig og tilgjengelig for alle. Gradient Health har som mål å akselerere automatiserte A.I.-diagnostiske verktøy med data som er organisert, merket og tilgjengelig.

Kunne du dele opphavet til Gradient Health?

Min medgründer Ouwen og jeg hadde nettopp forlatt vårt første start-up, FarmShots, som brukte datavisjon til å hjelpe med å redusere mengden pestisider som brukes i jordbruket, og vi søkte etter vår neste utfordring.

Vi har alltid vært motivert av ønsket om å finne en vanskelig problem å løse med teknologi som a) har mulighet til å gjøre mye godt i verden, og b) fører til en solid forretning. Ouwen arbeidet på sin medisinske grad, og med vår erfaring innen datavisjon, var medisinske bilder et naturlig valg for oss. På grunn av den ødeleggende effekten av brystkreft, valgte vi mammografi som en potensiell første anvendelse. Så sa vi “Ok, hvor starter vi? Vi trenger data. Vi trenger tusen mammogrammer. Hvor får man tak i så mye data?” og svaret var “Ingen steder”. Vi innsett umiddelbart at det er veldig vanskelig å finne data. Etter måneder, vokste denne frustrasjonen til et filosofisk problem for oss, og vi tenkte “enhver som prøver å gjøre noe godt i dette området, bør ikke måtte slåss og kjempe for å få dataen de trenger for å bygge livsreddende algoritmer”. Og så sa vi “hey, kanskje er det faktisk vårt problem å løse”.

Hva er de nåværende risikoen i markedet med urepresentativ data?

Fra talløse studier og virkelige eksempler, vet vi at hvis vi bygger en algoritme, kun ved hjelp av data fra vestkysten, og du bringer den til sørøst, så vil den ikke fungere. Gang på gang hører vi historier om AI som fungerer godt på det nordøstlige sykehuset hvor den ble skapt, og så når de deployer den andre steder, synker nøyaktigheten til mindre enn 50%.

Jeg tror at det grunnleggende formålet med AI, på et etisk nivå, er at den skal redusere helseforskjeller. Målet er å gjøre kvalitetsbehandling tilgjengelig og rimelig for alle. Men problemet er at når du har det bygget på dårlig data, så øker du faktisk forskjellene. Vi feiler i oppdraget med helse-AI hvis vi lar det fungere kun for hvite menn fra kysten. Folk fra underrepresenterte bakgrunner vil faktisk lide mer diskriminering som resultat, ikke mindre.

Kunne du diskutere hvordan Gradient Health sourcer data?

Ja, vi samarbeider med alle typer helsevesen rundt om i verden, hvis data ellers er lagret vekk, og koster dem penger, og ikke nyttiggjør noen. Vi gjennomfører en grundig av-identifisering av deres data på kilde og så organiserer vi den nøye for forskere.

Hvordan sikrer Gradient Health at dataene er ubiasert og så divers som mulig?

Det finnes mange måter. For eksempel, når vi samler inn data, sikrer vi at vi inkluderer mange kommunale klinikker, hvor du ofte har mye mer representativ data, samt de større sykehusene. Vi sourcer også vår data fra et stort antall kliniske steder. Vi prøver å få så mange steder som mulig fra så bredt et spekter av befolkninger som mulig. Så ikke bare å ha et høyt antall steder, men å ha dem geografisk og sosioøkonomisk divers. For hvis alle dine steder er fra downtown-sykehus, er det ikke representativ data, er det?

For å validere all dette, kjører vi statistikk over alle disse datasettene, og vi tilpasser det for kunden, for å sikre at de får data som er divers i forhold til teknologi og demografi.

Hvorfor er dette nivået av datakontroll så viktig for å designe robuste AI-algoritmer?

Det finnes mange variable som en AI kan møte i den virkelige verden, og vårt mål er å sikre at algoritmen er så robust som mulig. For å forenkle ting, tenker vi på fem nøkkelvariable i vår data. Den første variabelen vi tenker på er “utstyrprodusent”. Det er åpenbart, men hvis du bygger en algoritme kun ved hjelp av data fra GE-skannere, så vil den ikke fungere like bra på en Hitachi, for eksempel.

På lignende måte er “utstyrmodell”-variabelen en viktig faktor. Dette er faktisk ganske interessant fra et helseulikhet-perspektiv. Vi vet at de store, vel-finansiert forskningssykehusene tenderer til å ha de nyeste og beste versjonene av skannere. Og hvis de kun trener sin AI på sine egne 2022-modeller, så vil den ikke fungere like bra på en eldre 2010-modell. Disse eldre systemene er nettopp de som finnes i mindre velstående og rurale områder. Så, ved å kun bruke data fra nyere modeller, introduserer de ufrivillig ytterligere bias mot folk fra disse samfunnene.

De andre nøkkelvariablene er kjønn, etnisitet og alder, og vi går til store lengder for å sikre at vår data er proporsjonalt balansert over alle disse.

Hva er noen av de regulatoriske hindrene MedTech-selskaper møter?

Vi begynner å se at FDA virkelig undersøker bias i datasett. Vi har hatt forskere komme til oss og si “FDA har avvist vår algoritme fordi den manglet en 15% afroamerikansk befolkning” (den omtrentlige prosentandelen afroamerikanere som er en del av den amerikanske befolkningen). Vi har også hørt om en utvikler som ble fortalt at de måtte inkludere 1% stillehavsbosettere i deres treningdata.

Så, FDA begynner å innse at disse algoritmene, som kun ble trent på ett enkelt sykehus, ikke fungerer i den virkelige verden. Faktum er at hvis du vil ha CE-merking og FDA-godkjenning, må du komme med et datasett som representerer befolkningen. Det er, rettferdig, ikke lenger akseptabelt å trene en AI på en liten eller urepresentativ gruppe.

Risikoen for MedTech-selskaper er at de investerer millioner av dollar i å få sin teknologi til et sted hvor de tror de er klare for regulatorisk godkjenning, og så hvis de ikke kan få det gjennom, så vil de aldri få godkjenning eller inntekt. Til slutt, er veien til kommersialisering og veien til å ha den type positive effekter på helsevesenet som de ønsker å ha, avhengig av at de bryr seg om data-bias.

Hva er noen av valgene for å overvinne disse hindrene fra et data-perspektiv?

Over de siste årene, har datahåndtering-metoder utviklet seg, og AI-utviklere har nå flere valgmuligheter enn noensinne før. Fra data-meglere og partnere til fordelt læring og syntetisk data, finnes det nye tilnærminger til disse hindrene. Uansett hvilken metode de velger, oppmuntrer vi alltid utviklerne til å vurdere om deres data er virkelig representativt for befolkningen som vil bruke produktet. Dette er langt den vanskeligste delen av å sourcere data.

En løsning som Gradient Health tilbyr, er Gradient Label, hva er denne løsningen og hvordan muliggjør den merking av data i stor skala?

Medisinsk bilde-AI krever ikke bare data, men også ekspert-annotasjoner. Og vi hjelper selskaper med å få disse ekspert-annotasjoner, inkludert fra radiologer.

Hva er din visjon for fremtiden av AI og data i helsevesenet?

Det finnes allerede tusenvis av AI-verktøy der ute som ser på alt fra fingertuppene til tåspissene, og jeg tror at dette vil fortsette. Jeg tror at det vil være minst 10 algoritmer for hver tilstand i en medisinsk tekstbok. Hver enkelt av dem vil ha flere, sannsynligvis konkurranse-utløste, verktøy for å hjelpe kliniske ansatte med å gi den beste behandlingen.

Jeg tror ikke at vi sannsynligvis kommer til å se en Star Trek-stil Tricorder som scannrer noen og løser alle mulige problemer fra hodet til tåene. I stedet, vil vi ha spesialiserte applikasjoner for hver undergruppe.

Er det noe annet du ville like å dele om Gradient Health?

Jeg er spennende på fremtiden. Jeg tror at vi beveger oss mot et sted hvor helsevesenet er billig, like og tilgjengelig for alle, og jeg er ivrig etter at Gradient får mulighet til å spille en grunnleggende rolle i å gjøre dette skje. Hele teamet her tror virkelig på denne misjonen, og det finnes en forent lidenskap over dem som du ikke får på alle selskaper. Og jeg elsker det!

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Gradient Health.