AI-modeller og plattformer
Akilesh Bapu, grunnlegger og administrerende direktør i DeepScribe – Intervju-serie

Akilesh Bapu er grunnlegger og administrerende direktør i DeepScribe, som bruker naturlig språkbehandling (NLP) og avansert dyp læring til å generere nøyaktige, kompatible og sikre notater fra lege-pasient-samtaler.
Hva var det som introduserte og trakk deg til AI og naturlig språkbehandling?
Hvis jeg husker riktig, var Jarvis fra “Iron Man” det første som virkelig trakk meg til verden av naturlig språkbehandling og AI. Spesielt fant jeg det fascinerende å se hvor mye raskere en menneske var i stand til å gjøre oppgaver og gå i dybden av bestemte oppgaver og avdekke informasjon som de ikke ville ha visst om hvis det ikke var for denne AI-en.
Dette var konseptet “AI alene vil ikke være like god som mennesker på de fleste oppgaver, men sett en menneske og AI sammen og den kombinasjonen vil dominere.” Naturlig språkbehandling er den mest effektive måten for denne menneske/AI-kombinasjonen å skje.
Deretter var jeg besatt av Siri, Google (GOOGL ) Now, Alexa og de andre. Mens de ikke fungerte like sømløst som Jarvis, ønsket jeg så mye å gjøre dem til å fungere som Jarvis gjorde. Spesielt ble det tydelig at kommandoer som “Alexa gjør dette”, “Alexa gjør det” var ganske enkle og nøyaktige å gjøre med den nåværende teknologien. Men når det kom til noe som Jarvis, hvor det kunne faktisk lære og forstå, filtrere og plukke opp viktige emner under en annen samtale – det hadde ikke blitt gjort før. Dette har direkte sammenheng med en av mine kjernemotivasjoner for å grunnlegge DeepScribe. Mens vi løser problemet med dokumentasjon for leger, prøver vi å gjøre en helt ny bølge av intelligens samtidig: ambient intelligens. AI som kan grave gjennom dine daglige uttalelser, finne nyttig informasjon og bruke den informasjonen til å hjelpe deg.
Du gjorde tidligere noen forskning ved å bruke dyp læring og NLP ved UC Berkeley College of Engineering. Hva var din forskning på?
Tilbake på Berkeley AI Research Lab, arbeidet jeg på et prosjekt for å annotere genontologi hvor vi sammenfattet PubMed-artikler med bestemte utgangsparametere.
Den overordnede oversikten: Ta en oppgave som sammenfatting av CNN-nyhetsartikler. I den oppgaven tar du nyhetsartikler og sammenfatter dem i omtrent noen få setninger. Til din fordel har du data og evnen til å trene disse modellene på over en million artikler. Men problemrommet er enormt siden du har begrenset struktur på sammenfatningene. I tillegg er det knapt noen struktur på de faktiske artiklene. Mens det har vært noen forbedringer siden jeg arbeidet på dette prosjektet for 2,5 år siden, er dette fortsatt et uløst problem.
I vårt forskningsprosjekt utviklet vi strukturerte sammenfatninger av artikler. En strukturert sammenfatning i dette tilfelle er lignende en vanlig sammenfatning, men vi vet den eksakte strukturen på utgangssammenfatningen. Dette er nyttig siden det dramatisk reduserer utgangsvalgene for vår maskinlæringsmodell – utfordringen var at det ikke var nok annotert trening til å kjøre en data-sulten dyp læringsmodell og få brukbare resultater.
Kjernen i arbeidet jeg gjorde på dette prosjektet var å utnytte kunnskapen vi har om inndata og utvikle en ensemble av grunnleggende ML-modeller for å støtte det – en teknikk vi oppfant kalt 2-trinns-annotator. 2-trinns-annotatoren ble målt til å være nesten 20 ganger mer nøyaktig enn den tidligere beste (54 prosent vs 3,6 prosent).
Mens side om side kan dette prosjektet og DeepScribe høres helt forskjellige ut, var de svært like i hvordan de brukte 2-trinns-annotasjonsmetoden til å dramatisk forbedre resultater på en begrenset datasett.
Hva var inspirasjonen bak lanseringen av DeepScribe?
Alt startet med min far, som var en medisinsk onkolog. Før elektroniske helsejournaler tok over helsetjenesten, skrev leger ned ting på papir og tilbrakte svært lite tid på notater. Men en gang EHR-er begynte å bli populære som en del av HITECH-loven av 2009, begynte jeg å merke at min far tilbrakte mer og mer tid ved datamaskinen. Han kom hjem senere. På helgene satt han på sofaen og dikterte notater. Enkle ting som å hente meg fra skolen eller basketballtrening ble en ting av fortiden, siden han tilbrakte de fleste av sine kveldstimer med å fange opp på dokumentasjon.
Som en nerdete gutt som vokste opp, prøvde jeg å finne løsninger for ham ved å søke på nettet og få ham til å prøve dem ut. Dessverre fungerte ingenting godt nok til å spare ham fra de lange timene med dokumentasjon.
I fremtiden, sommeren 2017 – jeg er en forsker som arbeider ved Berkeley AI Research Lab, arbeider på prosjekter i dokument-sammenfatting. En sommer når jeg er tilbake hjemme, merker jeg at min far fortsatt tilbringer mye tid med å dokumentere. Jeg spør, “Hva er nytt i verden av dokumentasjon? Alexa er overalt, Google Assistant er så god nå. Fortell meg, hva er siste nytt i den medisinske bransjen?” Og hans svar var, “Ingenting har forandret seg.” Jeg trodde det bare var han, men når jeg gikk og spurte flere av hans kolleger, var det samme problemet: ikke hva siste nytt var i kreftbehandling eller de nye problemene deres pasienter hadde – det var dokumentasjon. “Hvordan kan jeg bli kvitt dokumentasjon? Hvordan kan jeg spare tid på dokumentasjon? Det tar så mye av min tid.”
Jeg merket også flere selskaper som hadde dukket opp for å løse dokumentasjonsproblemet. Men enten var de for dyre (tusenvis av dollar per måned) eller de var for minimale i forhold til teknologi. Legene på den tiden hadde svært få valg. Det var da muligheten åpnet seg at hvis vi kunne skape en kunstig intelligens-medical skriver, en teknologi som kunne følge lege-pasient-besøk og sammenfatte dem, og tilby det til en pris som kunne gjøre det tilgjengelig for alle, kunne det virkelig bringe gleden av omsorg tilbake til medisinen.
Du var bare 22 år gammel da du lanserte DeepScribe. Kan du beskrive din reise som entreprenør?
Min første erfaring med entreprenørskap var tilbake på high school. Det startet når en venn og jeg som skjønte noen grunnleggende JavaScript-begreper møtte direktøren for et senter for barn med lærevansker. De fortalte oss hvordan de enkleste verktøyene kunne gå langt med dysleksiske barn. Vi endte opp med å lage en dysleksi-leser-utvidelse for Chrome. Det var virkelig minimalistisk – det justerte bare fonten for å møte de vitenskapelige retningslinjene for lett lesing for dysleksiske mennesker. Mens konseptet var enkelt, fikk vi over 5000 aktive brukere på noen måneder. Jeg ble slått av hvor mye grunnleggende teknologi kunne ha en så stor innvirkning på mennesker.
På Berkeley, fortsatte jeg å dykke ned i verden av entreprenørskap så mye som mulig, primært med deres bredt utvalg av klasser. Mine favoritter var:
- Newton-forelesningsserien – mennesker som Jessica Mah fra InDinero eller Diane Greene fra VMWare som var Cal-alumner ga svært relaterte taler om deres tid på Berkeley og hvordan de startet sine egne selskaper
- Challenge Lab – jeg møtte faktisk min medgrunnlegger Matt Ko gjennom denne klassen. Vi ble plassert i grupper og gikk gjennom en semester-lang reise med å skape et produkt og bli veiledet på hva det tok i de tidlige fasene for å få en idé i gang.
- Lean Launchpad – langt min favoritt av de tre; dette var en hard og rigorøs prosess hvor vi ble guidet av Steve Blank (en anerkjent milliardær og mannen bak lean startup-bevegelsen) til å ta en idé, validere den gjennom 100 kundeintervjuer, bygge en finansiell modell og mer. Dette var en klasse hvor vi presenterte vårt “startup” bare for å bli stoppet på slide 1 eller 2 og bli grillt. Hvis det ikke var nok, ble vi også forventet å intervjue 10 kunder per uke. Vår idé på den tiden var å skape en patentsøk som ville gi lignende resultater som en dyr prior art-søk, som betydde at vi presenterte for 10 bedriftskunder per uke. Det var bra fordi det lærte oss å tenke raskt på føttene og være ekstra ressursfulle.
DeepScribe startet når en investorgruppe kalt The House Fund skrev sjekker for studenter som ville avslå sine sommerpraktikker og tilbringe sommeren med å bygge sitt eget selskap. Vi hadde nettopp stengt Delphi (patentsøk-motoren) og Matt og jeg hadde vært konstant i samtale om medisinsk dokumentasjon og alt falt på plass siden det var det perfekte tidspunktet å gi det en sjanse.
Med DeepScribe, var vi heldige å ha nettopp kommet fersk ut av Lean Launchpad, siden en av de viktigste faktorene i å bygge et produkt for leger var å iterere og finjustere produktet rundt kunde-tilbakemelding. Et historisk problem i den medisinske industrien har vært at programvare sjelden har hatt leger i design-løkken, og derfor resultert i programvare som ikke var optimalisert for sluttbrukeren.
Siden DeepScribe skjedde samtidig som mitt siste år på Berkeley, var det en tung balanseakt. Jeg ville dukke opp i klassen i en dress så jeg kunne være på tid for en kunde-demonstrasjon like etter. Jeg ville bruke alle EE-fasilitetene og professorer ikke for noe som hadde med klassen å gjøre, men 100 prosent for DeepScribe. Mine møter med min forskningsmentor ble til DeepScribe-brainstormings-sesjoner.
Se tilbake, hvis jeg måtte endre en ting om min reise, ville det vært å sette college på vent så jeg kunne bruke 150 prosent av min tid på DeepScribe.
Kan du beskrive for en medisinsk profesjonell hva fordelene er med å bruke DeepScribe sammenlignet med den mer tradisjonelle metoden med stemme-diktering eller å ta notater?
Å bruke DeepScribe er ment å være svært likt å bruke en ekte menneskelig skriver. Mens du snakker naturlig med din pasient, vil DeepScribe lytte og plukke opp på de medisinsk relevante uttalelsene som vanligvis havner i dine notater og setter dem der, ved å bruke samme medisinske språk som du selv bruker. Vi liker å tenke på det som en ny AI-drevet medlem av din medisinske stab som du kan trene som du ville ønske å hjelpe med dokumentasjon i ditt elektroniske helsejournal-system som du ville ønske. Det er svært forskjellig fra å bruke en stemme-diktertjeneste, siden det eliminerer hele steget med å måtte gå tilbake og dokumentere. Mens typiske diktertjenester gjør 10 minutters dokumentasjon til 7-8 minutter, gjør DeepScribe det til noen få sekunder. Våre leger rapporterer noen hvor mellom 1,5 og 3 timers tid sparing per dag, avhengig av hvor mange pasienter de ser.
DeepScribe er enhets-agnostisk, operativt fra en iPhone, Apple Watch, nettleser (for telemedisin) eller maskinvare-enhet.
Hva er noen av tale-gjenkjenning eller NLP-utfordringene som DeepScribe kan møte på grunn av kompleks medisinsk terminologi?
I motsetning til hva mange tror, er kompleks medisinsk terminologi faktisk den enkleste delen for DeepScribe å plukke opp. Den vanskeligste delen for DeepScribe er å plukke opp unike kontekstuelle uttalelser en pasient kan gi en lege. Jo mer de avviker fra en typisk samtale, jo mer ser vi AI-en stru. Men når vi samler mer samtaledata, ser vi det forbedre seg dramatisk hver dag.
Hva er de andre maskinlærings-teknologiene som brukes med DeepScribe?
De store paraplyene av tale-gjenkjenning og NLP dekker mesteparten av maskinlæringen vi gjør på DeepScribe.
Kan du navngi noen av sykehusene, nonprofit-organisasjonene eller akademiske institusjonene som bruker DeepScribe?
DeepScribe startet ut gjennom et pilotprogram med UC Berkeley Health Center. Hartford Healthcare, Texas Medical Center og Cedar Valley Medical Specialists er noen av de større systemene DeepScribe jobber med.
Men den større prosenten av DeepScribe-brukerne er 50 private praksiser fra Alaska til Florida. Våre mest populære spesialiteter er primærhelsetjeneste, ortopedi, gastroenterologi, kardiologi, psykiatri og onkologi, men vi støtter også en håndfull andre spesialiteter.
DeepScribe har nylig lansert et program for å hjelpe med COVID-19. Kan du gå gjennom dette programmet?
COVID-19 har rammet våre leger hardt. Praksiser ser bare 30-40 prosent av sin pasientlast, skriver-stab settes ned, og leverandører blir tvunget til å bytte alle pasientene sine over til telemedisin. Alt dette ender opp med å føre til mer kontorarbeid for leverandører – vi på DeepScribe tror bestemt at for at denne pandemien skal stoppe, må legerne bruke 100 prosent av sin oppmerksomhet og tid på å ta seg av pasientene sine.
For å hjelpe denne årsaken, er vi stolte av å lansere en gratis telemedisin-løsning til helsepersonell som kjemper mot denne pandemien. Vår telemedisin-løsning er fullstendig integrert med vår AI-drevne medisinske skriver-løsning, og eliminerer behovet for klinisk dokumentasjon for møter gjort på vår plattform.
Vi tilbyr også vår skriver-tjeneste gratis under pandemien. Dette betyr at enhver lege kan få tilgang til en skriver gratis for å håndtere dokumentasjonen sin. Vårt håp er at ved å gjøre dette, vil legerne kunne fokusere mer av sin oppmerksomhet på pasientene sine og bruke mindre tid på å tenke på dokumentasjon, noe som vil føre til en raskere stopp av COVID-19-utbruddet.
Takk for det flotte intervjuet, jeg nøt virkelig å lære om DeepScribe og din entreprenør-reise. Alle som ønsker å lære mer, bør besøke DeepScribe.












