Ittai Dayan, MD, mede-oprichter en CEO van Rhino Health – Interviewreeks

Ittai Dayan, MD is de mede-oprichter en CEO van Rhino Health. Zijn achtergrond ligt in het ontwikkelen van kunstmatige intelligentie en diagnostiek, evenals klinische geneeskunde en onderzoek. Hij is een voormalig kernlid van BCG’s healthcare-praktijk en ziekenhuisdirecteur. Hij richt zich momenteel op het bijdragen aan de ontwikkeling van veilige, eerlijke en effectieve kunstmatige intelligentie in de gezondheidszorg en de levenswetenschappelijke industrie. Bij Rhino Health gebruiken ze gedistribueerde compute en Federated Learning als middel om patiëntgegevens te beschermen en samenwerking te bevorderen in de gefragmenteerde gezondheidszorg.

Hij diende in het IDF – speciale eenheden, leidde het grootste academisch-medisch centrum voor translationele AI in de wereld. Hij is een expert in AI-ontwikkeling en commercialisering, en een langeafstandsloper.

Kunt u de oorsprong van Rhino Health vertellen?

Mijn reis naar AI begon toen ik als clinicus en onderzoeker werkte en een vroege vorm van een ‘digitale biomarker’ gebruikte om de reactie op behandeling van psychische stoornissen te meten. Later leidde ik het Center for Clinical Data Science (CCDS) bij Mass General Brigham. Daar begeleidde ik de ontwikkeling van tientallen klinische AI-toepassingen en zag ik met eigen ogen de onderliggende uitdagingen die samenhangen met het toegang krijgen tot en ‘activeren’ van de gegevens die nodig zijn om regulatoire AI-producten te ontwikkelen en te trainen.

Ondanks de vele vooruitgang in de gezondheidszorg AI, is de weg van ontwikkeling tot het lanceren van een product op de markt lang en vaak hobbelig. Oplossingen crashen (of zijn gewoon teleurstellend) zodra ze klinisch worden ingezet, en het ondersteunen van de volledige AI-levenscyclus is bijna onmogelijk zonder voortdurende toegang tot een grote hoeveelheid klinische gegevens. De uitdaging is verschoven van het creëren van modellen naar het onderhouden ervan. Om deze uitdaging te beantwoorden, overtuigde ik het Mass General Brigham-systeem van de waarde van het hebben van hun eigen ‘gespecialiseerde CRO voor AI’ (CRO = Clinical Research Org), om algoritmes van meerdere commerciële ontwikkelaars te testen.

Het probleem bleef echter bestaan – gezondheidsgegevens zijn nog steeds zeer gefragmenteerd, en zelfs grote hoeveelheden gegevens van één netwerk zijn niet genoeg om de steeds smallere doelen van medische AI te bestrijden. In de zomer van 2020 startte ik en leidde ik (samen met Dr. Mona Flores van NVIDIA (NVDA )) de grootste gezondheids-Federated Learning (FL)-studie op dat moment, EXAM. We gebruikten FL om een COVID-uitkomst voorspellend model te creëren, met gegevens van over de hele wereld, zonder gegevens te delen. Vervolgens gepubliceerd in Nature Medicine, toonde deze studie de positieve impact van het gebruik van diverse en uiteenlopende datasets en benadrukte het potentieel voor een bredere toepassing van federated learning in de gezondheidszorg.

Deze ervaring heeft echter een aantal uitdagingen aan het licht gebracht. Deze omvatten het coördineren van gegevens over samenwerkende sites, het waarborgen van gegevens traceerbaarheid en juiste karakterisering, evenals de last die op de IT-afdelingen van elke instelling wordt gelegd, die moesten leren omgaan met baanbrekende technologieën waar ze niet aan gewend waren. Dit riep om een nieuw platform dat deze nieuwe ‘gedistribueerde gegevens’ samenwerkingen zou ondersteunen. Ik besloot om samen te werken met mijn mede-oprichter, Yuval Baror, om een eind-tot-eind platform te creëren voor het ondersteunen van privacy-beschermende samenwerkingen. Dat platform is het ‘Rhino Health Platform’, dat FL en edge-compute gebruikt.

Waarom denkt u dat AI-modellen vaak niet de verwachte resultaten opleveren in een gezondheidsomgeving?

Medische AI wordt vaak getraind op kleine, smalle datasets, zoals datasets van één instelling of geografische regio, waardoor het resulterende model alleen goed presteert op de soorten gegevens die het heeft gezien. Zodra het algoritme wordt toegepast op patiënten of scenario’s die afwijken van de smalle trainingsdataset, wordt de prestatie ernstig beïnvloed.

Andrew Ng, vatte het idee goed samen toen hij zei: “Het blijkt dat wanneer we gegevens verzamelen van het Stanford-ziekenhuis… we artikelen kunnen publiceren die laten zien dat [de algoritmes] vergelijkbaar zijn met menselijke radiologen in het opsporen van bepaalde aandoeningen. … [Wanneer] je datzelfde model, datzelfde AI-systeem, naar een ouder ziekenhuis in de straat brengt, met een oude machine, en de technicus een iets andere beeldvormingprotocol gebruikt, dan gaan de gegevensdrijvingen de prestaties van het AI-systeem aanzienlijk verslechteren.”

Om het simpel te zeggen, worden de meeste AI-modellen niet getraind op gegevens die voldoende divers en van hoge kwaliteit zijn, waardoor ze slecht presteren in de ‘echte wereld’. Deze kwestie is goed gedocumenteerd in zowel wetenschappelijke als mainstream kringen, zoals in Science en Politico.

Hoe belangrijk is het testen op diverse patiëntgroepen?

Het testen op diverse patiëntgroepen is cruciaal om ervoor te zorgen dat het resulterende AI-product niet alleen effectief en presteert, maar ook veilig is. Algoritmes die niet getraind of getest zijn op voldoende diverse patiëntgroepen, kunnen last hebben van algoritmische bias, een ernstig probleem in de gezondheidszorg en gezondheidstechnologie. Niet alleen zullen dergelijke algoritmes de bias weerspiegelen die aanwezig was in de trainingsgegevens, maar zullen ze die bias ook verergeren en bestaande raciale, etnische, religieuze, geslachts-, enz. ongelijkheden in de gezondheidszorg verergeren. Het niet testen op diverse patiëntgroepen kan leiden tot gevaarlijke producten.

Onlangs is een studie gepubliceerd⁵, die gebruik maakte van het Rhino Health Platform, die de prestaties van een AI-algoritme onderzocht dat hersenaneurysmen detecteert, ontwikkeld op één site, op vier verschillende sites met verschillende soorten scanners. De resultaten toonden aanzienlijke prestatievariabiliteit op sites met verschillende soorten scanners, waardoor de belangrijkheid van trainen en testen op diverse datasets werd benadrukt.

Hoe identificeert u of een subpopulatie niet wordt vertegenwoordigd?

Een veel voorkomende aanpak is om de verdeling van variabelen in verschillende datasets te analyseren, afzonderlijk en gecombineerd. Dat kan ontwikkelaars informeren, zowel bij het voorbereiden van ‘trainings’-datasets als validatiedatasets. Het Rhino Health Platform biedt u de mogelijkheid om dit te doen, en bovendien kunnen gebruikers zien hoe het model presteert op verschillende kohorten om generaliseerbaarheid en duurzame prestaties over subpopulaties te waarborgen.

Kunt u uitleggen wat Federated Learning is en hoe het sommige van deze problemen oplost?

Federated Learning (FL) kan breed worden gedefinieerd als het proces waarin AI-modellen worden getraind en vervolgens in de loop van de tijd worden verbeterd, met behulp van uiteenlopende gegevens, zonder dat er gegevens hoeven te worden gedeeld of gecentraliseerd. Dit is een enorme stap voorwaarts in de ontwikkeling van AI. Historisch gezien moest elke gebruiker die wilde samenwerken met meerdere sites, deze gegevens samenbrengen, waardoor een reeks van tijdrovende, dure en risicovolle juridische, risico- en compliance-problemen ontstonden.

Vandaag de dag wordt FL, met software zoals het Rhino Health Platform, een dagelijkse realiteit in de gezondheidszorg en levenswetenschappen. Federated Learning stelt gebruikers in staat om gegevens te verkennen, te selecteren en te valideren, terwijl deze gegevens op de lokale servers van de samenwerkende partijen blijven. Containerized code, zoals een AI/ML-algoritme of een analytische applicatie, wordt naar de lokale server gestuurd, waar de code, zoals de training of validatie van een AI/ML-algoritme, ‘lokaal’ wordt uitgevoerd. De gegevens blijven dus altijd bij de ‘gegevensbeheerder’.

Ziekenhuizen zijn met name bezorgd over de risico’s die samenhangen met het aggregaat van gevoelige patiëntgegevens. Dit heeft al tot beschamende situaties geleid, waaruit bleek dat gezondheidsorganisaties zonder precies te begrijpen hoe hun gegevens werden gebruikt, samenwerkten met de industrie. Als gevolg daarvan beperken ze de hoeveelheid samenwerking die zowel de industrie als academische onderzoekers kunnen doen, waardoor R&D wordt vertraagd en de productkwaliteit in de gezondheidszorg wordt beïnvloed. FL kan dit probleem mitigeren en data-samenwerkingen mogelijk maken zoals nooit tevoren, terwijl het risico dat samenhangt met deze samenwerkingen wordt gecontroleerd.

Kunt u de visie van Rhino Health delen voor het mogelijk maken van snelle modelcreatie door het gebruik van meer diverse gegevens?

We zien een ecosysteem van AI-ontwikkelaars en gebruikers voor ons, die zonder angst of beperking samenwerken, terwijl ze de grenzen van regelgeving respecteren. Samenwerkende partijen kunnen snel de nodige trainings- en testgegevens identificeren van over de hele wereld, toegang krijgen tot en interageren met die gegevens, en itereren op modelontwikkeling om ervoor te zorgen dat voldoende generaliseerbaarheid, prestaties en veiligheid worden gewaarborgd.

De kern hiervan is het Rhino Health Platform, dat een ‘one-stop-shop’ biedt voor AI-ontwikkelaars om massive en diverse datasets te construeren, AI-algoritmes te trainen en valideren, en voortdurend geïmplementeerde AI-producten te monitoren en onderhouden.

Hoe voorkomt het Rhino Health-platform AI-bias en biedt het AI-uitlegbaarheid?

Door data-samenwerkingen te ontgrendelen en te vereenvoudigen, kunnen AI-ontwikkelaars grotere, meer diverse datasets gebruiken bij het trainen en testen van hun toepassingen. Het resultaat van robuustere datasets is een meer generaliseerbaar product dat niet wordt belast door de bias van één instelling of smalle dataset. Ter ondersteuning van AI-uitlegbaarheid biedt ons platform een duidelijk zicht in de gegevens die tijdens het ontwikkelingsproces worden gebruikt, met de mogelijkheid om gegevensherkomst, verdeling van waarden en andere belangrijke metrics te analyseren om adequate gegevensdiversiteit en -kwaliteit te waarborgen. Bovendien stelt ons platform functionaliteit beschikbaar die niet mogelijk is wanneer gegevens eenvoudigweg worden samengevoegd, waaronder het mogelijk maken voor gebruikers om hun datasets verder te verrijken met extra variabelen, zoals die berekend uit bestaande gegevenspunten, om causale inferentie te onderzoeken en confounders te mitigeren.

Hoe reageert u op artsen die bezorgd zijn dat een overmatig vertrouwen op AI kan leiden tot vooringenomen resultaten die niet onafhankelijk zijn geverifieerd?

We begrijpen deze bezorgdheid en erkennen dat een aantal van de toepassingen op de markt vandaag de dag inderdaad vooringenomen kunnen zijn. Ons antwoord is dat we als industrie, als een gezondheidscommunity die in de eerste plaats bezorgd is met patiëntveiligheid, samen moeten komen om beleid en procedures te definiëren om dergelijke vooringenomenheden te voorkomen en veilige, effectieve AI-toepassingen te waarborgen. AI-ontwikkelaars hebben de verantwoordelijkheid om ervoor te zorgen dat hun op de markt gebrachte AI-producten onafhankelijk zijn geverifieerd om het vertrouwen van zowel gezondheidsprofessionals als patiënten te verdienen. Rhino Health is toegewijd aan het ondersteunen van veilige, betrouwbare AI-producten en werkt samen met partners om onafhankelijke validatie van AI-toepassingen mogelijk te maken voordat ze in klinische omgevingen worden geïmplementeerd, door de barrières voor de noodzakelijke validatiegegevens te verwijderen.

Wat is uw visie op de toekomst van AI in de gezondheidszorg?

De visie van Rhino Health is een wereld waarin AI zijn volledige potentieel in de gezondheidszorg heeft bereikt. We werken hard aan het creëren van transparantie en het bevorderen van samenwerking door privacy te waarborgen, om deze wereld mogelijk te maken. We zien een gezondheidszorg-AI die niet wordt beperkt door firewalls, geografische grenzen of regelgevingsbeperkingen. AI-ontwikkelaars zullen gecontroleerde toegang hebben tot alle gegevens die ze nodig hebben om krachtige, generaliseerbare modellen te bouwen – en om deze modellen voortdurend te monitoren en te verbeteren met een stroom van gegevens in real-time. Verzorgers en patiënten zullen de zekerheid hebben dat ze de controle over hun gegevens niet verliezen en ervoor kunnen zorgen dat deze voor het goede worden gebruikt. Regulatoire instanties zullen in staat zijn om nitor the efficacy of models used in pharmaceutical & device development in real time. Publieke gezondheidsorganisaties zullen profiteren van deze vooruitgang in AI, terwijl patiënten en verzorgers rustig slapen, wetend dat hun privacy wordt beschermd. Dank u voor het geweldige interview, lezers die meer willen leren, kunnen bezoek Rhino Health.