Lékař Ittai Dayan, spoluzakladatel a CEO Rhino Health – série rozhovorů

Ittai Dayan, MD je spoluzakladatel a CEO Rhino Health. Má zkušenosti s vývojem umělé inteligence a diagnostiky, stejně jako klinické medicíny a výzkumu. Byl členem hlavního týmu zdravotnické divize BCG a vedoucím pracovníkem nemocnice. V současné době se zaměřuje na přispívání k rozvoji bezpečné, spravedlivé a účinné umělé inteligence v oblasti zdravotnictví a životních věd. V Rhino Health používají distribuované výpočty a federativní učení jako prostředek pro zachování soukromí pacientů a podporu spolupráce napříč fragmentovaným zdravotnickým prostředím.

Sloužil v IDF – speciálních silách, vedl největší centrum translační AI na světě sídlící při akademickém zdravotnickém centru. Je odborníkem na vývoj a komercializaci umělé inteligence a také běžcem na dlouhé tratě.

Můžete sdílet příběh o vzniku Rhino Health?

Má cesta do umělé inteligence začala, když jsem byl klinickým pracovníkem a výzkumníkem, používal jsem ranou formu “digitálního biomarkeru” pro měření reakce na léčbu duševních poruch. Později jsem vedl Centrum pro klinické datové vědy (CCDS) v Mass General Brigham. Tam jsem dohlížel na vývoj desítek klinických aplikací umělé inteligence a osobně jsem zažil výzvy spojené s přístupem a “aktivací” dat nezbytných pro vývoj a trénování produktů AI splňujících regulatorní požadavky.

Přes mnoho pokroků v oblasti umělé inteligence ve zdravotnictví je cesta od vývoje k uvedení produktu na trh dlouhá a často obtížná. Řešení selhávají (nebo prostě zklamou) jednou nasazená klinicky, a podpora celého životního cyklu umělé inteligence je téměř nemožná bez průběžného přístupu k rozsáhlým klinickým údajům. Výzva se změnila z tvoření modelů na udržování jich. Abych odpověděl na tuto výzvu, přesvědčil jsem systém Mass General Brigham o hodnotě mít svůj vlastní “specializovaný CRO pro umělou inteligenci” (CRO = Klinická výzkumná organizace), aby otestoval algoritmy od více komerčních vývojářů.

Jedna věc zůstala – zdravotní data jsou stále velmi izolovaná, a dokonce i velká množství dat z jedné sítě nejsou dostatečná k pokrytí stále specifičtějších cílů medicínské AI. V létě 2020 jsem inicioval a vedl (spolu s Dr. Monou Flores z NVIDIA (NVDA )) tehdy největší světovou studii federativního učení (FL) ve zdravotnictví, EXAM. Použili jsme FL k vytvoření předpovědního modelu výsledků COVID, využívající data z celého světa, bez sdílení jakýchkoli dat. Později publikovaná v Nature Medicine, tato studie demonstrovala pozitivní dopad využití rozmanitých a různorodých dat a zdůraznila potenciál pro širší využití federativního učení ve zdravotnictví.

Tato zkušenost však poukázala na řadu výzev. Tyto zahrnovaly orchestraci dat napříč spolupracujícími místy, zajištění dohledatelnosti a řádné charakterizace dat, stejně jako zátěž, kterou kladou na IT oddělení z každé instituce, které se musely seznámit s nejnovějšími technologiemi, se kterými nebyly obeznámeny. To vyžadovalo novou platformu, která by podporovala tyto novější “distribuované datové” spolupráce. Rozhodl jsem se spojit se svým spoluzakladatelem, Yuval Barorem, abychom vytvořili komplexní platformu pro podporu soukromí zachovávajících spoluprací. Tato platforma je “Rhino Health Platform”, využívající FL a edge-compute.

Proč si myslíte, že modely umělé inteligence často selhávají ve zdravotnickém prostředí?

Umělá inteligence ve zdravotnictví je často trénována na malých, úzkých datech, jako jsou data z jedné instituce nebo geografické oblasti, což vede k tomu, že výsledný model funguje pouze dobře na typech dat, se kterými byl trénován. Jakmile je algoritmus aplikován na pacienty nebo scénáře, které se liší od úzkého tréninkového datasetu, je výkon vážně ovlivněn.

Andrew Ng to vyjádřil dobře, když řekl: “Zjistilo se, že když shromažďujeme data ze Stanfordovy nemocnice…můžeme publikovat články, které ukazují, že [algoritmy] jsou srovnatelné s lidskými radiology při identifikaci určitých stavů. … [Když] vezmete stejný model, stejný systém umělé inteligence, do starší nemocnice na ulici, se starším přístrojem, a technik používá mírně odlišný zobrazovací protokol, data se posunou a způsobí, že výkon systému umělé inteligence se zhorší výrazně.” ³

Jednoduše řečeno, většina modelů umělé inteligence není trénována na datech, která jsou dostatečně rozmanitá a kvalitní, což vede k špatnému “reálnému” výkonu. Tato otázka byla dobře zdokumentována ve vědeckých kruzích i v běžných médiích, jako je Science a Politico.

Jak důležité je testování na rozmanitých pacientských skupinách?

Testování na rozmanitých pacientských skupinách je zásadní pro zajištění toho, že výsledný produkt umělé inteligence je nejen efektivní a výkonný, ale také bezpečný. Algoritmy, které nejsou trénovány nebo testovány na dostatečně rozmanitých pacientských skupinách, mohou trpět algoritmickou předpojatostí, vážnou otázkou ve zdravotnictví a zdravotnické technologii. Nejenže takové algoritmy odrážejí předpojatost, která byla přítomna ve tréninkových datech, ale také zhoršují tuto předpojatost a zesilují existující rasové, etnické, náboženské, pohlavní apod. nerovnosti ve zdravotnictví. Selhání testování na rozmanitých pacientských skupinách může vést k nebezpečným produktům.

Nedávná studie ⁵, která využila platformu Rhino Health, prozkoumala výkon algoritmu umělé inteligence pro detekci mozkových aneuryzmat, vyvinutého na jednom místě, na čtyřech různých místech s různými typy skenerů. Výsledky prokázaly podstatnou variabilitu výkonu na místech s různými typy skenerů, zdůrazňující důležitost trénování a testování na rozmanitých datech.

Jak identifikujete, zda je subpopulace nedostatečně reprezentována?

Běžný přístup spočívá v analýze distribucí proměnných v různých datech, jednotlivě a kombinovaně. To může informovat vývojáře jak při přípravě “tréninkových” dat, tak při validaci dat. Platforma Rhino Health umožňuje uživatelům vidět, jak model funguje na různých kohortách, aby zajistili schopnost zobecnění a udržitelný výkon napříč subpopulacemi.

Můžete popsat, co je federativní učení a jak řeší některé z těchto otázek?

Federativní učení (FL) lze obecně definovat jako proces, ve kterém jsou modely umělé inteligence trénovány a poté dále vylepšovány pomocí různorodých dat, bez nutnosti sdílet nebo centralizovat data. To je velký skok vpřed ve vývoji umělé inteligence. Historicky, každý uživatel, který chtěl spolupracovat s více místy, musel tato data spojit, což vedlo k mnoha obtížným, nákladným a časově náročným právním, rizikovým a kompliančním otázkám.

Dnes, s softwarem jako je platforma Rhino Health, se FL stává denní realitou ve zdravotnictví a životních vědách. Federativní učení umožňuje uživatelům prozkoumat, vybrat a uspořádat a ověřit data, zatímco tato data zůstávají na místních serverech spolupracujících. Kontejnerový kód, jako je algoritmus umělé inteligence nebo analytická aplikace, je odeslán na místní server, kde je provedena lokální exekuce, jako je trénink nebo validace algoritmu umělé inteligence. Data tak zůstávají u “správců dat” vždy.

Nemocnice, zejména, jsou znepokojeny riziky spojenými s agregací citlivých pacientských dat. To již vedlo k trapným situacím, kdy se ukázalo, že zdravotnické organizace spolupracovaly s průmyslem bez přesného pochopení použití svých dat. To omezuje množství spolupráce, které mohou průmysl a akademičtí výzkumní pracovníci uskutečňovat, zpomaluje výzkum a vývoj a ovlivňuje kvalitu produktů ve zdravotnictví. FL může zmírnit toto riziko a umožnit datové spolupráce, jako nikdy předtím, zatímco kontroluje rizika spojená s těmito spolupracemi.

Můžete sdílet vizi Rhino Health pro umožnění rychlého vytváření modelů pomocí více rozmanitých dat?

Naší vizí je ekosystém vývojářů a uživatelů umělé inteligence, kteří spolupracují bez strachu nebo omezení, zatímco respektují hranice regulací. Spolupracovníci mohou rychle identifikovat nezbytná tréninková a testovací data z celého světa, získat k těmto datům přístup a pracovat s nimi a iterovat na vývoj modelů, aby zajistili dostatečnou schopnost zobecnění, výkon a bezpečnost.

V srdci toho je platforma Rhino Health, poskytující komplexní řešení pro vývojáře umělé inteligence, aby konstruovali rozsáhlá a rozmanitá data, trénovali a validovali algoritmy umělé inteligence a neustále monitorovali a udržovali nasazené produkty umělé inteligence.

Jak platforma Rhino Health zabraňuje předpojatosti umělé inteligence a nabízí vysvětlitelnost umělé inteligence?

Odemykáním a zjednodušováním datových spoluprací mohou vývojáři umělé inteligence využívat rozsáhlejší a rozmanitější data při tréninku a testování svých aplikací. Výsledkem kvalitnějších datových sad je produkt s lepší schopností zobecnění, který není zatížen předpojatostmi jedné instituce nebo úzké datové sady. Na podporu vysvětlitelnosti umělé inteligence naše platforma poskytuje jasný pohled do dat, která jsou využívána během vývojového procesu, s možností analyzovat původ dat, distribuce hodnot a další klíčové metriky, aby zajistily dostatečnou rozmanitost a kvalitu dat. Kromě toho naše platforma umožňuje funkčnost, která není možná, pokud jsou data jednoduše spojená, včetně umožnění uživatelům dále vylepšit své datové sady přidáním dalších proměnných, jako jsou ty, které jsou vypočteny z existujících datových bodů, aby prozkoumali kauzální inferenci a omezili vliv matoucích proměnných.

Jak reagujete na lékaře, kteří se obávají, že nadměrná závislost na umělé inteligenci může vést k předpojatým výsledkům, které nejsou nezávisle ověřeny?

Souhlasíme s touto obavou a uznáváme, že některé aplikace na trhu mohou být skutečně předpojaté. Naše odpověď je, že musíme spolupracovat jako průmysl, jako zdravotnická komunita, která je především znepokojena bezpečností pacientů, aby stanovila politiky a postupy, které zabrání takovým předpojatostem a zajistí bezpečné a účinné aplikace umělé inteligence. Vývojáři umělé inteligence mají odpovědnost zajistit, aby jejich prodávané produkty umělé inteligence byly nezávisle ověřeny, aby získali důvěru zdravotnických odborníků a pacientů. Rhino Health se zavazuje podporovat bezpečné a důvěryhodné produkty umělé inteligence a spolupracuje s partnery, aby umožnil a zjednodušil nezávislé ověření aplikací umělé inteligence před nasazením v klinickém prostředí, odstraňováním překážek přístupu k nezbytným validačním datům.

Jaká je vaše vize pro budoucnost umělé inteligence ve zdravotnictví?

Vize Rhino Health je světa, ve kterém umělá inteligence dosáhla svého plného potenciálu ve zdravotnictví. Usilovně pracujeme na vytváření transparentnosti a podpoře spolupráce prostřednictvím ochrany soukromí, aby se tato vize naplnila. Představujeme si zdravotnickou umělou inteligenci, která není omezena firewally, geografickými omezeními nebo regulačními omezeními. Vývojáři umělé inteligence budou mít řízený přístup ke všem datům, která potřebují k vytvoření silných a modelů schopných zobecnění – a k jejich neustálému monitorování a vylepšování s tokem dat v reálném čase. Poskytovatelé a pacienti budou mít jistotu, že nebudou ztrácet kontrolu nad svými daty a budou moci zajistit, aby byla použita pro dobro. Regulační orgány budou moci monitorovat účinnost modelů používaných při vývoji léčiv a zdravotnických prostředků v reálném čase. Organizace veřejného zdraví budou mít prospěch z těchto pokroků v umělé inteligenci, zatímco pacienti a poskytovatelé se budou cítit v bezpečí, vědouce, že je chráněno soukromí.

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Rhino Health.