Ittai Dayan, MD, spoluzakladatel a CEO Rhino Health – rozhovor

Ittai Dayan, MD je spoluzakladatel a CEO Rhino Health. Jeho pozadí je v rozvoji umělé inteligence a diagnostiky, stejně jako klinické medicíny a výzkumu. Je bývalým jádrem zdravotnické praxe BCG a nemocničního manažera. V současné době se zaměřuje na přispívání k rozvoji bezpečné, spravedlivé a účinné umělé inteligence v oblasti zdravotnictví a životních věd. V Rhino Health používají distribuované výpočty a federativní učení jako prostředek pro zachování soukromí pacientů a podporu spolupráce napříč fragmentovaným zdravotnickým prostředím.

Sloužil v IDF – speciálních silách, vedl největší akademicko-zdravotnické centrum pro translaci umělé inteligence na světě. Je odborníkem na vývoj a komercializaci umělé inteligence a také dlouholetým běžcem.

Můžete sdílet příběh o vzniku Rhino Health?

Má cesta do umělé inteligence začala, když jsem byl klinickým pracovníkem a výzkumníkem, používal jsem ranou formu “digitálního biomarkeru” pro měření reakce na léčbu duševních poruch. Později jsem vedl Centrum pro klinické datové vědy (CCDS) v Mass General Brigham. Tam jsem dohlížel na vývoj desítek klinických aplikací umělé inteligence a osobně jsem zažil výzvy spojené s přístupem a “aktivací” dat nezbytných pro vývoj a školení regulačních produktů umělé inteligence.

Přes mnoho pokroků v oblasti umělé inteligence ve zdravotnictví je cesta od vývoje k uvedení produktu na trh dlouhá a často obtížná. Řešení selhávají (nebo prostě zklamou) jednou nasazená klinicky, a podpora celého životního cyklu umělé inteligence je téměř nemožná bezngoing přístupu k rozsáhlým klinickým údajům. Výzva se změnila z tvoření modelů na udržování jich. Abych odpověděl na tuto výzvu, přesvědčil jsem systém Mass General Brigham o hodnotě mít svůj vlastní “specializovaný CRO pro umělou inteligenci” (CRO = Klinická výzkumná organizace), aby otestoval algoritmy od více komerčních vývojářů.

Jedna věc zůstala – zdravotní data jsou stále velmi izolovaná, a dokonce i velká množství dat z jedné sítě nejsou dostatečná k boji proti stále užšímu cíli medicínské umělé inteligence. V létě 2020 jsem inicioval a vedl (spolu s Dr. Monou Flores z NVIDIA (NVDA )) největší studii federativního učení (FL) ve zdravotnictví, EXAM. Použili jsme FL k vytvoření předpovědního modelu výsledků COVID, využívající data z celého světa, bez sdílení jakýchkoli dat. Později publikovaná v Nature Medicine, tato studie demonstrovala pozitivní dopad využití rozmanitých a různohlasých dat a zdůraznila potenciál pro širší využití federativního učení ve zdravotnictví.

Tato zkušenost však poukázala na řadu výzev. Tyto zahrnovaly orchestraci dat napříč spolupracujícími místy, zajištění stopovatelnosti a řádné charakterizace dat, stejně jako zátěž, kterou kladou na IT oddělení z každé instituce, které musely seznámit s nejnovějšími technologiemi, se kterými nebyly obeznámeny. To vyžadovalo novou platformu, která by podporovala tyto novější “distribuované datové” spolupráce. Rozhodl jsem se spojit se svým spoluzakladatelem, Yuval Barorem, abychom vytvořili komplexní platformu pro podporu soukromí zachovávajících spoluprací. Tato platforma je “Rhino Health Platform”, využívající FL a edge-compute.

Proč si myslíte, že modely umělé inteligence často selhávají ve zdravotnickém prostředí?

Umělá inteligence ve zdravotnictví je často trénována na malých, úzkých datech, jako jsou data z jedné instituce nebo geografické oblasti, což vede k tomu, že výsledný model funguje pouze dobře na typech dat, se kterými byl trénován. Jakmile je algoritmus aplikován na pacienty nebo scénáře, které se liší od úzkého tréninkového datasetu, je výkon vážně ovlivněn.

Andrew Ng to vyjádřil dobře, když řekl: “Zjistilo se, že když shromažďujeme data ze Stanfordovy nemocnice…můžeme publikovat články, které ukazují, že [algoritmy] jsou srovnatelné s lidskými radiology při identifikaci určitých stavů. … [Když] vezmete stejný model, stejný systém umělé inteligence, do starší nemocnice na ulici, s starší mašinou, a technik používá slightly odlišný zobrazovací protokol, data se posunou a způsobí, že výkon systému umělé inteligence se zhorší výrazně.” ³

Jednoduše řečeno, většina modelů umělé inteligence není trénována na datech, které jsou dostatečně rozmanité a kvalitní, což vede k špatnému “reálnému” výkonu. Tato otázka byla dobře zdokumentována v odborných i hlavních kruzích, jako je Science a Politico.

Jak důležité je testování na rozmanitých pacientských skupinách?

Testování na rozmanitých pacientských skupinách je zásadní pro zajištění toho, že výsledný produkt umělé inteligence je nejen efektivní a výkonný, ale také bezpečný. Algoritmy, které nejsou trénovány nebo testovány na dostatečně rozmanitých pacientských skupinách, mohou trpět algoritmickou předpojatostí, vážnou otázkou ve zdravotnictví a zdravotnické technologii. Nejenže takové algoritmy odrážejí předpojatost, která byla přítomna ve tréninkových datech, ale také zhoršují tuto předpojatost a zesilují existující rasové, etnické, náboženské, pohlavní apod. nerovnosti ve zdravotnictví. Selhání testování na rozmanitých pacientských skupinách může vést k nebezpečným produktům.

Nedávná studie ⁵, která využila platformu Rhino Health, prozkoumala výkon algoritmu umělé inteligence pro detekci mozkových aneuryzmat, vyvinutého na jednom místě, na čtyřech různých místech s různými typy skenerů. Výsledky prokázaly podstatnou variabilitu výkonu na místech s různými typy skenerů, zdůrazňující důležitost trénování a testování na rozmanitých datech.

Jak identifikujete, zda je subpopulace nedostatečně reprezentována?

Běžný přístup spočívá v analýze distribucí proměnných v různých datech, jednotlivě a kombinovaně. To může informovat vývojáře jak při přípravě “tréninkových” dat, tak při validaci dat. Platforma Rhino Health umožňuje uživatelům vidět, jak model funguje na různých kohortách, aby zajistili obecnou platnost a udržitelný výkon napříč subpopulacemi.

Můžete popsat, co je federativní učení a jak řeší některé z těchto otázek?

Federativní učení (FL) lze obecně definovat jako proces, ve kterém jsou modely umělé inteligence trénovány a poté dále vylepšovány pomocí různohlasých dat, bez nutnosti sdílet nebo centralizovat data. To je velký skok vpřed ve vývoji umělé inteligence. Historicky, každý uživatel, který chtěl spolupracovat s více místy, musel tato data spojit, což vedlo k mnoha obtížným, nákladným a časově náročným právním, rizikovým a kompliančním otázkám.

Dnes, s softwarem jako je platforma Rhino Health, se FL stává denní realitou ve zdravotnictví a životních vědách. Federativní učení umožňuje uživatelům prozkoumat, kurátorky a ověřit data, zatímco tato data zůstávají na místních serverech spolupracujících. Kontejnerový kód, jako je algoritmus umělé inteligence nebo analytická aplikace, je odeslán na místní server, kde je provedena lokální exekuce, jako je trénink nebo validace algoritmu umělé inteligence. Data tak zůstávají u “správců dat” vždy.

Nemocnice, zejména, jsou znepokojeny riziky spojenými s agregací citlivých pacientských dat. To již vedlo k trapným situacím, kdy se ukázalo, že zdravotnické organizace spolupracovaly s průmyslem bez přesného pochopení použití svých dat. To omezuje množství spolupráce, které mohou průmysl a akademické výzkumné pracovníky dělat, zpomaluje výzkum a vývoj a dopaduje na kvalitu produktů ve zdravotnictví. FL může zmírnit toto riziko a umožnit datové spolupráce, jako nikdy předtím, zatímco kontroluje rizika spojená s těmito spolupracemi.

Můžete sdílet vizi Rhino Health pro umožnění rychlého vytváření modelů pomocí více rozmanitých dat?

Naší vizí je ekosystém vývojářů a uživatelů umělé inteligence, kteří spolupracují bez strachu nebo omezení, zatímco respektují hranice regulací. Spolupracovníci mohou rychle identifikovat nezbytná tréninková a testovací data z celého světa, přístup a interagovat s těmito daty a iterovat na vývoj modelů, aby zajistili dostatečnou obecnou platnost, výkon a bezpečnost.

V srdci toho je platforma Rhino Health, poskytující “jedno zastavení” pro vývojáře umělé inteligence, aby konstruovali rozsáhlá a rozmanitá data, trénovali a validační algoritmy umělé inteligence a neustále monitorovali a udržovali nasazené produkty umělé inteligence.

Jak platforma Rhino Health zabraňuje předpojatosti umělé inteligence a nabízí vysvětlitelnost umělé inteligence?

Odemykáním a zjednodušováním datových spoluprací mohou vývojáři umělé inteligence využívat rozsáhlejší a rozmanitější data při tréninku a testování svých aplikací. Výsledkem jsou robustnější datové sady, které nejsou zatíženy předpojatostmi jedné instituce nebo úzké datové sady. Na podporu vysvětlitelnosti umělé inteligence naše platforma poskytuje jasný pohled do dat, která jsou využívána během vývojového procesu, s možností analyzovat původ dat, distribuce hodnot a další klíčové metriky, aby zajistily dostatečnou rozmanitost a kvalitu dat. Kromě toho naše platforma umožňuje funkčnost, která není možná, pokud jsou data jednoduše spojená, včetně umožnění uživatelům dále vylepšit své datové sady přidáním dalších proměnných, jako jsou ty, které jsou vypočteny z existujících datových bodů, aby prozkoumali kauzální inferenci a zmírnili konfundry.

Jak reagujete na lékaře, kteří se obávají, že nadměrná závislost na umělé inteligenci může vést k předpojatým výsledkům, které nejsou nezávisle ověřeny?

Souhlasíme s touto obavou a uznáváme, že některé aplikace na trhu mohou být skutečně předpojaté. Naše odpověď je, že musíme spolupracovat jako průmysl, jako zdravotnická komunita, která je především znepokojena bezpečností pacientů, aby stanovila politiky a postupy, které zabrání takovým předpojatostem a zajistí bezpečné a důvěryhodné aplikace umělé inteligence. Vývojáři umělé inteligence mají odpovědnost zajistit, aby jejich prodávané produkty umělé inteligence byly nezávisle ověřeny, aby získali důvěru zdravotnických odborníků a pacientů. Rhino Health se zavazuje podporovat bezpečné a důvěryhodné produkty umělé inteligence a spolupracuje s partnery, aby umožnil a zjednodušil nezávislé ověření aplikací umělé inteligence před nasazením v klinickém prostředí, odemykáním bariér pro nezbytná validační data.

Jaká je vaše vize pro budoucnost umělé inteligence ve zdravotnictví?

Vize Rhino Health je světa, ve kterém umělá inteligence dosáhla svého plného potenciálu ve zdravotnictví. Usilovně pracujeme na vytváření transparentnosti a podpory spolupráce, aby byla zajištěna tato vize. Představujeme si zdravotnickou umělou inteligenci, která není omezena firewally, geografickými omezeními nebo regulačními omezeními. Vývojáři umělé inteligence budou mít řízený přístup ke všem datům, která potřebují k vytvoření silných a obecně platných modelů – a k jejich neustálému monitorování a vylepšování s tokem dat v reálném čase. Poskytovatelé a pacienti budou mít jistotu, že nebudou ztrácet kontrolu nad svými daty a budou moci zajistit, aby byla použita pro dobro. Regulační orgány budou moci monitorovat účinnost modelů používaných ve farmaceutickém a zařízajícím rozvoji v reálném čase. Veřejné zdravotnické organizace budou mít prospěch z těchto pokroků v umělé inteligenci, zatímco pacienti a poskytovatelé se budou cítit v bezpečí, vědouce, že je chráněno soukromí.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Rhino Health.