Ittai Dayan, MD, co-fondator și CEO al Rhino Health – Seria de interviuri

Ittai Dayan, MD este co-fondatorul și CEO-ul Sănătatea Rinocerului. Experiența sa este în dezvoltarea inteligenței artificiale și a diagnosticului, precum și în medicina clinică și cercetare. El este un fost membru de bază al practicii de asistență medicală a BCG și al directorului spitalicesc. În prezent, el se concentrează pe contribuția la dezvoltarea unei inteligențe artificiale sigure, echitabile și de impact în industria sănătății și științelor vieții. La Rhino Health, folosesc calcularea distribuită și învățarea federată ca mijloc de menținere a confidențialității pacienților și de promovare a colaborării în peisajul fragmentat al asistenței medicale.

A servit în IDF – forțele speciale, a condus cel mai mare centru academic-medical de IA translațional din lume. Este un expert în dezvoltarea și comercializarea AI și un alergător pe distanțe lungi.

Ați putea împărtăși povestea genezei din spatele Rhino Health?

Călătoria mea în IA a început când eram clinician și cercetător, folosind o formă timpurie a unui „biomarker digital” pentru a măsura răspunsul la tratament în tulburările mintale. Mai târziu, am continuat să conduc Centrul pentru Știința Datelor Clinice (CCDS) de la Mass General Brigham. Acolo, am supravegheat dezvoltarea a zeci de aplicații clinice de inteligență artificială și am asistat direct la provocările de bază asociate cu accesarea și „activarea” datelor necesare dezvoltării și instruirii produselor de inteligență artificială de nivel normativ.

În ciuda numeroaselor progrese în domeniul AI în domeniul sănătății, drumul de la dezvoltare până la lansarea unui produs pe piață este lung și adesea accidentat. Soluțiile se prăbușesc (sau pur și simplu dezamăgesc) odată implementate clinic, iar susținerea întregului ciclu de viață AI este aproape imposibilă fără acces continuu la o serie de date clinice. Provocarea s-a schimbat de la crearea de modele, la mentine lor. Pentru a răspunde acestei provocări, am convins sistemul Mass General Brigham de valoarea de a avea propriul „CRO specializat pentru IA” (CRO = Clinical Research Org), pentru a testa algoritmi de la mai mulți dezvoltatori comerciali.

Cu toate acestea, problema a rămas – datele de sănătate sunt încă foarte izolate și chiar și cantitățile mari de date dintr-o singură rețea nu sunt suficiente pentru a combate țintele din ce în ce mai înguste ale IA medicală. În vara anului 2020, am inițiat și condus (împreună cu dr. Mona Flores de la NVIDIA), cel mai mare studiu de învățare federată (FL) în domeniul sănătății din lume la acea vreme, EXAMEN. Am folosit FL pentru a crea un model predictiv de rezultat COVID, valorificând date din întreaga lume, fără a partaja date.. Publicat ulterior în Nature Medicine, acest studiu a demonstrat impactul pozitiv al valorificării unor seturi de date diverse și disparate și a subliniat potențialul pentru o utilizare mai răspândită a învățării federate în domeniul sănătății.

Această experiență a elucidat însă o serie de provocări. Acestea au inclus orchestrarea datelor pe site-urile colaboratoare, asigurarea trasabilității datelor și caracterizarea adecvată, precum și povara impusă departamentelor IT din fiecare instituție, care trebuiau să învețe tehnologii de ultimă oră cu care nu erau obișnuiți. Aceasta a necesitat o nouă platformă care să sprijine aceste noi colaborări de „date distribuite”. Am decis să fac echipă cu co-fondatorul meu, Yuval Baror, pentru a crea o platformă end-to-end pentru susținerea colaborărilor care păstrează confidențialitatea. Această platformă este „Rhino Health Platform”, care folosește FL și edge-compute.

De ce credeți că modelele AI nu reușesc adesea să ofere rezultatele așteptate într-un cadru medical?

Inteligența artificială medicală este adesea instruită pe seturi de date mici, înguste, cum ar fi seturi de date dintr-o singură instituție sau regiune geografică, ceea ce duce la o performanță bună a modelului rezultat doar pe tipurile de date pe care le-a văzut. Odată ce algoritmul este aplicat pacienților sau scenariilor care diferă de setul restrâns de date de antrenament, performanța este grav afectată.

Andrew Ng, a captat bine noțiunea când a declarat: „Se pare că atunci când colectăm date de la Spitalul Stanford... putem publica lucrări care să arate [algoritmii] sunt comparabili cu radiologii umani în identificarea anumitor condiții. … [Când] duci același model, același sistem AI, la un spital mai vechi de pe stradă, cu o mașină mai veche, iar tehnicianul folosește un protocol de imagistică ușor diferit, că datele se deplasează pentru a duce la degradarea performanței sistemului AI. semnificativ."³

Mai simplu spus, majoritatea modelelor AI nu sunt antrenate pe date suficient de diverse și de înaltă calitate, rezultând performanțe slabe în „lumea reală”. Această problemă a fost bine documentată atât în ​​cercurile științifice, cât și în cele principale, cum ar fi în Ştiinţă și Politico.

Cât de importantă este testarea pe diverse grupuri de pacienți?

Testarea pe diverse grupuri de pacienți este crucială pentru a ne asigura că produsul AI rezultat nu este doar eficient și performant, ci și sigur. Algoritmii care nu sunt antrenați sau testați pe grupuri de pacienți suficient de diverse pot suferi de părtinire algoritmică, o problemă serioasă în asistența medicală și tehnologia de asistență medicală. Nu numai că astfel de algoritmi vor reflecta părtinirea prezentă în datele de formare, dar vor exacerba această părtinire și vor agrava inechitățile rasiale, etnice, religioase, de gen etc. existente în asistența medicală. Eșecul testării pe diferite grupuri de pacienți poate duce la produse periculoase.

Un studiu publicat recent⁵, utilizând platforma Rhino Health, a investigat performanța unui algoritm AI care detectează anevrismele cerebrale dezvoltate la un loc pe patru site-uri diferite cu o varietate de tipuri de scanere. Rezultatele au demonstrat o variabilitate substanțială a performanței pe site-uri cu diferite tipuri de scanere, subliniind importanța instruirii și a testării pe diverse seturi de date.

Cum identifici dacă o subpopulație nu este reprezentată?

O abordare comună este analizarea distribuțiilor variabilelor în diferite seturi de date, individual și combinate. Acest lucru poate informa dezvoltatorii atât atunci când pregătesc seturi de date pentru „antrenament”, cât și seturi de date de validare. Platforma Rhino Health vă permite să faceți acest lucru și, în plus, utilizatorii pot vedea modul în care modelul funcționează pe diferite cohorte pentru a asigura generalizarea și performanța durabilă între subpopulații.

Ați putea descrie ce este învățarea federată și cum rezolvă unele dintre aceste probleme?

Învățarea federată (FL) poate fi definită în linii mari ca procesul în care modelele AI sunt antrenate și apoi continuă să se îmbunătățească în timp, folosind date disparate, fără a fi nevoie de partajare sau centralizare a datelor. Acesta este un salt uriaș înainte în dezvoltarea AI. Din punct de vedere istoric, orice utilizator care dorește să colaboreze cu mai multe site-uri trebuie să pună în comun acele date, inducând o multitudine de juridice, riscuri și conformitate oneroase, costisitoare și consumatoare de timp.

Astăzi, cu software precum Rhino Health Platform, FL devine o realitate de zi cu zi în domeniul sănătății și al științelor vieții. Învățarea federată permite utilizatorilor să exploreze, să organizeze și să valideze datele în timp ce aceste date rămân pe serverele locale ale colaboratorilor. Codul containerizat, cum ar fi un algoritm AI/ML sau o aplicație analitică, este trimis către serverul local unde execuția codului respectiv, cum ar fi antrenamentul sau validarea unui algoritm AI/ML, este efectuată „local”. Astfel, datele rămân la „depositul datelor” în orice moment.

Spitalele, în special, sunt îngrijorate de riscurile asociate cu agregarea datelor sensibile ale pacienților. Acest lucru a condus deja la situații jenante, în care a devenit clar că organizațiile din domeniul sănătății au colaborat cu industria fără a înțelege exact modul de utilizare a datelor lor. La rândul lor, ele limitează cantitatea de colaborare pe care o pot face atât cercetătorii din industrie, cât și cercetătorii academicieni, încetinind cercetarea și dezvoltarea și influențând calitatea produselor în industria sănătății. FL poate atenua acest lucru și poate permite colaborări de date ca niciodată, controlând în același timp riscul asociat acestor colaborări.

Ați putea împărtăși viziunea Rhino Health pentru a permite crearea rapidă a modelelor prin utilizarea unor date mai diverse?

Ne imaginăm un ecosistem de dezvoltatori și utilizatori de inteligență artificială, care colaborează fără teamă sau constrângere, respectând în același timp limitele reglementărilor.. Colaboratorii sunt capabili să identifice rapid datele de instruire și testare necesare din diferite zone geografice, să acceseze și să interacționeze cu acele date și să itereze pe model. dezvoltare pentru a asigura suficientă generalizare, performanță și siguranță.

În centrul acestui lucru se află Rhino Health Platform, care oferă un „ghișeu unic” pentru dezvoltatorii AI pentru a construi seturi de date masive și diverse, a antrena și valida algoritmi AI și pentru a monitoriza și întreține continuu produsele AI implementate.

Cum platforma Rhino Health previne părtinirea AI și oferă explicabilitate AI?

Prin deblocarea și eficientizarea colaborărilor de date, dezvoltatorii AI pot folosi seturi de date mai mari și mai diverse în instruirea și testarea aplicațiilor lor. Rezultatul unor seturi de date mai robuste este un produs mai generalizabil, care nu este împovărat de părtinirile unei singure instituții sau ale unui set de date restrâns. În sprijinul explicabilității inteligenței artificiale, platforma noastră oferă o imagine clară asupra datelor exploatate pe parcursul procesului de dezvoltare, cu capacitatea de a analiza originile datelor, distribuțiile valorilor și alte valori cheie pentru a asigura diversitatea și calitatea adecvată a datelor. În plus, platforma noastră permite o funcționalitate care nu este posibilă dacă datele sunt pur și simplu puse în comun, inclusiv permițând utilizatorilor să-și îmbunătățească în continuare seturile de date cu variabile suplimentare, cum ar fi cele calculate din punctele de date existente, pentru a investiga inferența cauzală și a atenua factorii de confuzie.

Cum le răspundeți medicilor care sunt îngrijorați că o dependență excesivă de AI ar putea duce la rezultate părtinitoare care nu sunt validate independent?

Empatizăm cu această îngrijorare și recunoaștem că o serie de aplicații de pe piață de astăzi pot fi de fapt părtinitoare. Răspunsul nostru este că trebuie să ne unim ca industrie, ca comunitate de asistență medicală care este în primul rând preocupată de siguranța pacienților, pentru a defini politici și proceduri pentru a preveni astfel de părtiniri și pentru a asigura aplicații AI sigure și eficiente. Dezvoltatorii AI au responsabilitatea de a se asigura că produsele AI comercializate sunt validate independent pentru a obține încrederea atât a profesioniștilor din domeniul sănătății, cât și a pacienților. Rhino Health se dedică susținerii produselor AI sigure și de încredere și lucrează cu parteneri pentru a permite și eficientiza validarea independentă a aplicațiilor AI înainte de implementarea în setările clinice, prin deblocarea barierelor din calea datelor de validare necesare.

Care este viziunea ta pentru viitorul AI în domeniul sănătății?

Viziunea Rhino Health este a unei lumi în care AI și-a atins întregul potențial în domeniul sănătății. Lucrăm cu sârguință pentru a crea transparență și pentru a încuraja colaborarea prin afirmarea confidențialității pentru a permite această lume. Ne imaginăm IA pentru asistența medicală care nu este limitată de firewall-uri, zone geografice sau restricții de reglementare. Dezvoltatorii AI vor avea acces controlat la toate datele de care au nevoie pentru a construi modele puternice, generalizabile – și pentru a le monitoriza și îmbunătăți continuu cu un flux de date în timp real. Furnizorii și pacienții vor avea încredere că știu că nu își pierd controlul asupra datelor lor și se pot asigura că acestea sunt folosite definitiv. Autoritățile de reglementare vor putea monitoriza eficacitatea modelelor utilizate în dezvoltarea produselor farmaceutice și a dispozitivelor în timp real. Organizațiile de sănătate publică vor beneficia de aceste progrese în domeniul inteligenței artificiale, în timp ce pacienții și furnizorii stau liniștiți știind că confidențialitatea este protejată.

Mulțumim pentru interviul minunat, cititorii care doresc să afle mai multe ar trebui să viziteze Sănătatea Rinocerului.