Patrick Leung, CTO di Faro Health – Serie di Interviste

Patrick Leung, CTO di Faro Health, guida la piattaforma dell’azienda abilitata all’AI, che semplifica e accelera la progettazione del protocollo dei trial clinici. Gli strumenti di Faro Health migliorano l’efficienza, la standardizzazione e l’accuratezza nella pianificazione dei trial, integrando informazioni basate sui dati e processi semplificati per ridurre i rischi, i costi e l’onere per i pazienti.

Faro Health consente ai team di ricerca clinica di sviluppare protocolli di prova ottimizzati e standardizzati più velocemente, promuovendo l’innovazione nella ricerca clinica.

Voi avete trascorso molti anni a costruire l’AI a Google. Quali sono stati alcuni dei progetti più emozionanti su cui avete lavorato durante il vostro tempo a Google, e come hanno plasmato il vostro approccio all’AI?

Ero nel team che ha costruito Google Duplex, un sistema di intelligenza artificiale conversazionale che chiama ristoranti e altre aziende per conto dell’utente. Questo era un progetto top secret pieno di persone estremamente talentuose. Il team era veloce, costantemente alla prova di nuove idee, e c’erano demo cool delle ultime cose su cui la gente stava lavorando ogni settimana. È stato molto ispirante essere in un team del genere.

Una delle molte cose che ho imparato in questo team è che anche quando si lavora con i modelli di AI più recenti, a volte si deve semplicemente essere ingegnosi per ottenere l’esperienza utente e il valore desiderati. Per generare conversazioni verbali iper-realistiche, il team ha cucito insieme registrazioni intervallate con temporizzatori come “um” per rendere la conversazione più naturale. È stato così divertente leggere cosa la stampa aveva da dire sul perché quegli “um” erano lì dopo il lancio!

Entrambi voi e il CEO di Faro provenite da grandi aziende tecnologiche. Come la vostra esperienza passata ha influenzato lo sviluppo e la strategia di Faro?

Molte volte nella mia carriera ho costruito aziende che vendono vari prodotti e servizi a grandi aziende. Anche Faro mira alle più grandi aziende farmaceutiche del mondo, quindi c’è molta esperienza su cosa serve per vincere e collaborare con grandi aziende che è altamente rilevante qui. Lavorare a Two Sigma, un grande fondo di hedge algidrico con sede a New York City, ha realmente plasmato il mio approccio alla scienza dei dati. Hanno un processo di ipotesi guidato rigoroso in cui tutte le nuove idee vengono inserite in un piano di ricerca e testate a fondo. Hanno anche un’organizzazione di ingegneria dei dati molto sviluppata per l’onboarding di nuovi set di dati e l’esecuzione dell’ingegneria delle caratteristiche. Mentre Faro approfondisce le sue capacità di AI per affrontare più problemi nello sviluppo dei trial clinici, questo approccio sarà altamente rilevante e applicabile a ciò che stiamo facendo.

Faro Health è costruito intorno alla semplificazione della complessità della progettazione dei trial clinici con l’AI. Provenendo da un background non clinico, qual è stato il momento di “aha” che vi ha portato a capire i punti dolenti specifici nella progettazione del protocollo che dovevano essere affrontati?

Il mio primo momento di “aha” è avvenuto quando ho incontrato il concetto di “Legge di Eroom”. Eroom non è una persona, è solo “Moore” scritto al contrario. Questo nome tongue-in-cheek è un riferimento al fatto che negli ultimi 50 anni, i costi e i tempi di sviluppo dei farmaci clinici, aggiustati per l’inflazione, sono approssimativamente raddoppiati ogni 9 anni. Ciò va contro la rivoluzione dell’intera tecnologia dell’informazione e mi ha semplicemente sconvolto. Mi ha realmente convinto che c’è un enorme problema da risolvere qui!

Mentre mi addentravo in questo dominio e iniziavo a capire meglio i problemi sottostanti, ci sono state molte altre intuizioni come questa. Una fondamentale e molto ovvia è che i documenti Word non sono un buon formato per progettare e archiviare trial clinici complessi! Questa è una osservazione chiave, nata dall’esperienza clinica del nostro CEO Scott, su cui Faro è stato costruito. C’è anche l’osservazione che, nel tempo, i trial tendono a diventare sempre più complessi, poiché i team di studio clinica copiano e incollano protocolli passati e aggiungono nuove valutazioni per raccogliere più dati. Fornire agli utenti il maggior numero possibile di informazioni preziose il più presto possibile nel processo di progettazione dello studio è un valore chiave per Faro.

Qual è il ruolo dell’AI nella piattaforma di Faro per garantire una progettazione dei protocolli dei trial clinici più veloce e precisa? Come lo strumento “AI Co-Author” di Faro si differenzia da altre soluzioni di AI generative?

Potrebbe sembrare ovvio, ma non puoi semplicemente chiedere a ChatGPT di generare un documento di protocollo di trial clinico. In primo luogo, devi avere informazioni di trial altamente specifiche e strutturate, come la Tabella delle Attività rappresentata nel dettaglio, per visualizzare le informazioni giuste nelle sezioni tecniche del documento del protocollo. In secondo luogo, ci sono molti dettagli e clausole specifiche che devono essere presenti nella documentazione per determinati tipi di trial, e uno stile e un livello di dettaglio che è atteso dagli scrittori e dai revisori medici. A Faro, abbiamo costruito un sistema di valutazione del protocollo proprietario per assicurare che il contenuto del modello di linguaggio grande (LLM) che stava generando soddisfi gli standard esigenti degli utenti e dei regolatori.

Man mano che i trial per malattie rare e immuno-oncologia diventano più complessi, come fa Faro a garantire che l’AI possa soddisfare queste esigenze specializzate senza sacrificare accuratezza o qualità?

Un modello è solo buono quanto i dati su cui è stato addestrato. Quindi, man mano che il fronte della medicina moderna si evolve, dobbiamo tenere il passo addestrando e testando i nostri modelli con gli ultimi trial clinici. Ciò richiede che noi continuiamo a espandere la nostra libreria di protocolli clinici digitalizzati – siamo estremamente orgogliosi del volume di protocolli di trial clinici che abbiamo già portato nella nostra libreria di dati a Faro, e stiamo sempre dando priorità alla crescita di questo set di dati. Ciò richiede anche che noi facciamo affidamento sul nostro team interno di esperti clinici, che costantemente valutano l’output del nostro modello e forniscono eventuali modifiche necessarie alle “liste di controllo di valutazione” che utilizziamo per garantire la sua accuratezza e qualità.

La partnership di Faro con Veeva e altre aziende leader integra la piattaforma di Faro nell’ecosistema più ampio dei trial clinici. Come queste collaborazioni aiutano a semplificare l’intero processo di trial, dalla progettazione del protocollo all’esecuzione?

Il cuore di un trial clinico è il protocollo, che lo strumento Study Designer di Faro aiuta i nostri clienti a progettare e ottimizzare. Il protocollo informa tutto ciò che avviene a valle nel trial, ma tradizionalmente, i protocolli sono progettati e archiviati in documenti Word. Quindi, una delle grandi sfide nell’operativizzare lo sviluppo clinico oggi è la costante trascrizione o “traduzione” di dati dal protocollo o altre fonti documentali in altri sistemi o addirittura in altri documenti. Come puoi immaginare, avere esseri umani che traducono manualmente le informazioni basate su documenti in vari sistemi è incredibilmente inefficiente e introduce molte opportunità di errori lungo la strada.

La visione di Faro è una piattaforma unificata in cui la “definizione” o gli elementi di un trial clinico possano fluire dal sistema di progettazione in cui vengono inizialmente concepiti, a valle verso vari sistemi o necessari durante la fase operativa del trial. Quando questo tipo di flusso di informazioni senza soluzione di continuità è in atto, c’è un’opportunità significativa per l’automazione e il miglioramento della qualità, il che significa che possiamo ridurre drasticamente il tempo e il costo per progettare e implementare un trial clinico. La nostra partnership con Veeva per collegare il nostro Study Designer a Veeva Vault EDC è solo un passo in questa direzione, con molte altre cose in arrivo.

Quali sono alcune delle sfide chiave che l’AI affronta nella semplificazione dei trial clinici, e come Faro le supera, in particolare intorno alla garanzia della trasparenza e all’evitare problemi come il pregiudizio o l’allucinazione negli output dell’AI?

C’è una barra molto più alta per i documenti di trial clinici rispetto alla maggior parte degli altri domini. Questi documenti influenzano la vita di persone reali e quindi passano attraverso un processo di revisione regolatoria molto esigente. Quando abbiamo iniziato a generare documenti clinici utilizzando un LLM, era chiaro che con modelli pronti all’uso, l’output non era assolutamente vicino a soddisfare le aspettative. Non sorprendentemente, il tono, il livello di dettaglio, la formattazione – tutto – era completamente fuori luogo e molto più orientato alle comunicazioni aziendali generali, piuttosto che ai documenti clinici di livello esperto. Sicuramente, l’allucinazione e anche l’omissione diretta di dettagli necessari sono state grandi sfide. Per sviluppare una soluzione di AI generativa che potesse soddisfare gli standard alti per la specificità del dominio e la qualità che i nostri utenti si aspettano, abbiamo dovuto trascorrere molto tempo a collaborare con esperti clinici per ideare linee guida e liste di controllo di valutazione che garantivano che il nostro output non stesse allucinando o semplicemente omettendo dettagli chiave, e avesse il tono giusto. Abbiamo anche dovuto fornire la capacità agli utenti finali di fornire la propria guida e correzioni all’output, poiché i diversi clienti hanno template e standard diversi che guidano il loro processo di authoring dei documenti.

C’è anche la sfida che i dati clinici dettagliati necessari per generare completamente la documentazione del protocollo di trial potrebbero non essere facilmente disponibili, spesso archiviati in documenti complessi come il bollettino investigativo. Stiamo esaminando l’uso dell’AI per aiutare a estrarre tali informazioni e renderle disponibili per l’uso nella generazione di sezioni del documento del protocollo clinico.

Guardando avanti, come vedete l’evoluzione dell’AI nel contesto dei trial clinici? Qual è il ruolo che Faro giocherà nella trasformazione digitale di questo spazio nel prossimo decennio?

Man mano che il tempo passa, l’AI aiuterà a migliorare e ottimizzare sempre più decisioni e processi nel processo di sviluppo clinico. Saremo in grado di prevedere risultati chiave in base agli input della progettazione del protocollo, come se il team di studio possa aspettarsi sfide di iscrizione, o se lo studio richiederà un emendamento a causa di sfide operative. Con quel tipo di insight predittivo, saremo in grado di aiutare a ottimizzare le operazioni a valle del trial, assicurandoci che sia i siti che i pazienti abbiano la migliore esperienza e che la probabilità di successo operativo del trial sia la più alta possibile. Oltre a esplorare queste possibilità, Faro intende anche continuare a generare una gamma di documenti clinici diversi in modo che tutti i processi di filing e carta del trial siano efficienti e molto meno soggetti a errori. E prevediamo un mondo in cui l’AI consente alla nostra piattaforma di diventare un vero partner di progettazione, impegnando gli scienziati clinici in un dialogo generativo per aiutarli a progettare trial che facciano i giusti compromessi tra onere del paziente, onere del sito, tempo, costo e complessità.

Come si riflette l’attenzione di Faro alla progettazione centrata sul paziente sull’efficienza e il successo dei trial clinici, in particolare in termini di riduzione dell’onere del paziente e miglioramento dell’accessibilità dello studio?

I trial clinici sono spesso intrappolati tra le esigenze contrapposte di raccogliere più dati dei partecipanti – il che significa più valutazioni o test per il paziente – e gestire la fattibilità operativa di un trial, come la sua capacità di iscrivere e trattenere partecipanti. Ma il reclutamento e la ritenzione dei pazienti sono alcune delle sfide più significative per il completamento con successo di un trial clinico oggi – secondo alcune stime, fino al 20-30% dei pazienti che scelgono di partecipare a un trial clinico alla fine si ritireranno a causa dell’onere della partecipazione, inclusi frequenti visite, procedure invasive e protocolli complessi. Sebbene i team di ricerca clinica siano consapevoli dell’impatto dei trial ad alto onere sui pazienti, effettivamente fare qualcosa di concreto per ridurre l’onere può essere difficile nella pratica. Crediamo che una delle barriere alla riduzione dell’onere del paziente sia spesso l’incapacità di quantificare prontamente l’onere – è difficile misurare l’impatto sui pazienti quando il tuo design è in un documento Word o un pdf.

Utilizzando lo strumento Study Designer di Faro, i team di sviluppo clinico possono ottenere informazioni in tempo reale sull’impatto del loro protocollo specifico sull’onere del paziente durante il processo di pianificazione del protocollo stesso. Fornendo trials strutturati e offrendo informazioni analitiche sull’impatto del loro protocollo in termini di costo, onere del paziente, complessità all’inizio della fase di progettazione del trial, Faro fornisce ai team di ricerca clinica un modo molto efficace per ottimizzare i loro design di trial bilanciando questi fattori contro le esigenze scientifiche di raccogliere più dati. I nostri clienti amano il fatto che noi diamo loro visibilità sull’onere del paziente e metriche correlate in un punto dello sviluppo in cui i cambiamenti sono facili da apportare, e possono fare compromessi informati quando necessario. In definitiva, abbiamo visto i nostri clienti risparmiare migliaia di ore di tempo collettivo dei pazienti, il che sappiamo avrà un impatto positivo immediato per i partecipanti allo studio, aiutando anche a garantire che i trial clinici possano sia iniziare che concludersi in tempo.

Qual è il consiglio che dareste alle startup o alle aziende che cercano di integrare l’AI nei loro processi di trial clinici, sulla base delle vostre esperienze sia a Google che a Faro?

Ecco i principali punti che offrirei finora dalla nostra esperienza nell’applicare l’AI a questo dominio:

1. Dividete e valutate i prompt dell’AI. I modelli di linguaggio grandi come GPT non sono progettati per produrre documentazione di livello clinico. Quindi, se state pianificando di utilizzare l’AI generativa per automatizzare la scrittura di documenti di trial clinici, avete bisogno di avere un framework di valutazione che garantisca che l’output generato sia preciso, completo, abbia il livello di dettaglio e il tono giusto, e così via. Ciò richiede molte prove accurate del modello guidate da esperti clinici.
2. Utilizzate una rappresentazione strutturata di un trial. Non c’è modo di generare le analisi dei dati richieste per progettare un trial clinico ottimale senza un repository strutturato. Molte aziende oggi utilizzano documenti Word – non even Excel! – per modellare i trial clinici. Ciò deve essere fatto con un modello di dominio strutturato che rappresenti accuratamente la complessità di un trial – il suo schema, gli obiettivi e gli endpoint, la tabella delle valutazioni, e così via. Ciò richiede molte informazioni e feedback da parte degli esperti clinici.
3. Gli esperti clinici sono cruciali per la qualità. Come visto nei due punti precedenti, avere esperti clinici direttamente coinvolti nella progettazione e nel testing di qualsiasi sistema di sviluppo clinico basato sull’AI è assolutamente critico. Ciò è molto più vero in questo dominio rispetto a qualsiasi altro in cui abbia lavorato, semplicemente perché la conoscenza richiesta è così specializzata, dettagliata e pervade qualsiasi prodotto si tenta di costruire in questo spazio.

Stiamo costantemente provando nuove cose e condividendo regolarmente i nostri risultati nel nostro blog per aiutare le aziende a navigare questo spazio.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Faro Health.