Patrick Leung, CTO di Faro Health – Serie di Interviste

Patrick Leung, CTO di Faro Health, guida la piattaforma dell’azienda abilitata da AI, che semplifica e accelera la progettazione del protocollo di sperimentazione clinica. Gli strumenti di Faro Health migliorano l’efficienza, la standardizzazione e l’accuratezza nella pianificazione degli studi, integrando informazioni basate sui dati e processi semplificati per ridurre i rischi, i costi e l’onere per i pazienti.

Faro Health consente ai team di ricerca clinica di sviluppare protocolli di studio ottimizzati e standardizzati più velocemente, promuovendo l’innovazione nella ricerca clinica.

Hai trascorso molti anni costruendo AI a Google (GOOGL ). Quali sono stati alcuni dei progetti più emozionanti su cui hai lavorato durante il tuo tempo a Google, e come quelle esperienze hanno plasmato il tuo approccio all’AI?

Ero nel team che ha costruito Google Duplex, un sistema di intelligenza artificiale conversazionale che chiama ristoranti e altre aziende per conto dell’utente. Questo era un progetto top secret che era pieno di persone estremamente talentuose. Il team era veloce, costantemente alla prova di nuove idee, e c’erano dimostrazioni cool delle ultime cose che le persone stavano lavorando ogni settimana. È stato molto ispirante essere in un team del genere.

Una delle molte cose che ho imparato in questo team è che anche quando si lavora con i modelli di AI più recenti, a volte si deve semplicemente essere ingegnosi per ottenere l’esperienza utente e il valore desiderato. Per generare conversazioni verbali iper-realistiche, il team ha cucito insieme registrazioni intervallate con temporizzatori come “um” per far sembrare la conversazione più naturale. È stato così divertente leggere cosa la stampa aveva da dire sul perché quegli “um” erano lì dopo che abbiamo lanciato!

Entrambi tu e il CEO di Faro provengono da grandi aziende tecnologiche. Come la vostra esperienza passata ha influenzato lo sviluppo e la strategia di Faro?

Varie volte nella mia carriera ho costruito aziende che vendono vari prodotti e servizi alle grandi aziende. Anche Faro si concentra sulle più grandi aziende farmaceutiche del mondo, quindi c’è molta esperienza su cosa serve per conquistare e collaborare con grandi imprese che è altamente rilevante qui. Lavorare a Two Sigma, un grande fondo di hedge algidrico con sede a New York City, ha realmente plasmato il mio approccio alla scienza dei dati. Hanno un processo rigoroso basato su ipotesi, in cui tutte le nuove idee vengono inserite in un piano di ricerca e vengono testate a fondo. Hanno anche un’organizzazione di ingegneria dei dati molto sviluppata per l’onboarding di nuovi set di dati e l’ingegneria delle caratteristiche. Mentre Faro approfondisce le sue capacità di AI per affrontare più problemi nello sviluppo clinico, questo approccio sarà altamente rilevante e applicabile a ciò che stiamo facendo.

Faro Health è costruita intorno alla semplificazione della complessità della progettazione degli studi clinici con l’AI. Provenendo da un background non clinico, qual è stato il momento “aha” che ti ha fatto capire i punti deboli specifici nella progettazione del protocollo che dovevano essere affrontati?

Il mio primo momento “aha” è avvenuto quando ho incontrato il concetto di “Legge di Eroom”. Eroom non è una persona, è solo “Moore” scritto al contrario. Questo nome scherzoso è un riferimento al fatto che, nel corso degli ultimi 50 anni, i costi e i tempi di sviluppo dei farmaci clinici, aggiustati per l’inflazione, sono approssimativamente raddoppiati ogni 9 anni. Ciò va contro l’intera rivoluzione delle tecnologie dell’informazione e mi ha semplicemente sconvolto. Mi ha veramente convinto del fatto che c’è un enorme problema da risolvere qui!

Man mano che mi addentravo in questo dominio e iniziavo a capire meglio i problemi sottostanti, ci sono state molte altre intuizioni come questa. Una fondamentale e molto ovvia è che i documenti Word non sono un buon formato per progettare e archiviare studi clinici altamente complessi! Questa è una chiave di osservazione, nata dall’esperienza clinica del nostro CEO Scott, su cui Faro è stata costruita. C’è anche l’osservazione che, nel tempo, gli studi tendono a diventare sempre più complessi, poiché i team di studio clinica letteralmente copiano e incollano protocolli passati e aggiungono nuove valutazioni per raccogliere più dati. Fornire agli utenti il maggior numero possibile di informazioni preziose, il più presto possibile, nel processo di progettazione dello studio è un valore chiave per Faro.

Qual è il ruolo dell’AI nella piattaforma di Faro per garantire una progettazione del protocollo di studio clinico più veloce e precisa? Come lo strumento “Co-Autore AI” di Faro si differenzia da altre soluzioni di AI generative?

Potrebbe sembrare ovvio, ma non puoi semplicemente chiedere a ChatGPT di generare un documento di protocollo di studio clinico. In primo luogo, devi avere informazioni di studio altamente specifiche e strutturate, come il Piano di attività rappresentato nel dettaglio, per presentare le informazioni giuste nelle sezioni tecniche del documento del protocollo. In secondo luogo, ci sono molti dettagli e clausole specifiche che devono essere presenti nella documentazione per determinati tipi di studi, e uno stile e un livello di dettaglio che è previsto dagli scrittori e revisori medici. A Faro, abbiamo costruito un sistema di valutazione del protocollo proprietario per assicurare che il contenuto che il modello di grandi dimensioni (LLM) stava producendo soddisfacesse gli standard esatti degli utenti e dei regolatori.

Man mano che gli studi per malattie rare e immuno-oncologia diventano più complessi, come fa Faro a garantire che l’AI possa soddisfare queste esigenze specializzate senza sacrificare precisione o qualità?

Un modello è solo buono quanto i dati su cui è stato addestrato. Quindi, man mano che il fronte della medicina moderna si evolve, dobbiamo tenere il passo addestrando e testando i nostri modelli con gli ultimi studi clinici. Ciò richiede che continuiamo a espandere la nostra libreria di protocolli clinici digitalizzati – siamo estremamente orgogliosi del volume di protocolli di studio clinico che abbiamo già portato nella nostra libreria di dati a Faro, e stiamo sempre dando priorità alla crescita di questo set di dati. Ciò richiede anche che facciamo affidamento molto forte sul nostro team interno di esperti clinici, che costantemente valutano l’output del nostro modello e forniscono eventuali modifiche necessarie alle “liste di controllo di valutazione” che utilizziamo per assicurare la sua accuratezza e qualità.

La partnership di Faro con Veeva e altre aziende leader integra la piattaforma di Faro nell’ecosistema più ampio degli studi clinici. Come queste collaborazioni aiutano a semplificare l’intero processo di studio, dalla progettazione del protocollo all’esecuzione?

Il cuore di uno studio clinico è il protocollo, che lo strumento Study Designer di Faro aiuta i nostri clienti a progettare e ottimizzare. Il protocollo informa tutto ciò che avviene a valle nello studio, ma tradizionalmente, i protocolli sono progettati e archiviati in documenti Word. Quindi, una delle grandi sfide nell’operativizzare lo sviluppo clinico oggi è la costante trascrizione o “traduzione” dei dati dal protocollo o altre fonti basate su documenti ad altri sistemi o addirittura ad altri documenti. Come puoi immaginare, avere esseri umani che traducono manualmente le informazioni basate sui documenti in vari sistemi a mano è incredibilmente inefficiente e introduce molte opportunità per errori lungo la strada.

La visione di Faro è una piattaforma unificata in cui la “definizione” o gli elementi di uno studio clinico possano fluire dal sistema di progettazione in cui vengono concepiti per la prima volta, a valle verso vari sistemi o necessari durante la fase operativa dello studio. Quando questo tipo di flusso di informazioni senza soluzione di continuità è in atto, c’è un’opportunità significativa per l’automazione e la qualità migliorata, il che significa che possiamo ridurre drasticamente il tempo e il costo per progettare e implementare uno studio clinico. La nostra partnership con Veeva per collegare il nostro Study Designer a Veeva Vault EDC è solo un passo in questa direzione, con molto altro in arrivo.

Quali sono alcune delle sfide chiave che l’AI affronta nella semplificazione degli studi clinici, e come Faro supera queste sfide, in particolare per garantire la trasparenza e evitare problemi come il pregiudizio o l’allucinazione negli output dell’AI?

C’è una barra molto più alta per i documenti di studio clinico rispetto alla maggior parte degli altri domini. Questi documenti influenzano la vita di persone reali e quindi passano attraverso un processo di revisione regolamentare altamente esigente. Quando abbiamo iniziato a generare documenti clinici utilizzando un LLM, era chiaro che con i modelli pronti all’uso, l’output non era nemmeno lontanamente vicino a soddisfare le aspettative. Inaspettatamente, il tono, il livello di dettaglio, la formattazione – tutto – era completamente fuori luogo e molto più orientato alle comunicazioni aziendali generali, piuttosto che ai documenti clinici di alto livello. Per sicuro, l’allucinazione e anche l’omissione diretta di dettagli necessari erano sfide importanti. Per sviluppare una soluzione di AI generativa che potesse soddisfare gli standard alti per la specificità del dominio e la qualità che i nostri utenti si aspettano, abbiamo dovuto trascorrere molto tempo collaborando con esperti clinici per ideare linee guida e liste di controllo di valutazione che assicurassero che il nostro output non stesse allucinando o semplicemente omettendo dettagli chiave, e avesse il tono giusto. Abbiamo anche dovuto fornire la capacità per gli utenti finali di fornire la propria guida e correzioni all’output, poiché diversi clienti hanno template e standard diversi che guidano il loro processo di authoring del documento.

Guardando avanti, come vedi l’evoluzione dell’AI nel contesto degli studi clinici? Qual è il ruolo che Faro giocherà nella trasformazione digitale di questo spazio nel prossimo decennio?

Man mano che il tempo passa, l’AI aiuterà a migliorare e ottimizzare sempre più decisioni e processi nel processo di sviluppo clinico. Saremo in grado di prevedere risultati chiave in base agli input della progettazione del protocollo, come ad esempio se il team di studio può aspettarsi sfide di iscrizione o se lo studio richiederà un emendamento a causa di sfide operative. Con quel tipo di insight predittivo, saremo in grado di aiutare a ottimizzare le operazioni a valle dello studio, assicurandoci che sia i siti che i pazienti abbiano la migliore esperienza e che la probabilità di successo operativo dello studio sia la più alta possibile. Oltre a esplorare queste possibilità, Faro intende anche continuare a generare una gamma di documentazione clinica diversa in modo che tutti i processi di archiviazione e carta dello studio siano efficienti e molto meno soggetti a errori. E prevediamo un mondo in cui l’AI consenta alla nostra piattaforma di diventare un vero partner di progettazione, coinvolgendo gli scienziati clinici in un dialogo generativo per aiutarli a progettare studi che facciano i giusti compromessi tra onere del paziente, onere del sito, tempo, costo e complessità.

Come si riflette l’attenzione di Faro alla progettazione centrata sul paziente sull’efficienza e il successo degli studi clinici, in particolare in termini di riduzione dell’onere del paziente e miglioramento dell’accessibilità dello studio?

Gli studi clinici sono spesso intrappolati tra le esigenze contrastanti di raccogliere più dati dei partecipanti – il che significa più valutazioni o test per il paziente – e gestire la fattibilità operativa dello studio, come la sua capacità di iscrivere e trattenere i partecipanti. Ma il reclutamento e la ritenzione dei pazienti sono alcune delle sfide più significative per il completamento con successo di uno studio clinico oggi – secondo alcune stime, fino al 20-30% dei pazienti che scelgono di partecipare a uno studio clinico alla fine abbandoneranno a causa dell’onere della partecipazione, comprese le visite frequenti, le procedure invasive e i protocolli complessi. Sebbene i team di ricerca clinica siano consapevoli dell’impatto degli studi ad alto onere sui pazienti, fare qualcosa di concreto per ridurre l’onere può essere difficile nella pratica. Crediamo che una delle barriere alla riduzione dell’onere del paziente sia spesso l’incapacità di quantificare prontamente l’onere – è difficile misurare l’impatto sui pazienti quando il tuo design è in un documento Word o un pdf.

Utilizzando lo strumento Study Designer di Faro, i team di sviluppo clinico possono ottenere informazioni in tempo reale sull’impatto del loro protocollo specifico sull’onere del paziente durante il processo di pianificazione del protocollo stesso. Fornendo strutture di studio e analisi dei costi, dell’onere del paziente, della complessità all’inizio della fase di progettazione dello studio, Faro fornisce ai team di ricerca clinica un modo molto efficace per ottimizzare i design degli studi, bilanciando questi fattori contro le esigenze scientifiche di raccogliere più dati. I nostri clienti amano il fatto che noi diamo loro la visibilità dell’onere del paziente e metriche correlate in un punto dello sviluppo in cui i cambiamenti sono facili da apportare, e possono fare compromessi informati quando necessario. Alla fine, abbiamo visto i nostri clienti risparmiare migliaia di ore di tempo collettivo dei pazienti, il che sappiamo avrà un impatto positivo immediato per i partecipanti allo studio, aiutando anche a garantire che gli studi clinici possano sia iniziare che concludersi in tempo.

Qual consiglio daresti alle startup o alle aziende che desiderano integrare l’AI nei loro processi di studio clinico, sulla base delle tue esperienze a Google e Faro?

Ecco i principali punti che trarrei dalla nostra esperienza nell’applicazione dell’AI a questo dominio:

1. Dividi e valuta i prompt dell’AI. I modelli di grandi dimensioni come GPT non sono progettati per produrre documentazione di livello clinico. Quindi, se stai pianificando di utilizzare l’AI generativa per automatizzare la scrittura della documentazione degli studi clinici, devi avere un framework di valutazione che assicuri che l’output generato sia accurato, completo, abbia il livello di dettaglio giusto e il tono giusto, e così via. Ciò richiede molti test accurati del modello guidati da esperti clinici.
2. Utilizza una rappresentazione strutturata di uno studio. Non c’è modo di generare le analisi dei dati richieste per progettare uno studio clinico ottimale senza un repository strutturato. Molte aziende oggi utilizzano documenti Word – non anche Excel! – per modellare gli studi clinici. Ciò deve essere fatto con un modello di dominio strutturato che rappresenti accuratamente la complessità di uno studio – il suo schema, gli obiettivi e gli endpoint, la tabella di valutazione, e così via. Ciò richiede molti input e feedback da parte degli esperti clinici.
3. Gli esperti clinici sono cruciali per la qualità. Come visto nei due punti precedenti, avere esperti clinici direttamente coinvolti nella progettazione e nel testing di qualsiasi sistema di sviluppo clinico basato sull’AI è assolutamente critico. Ciò è molto più vero in questo dominio rispetto a qualsiasi altro in cui abbia lavorato, semplicemente perché la conoscenza richiesta è così specializzata, dettagliata e pervade qualsiasi prodotto che si tenta di costruire in questo spazio. Siamo costantemente alla prova di nuove cose e condividiamo regolarmente i nostri risultati nel nostro blog per aiutare le aziende a navigare questo spazio. Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Faro Health.