Patrick Leung, CTO společnosti Faro Health – Interview Series

Patrick Leung, CTO společnosti Faro Health, řídí AI-podporovanou platformu společnosti, která zjednodušuje a urychluje návrh protokolů klinických studií. Nástroje Faro Health zvyšují efektivitu, standardizaci a přesnost při plánování studií, integrují datové poznatky a optimalizují procesy, aby snížily rizika studií, náklady a zátěž pacientů.

Faro Health umožňuje týmu klinického výzkumu vyvinout optimalizované a standardizované protokoly studií rychleji, což podporuje inovace v klinickém výzkumu.

Vy jste strávil mnoho let budováním AI v Googlu. Jaké byly některé z nejzajímavějších projektů, na kterých jste pracoval během svého působení v Googlu, a jak tyto zkušenosti ovlivnily váš přístup k AI?

Byl jsem součástí týmu, který vyvinul Google (GOOGL ) Duplex, konverzační AI systém, který volal restaurace a další podniky jménem uživatele. Tento projekt byl velmi tajný a skládal se z extrémně talentovaných lidí. Tým byl velmi dynamický, neustále zkoušel nové nápady a každý týden byly k dispozici ukázky posledních novinek. Bylo inspirativní být součástí takového týmu.

Jedna z mnoha věcí, které jsem se naučil v tomto týmu, je, že i když pracujete s nejnovějšími AI modely,sometimes musíte být prostě šikovní, abyste dosáhli požadovaného uživatelského zážitku a hodnoty. Abychom mohli generovat hyperrealistické verbální konverzace, tým spojil nahrávky s temporizéry, jako je “um”, aby konverzace zněla přirozeněji. Bylo velmi zábavné číst, co tisk napsal o tom, proč tam ty “um” byly, poté, co jsme spustili!

Vy i CEO Faro pocházíte z velkých technologických společností. Jak vaše předchozí zkušenosti ovlivnily vývoj a strategii Faro?

Několikrát v mé kariéře jsem budovatelské společnosti, které prodávají různé produkty a služby velkým společnostem. Faro také cílí na největší farmaceutické společnosti, takže existuje spousta zkušeností s tím, co je potřeba, aby se velké podniky přesvědčily a spolupracovaly. Práce ve Two Sigma, velké algoritmické hedge fond ve městě New York, opravdu ovlivnila, jak přistupuji k datové vědě. Mají přísný hypoteticko-řízený proces, kdy všechny nové nápady vstupují do výzkumného plánu a jsou důkladně testovány. Mají také velmi dobře vyvinutou organizaci pro inženýrství dat pro načítání nových datových sad a provádění feature inženýrství. Jakmile Faro prohlubuje své AI schopnosti, aby řešilo více problémů ve vývoji klinických studií, tento přístup bude velmi relevantní a aplikovatelný na to, co děláme.

Faro Health je postaveno kolem zjednodušení složitosti návrhu klinických studií pomocí AI. Pocházející z neklinického prostředí, jaký byl váš “aha moment”, který vám pomohl pochopit specifické bolesti při návrhu protokolu, které bylo třeba řešit?

Můj první “aha moment” nastal, když jsem se setkal s konceptem “Eroomova zákona”. Eroom není člověk, je to prostě “Moore” vyslovený pozpátku. Tento vtipný název je odkazem na fakt, že za posledních 50 let se inflační náklady na vývoj klinických léků a časové rámce téměř zdvojnásobily každých 9 let. To jde proti celé informační technologické revoluci a prostě mě fascinovalo! To mě opravdu přesvědčilo, že existuje enormní problém, který je třeba vyřešit!

Jakmile jsem se více ponořil do tohoto oboru a začal rozumět základním problémům, byly tam spousta dalších poznatků, jako tento. Základní a velmi zřejmý je, že Word dokumenty nejsou dobrým formátem pro návrh a uložení vysoce komplexních klinických studií! To je klíčový poznatek, který vzešel z klinických zkušeností našeho CEO Scotta, na kterém Faro postavilo. Existuje také poznatek, že s časem se studie tendenci stávají složitějšími, protože klinické týmy doslova kopírují a vkládají předchozí protokoly a přidávají nové hodnocení, aby shromáždily více dat. Poskytování uživatelům co nejvíce cenných poznatků, co nejdříve, ve fázi návrhu studie je klíčovým přínosem pro Faro.

Jakou roli hraje AI v platformě Faro, aby zajistila rychlejší a přesnější návrh protokolu klinické studie? Jak se nástroj “AI Co-Author” Faro liší od ostatních generativních AI řešení?

Možná to zní zřejmě, ale nemůžete prostě požádat ChatGPT, aby vygeneroval dokument klinické studie. Nejprve musíte mít vysoce specifické, strukturované informace o studii, jako je harmonogram aktivit, aby jste mohli zobrazit správné informace ve vysoce technických částech dokumentu protokolu. Za druhé, existuje spousta detailů a specifických klauzulí, které musí být přítomny v dokumentaci pro určité typy studií, a určitý styl a úroveň detailu, která se očekává od lékařských spisovatelů a recenzentů. V Faro jsme vyvinuli proprietární systém hodnocení protokolu, aby zajistili, že obsah, který velký jazykový model (LLM) generuje, bude splňovat přísné standardy našich uživatelů a regulačních orgánů.

Jak Faro zajišťuje, aby AI mohlo splnit tyto specializované požadavky bez ohrožení přesnosti nebo kvality, když se studie pro vzácná onemocnění a imunoonkologii stávají složitějšími?

Model je pouze tak dobrý, jako jsou data, na kterých byl trénován. Proto, jak se hranice moderní medicíny posouvají, musíme držet krok, abychom trénovali a testovali naše modely s nejnovějšími klinickými studiemi. To vyžaduje, abychom neustále rozšiřovali naší knihovnu digitalizovaných klinických protokolů – jsme非常 hrdí na objem klinických studií, které jsme již přinesli do naší datové knihovny v Faro, a vždycky priorizujeme růst této datové sady. To také vyžaduje, abychom se opírali o náš interní tým klinických odborníků, kteří neustále vyhodnocují výstup našeho modelu a poskytují případné změny “kontrolních seznamů”, které používáme k zajištění jeho přesnosti a kvality.

Partnerství Faro s Veeva a dalšími předními společnostmi integruje vaši platformu do širšího ekosystému klinických studií. Jak tyto spolupráce pomáhají optimalizovat celý proces studie, od návrhu protokolu až po realizaci?

Srdcem klinické studie je protokol, který Faro Study Designer pomáhá našim zákazníkům navrhnout a optimalizovat. Protokol informuje vše níže o studii, ale tradičně jsou protokoly navrhovány a uloženy v dokumentech Word. Proto je jednou z velkých výzev operacionalizace klinického vývoje dnes neustálé přepisování nebo “překládání” dat z protokolu nebo jiných dokumentů do jiných systémů nebo dokonce jiných dokumentů. Jak můžete vidět, ruční přepis dokumentů do různých systémů lidmi je neuvěřitelně neefektivní a nabízí mnoho příležitostí pro chyby na cestě.

Vize Faro je sjednocená platforma, kde “definice” nebo prvky klinické studie mohou plynout z navrhovacího systému, kde jsou poprvé koncipovány, níže do různých systémů nebo potřebných během operační fáze studie. Když je tento druh plynulého toku informací na místě, existuje významná příležitost pro automatizaci a zlepšení kvality, což znamená, že můžeme dramaticky snížit čas a náklady na návrh a realizaci klinické studie. Naše partnerství s Veeva pro připojení našeho Study Designera k Veeva Vault EDC je pouze jedním krokem v tomto směru, s mnoha dalšími, které budou následovat.

Jaké jsou některé z klíčových výzev, kterým AI čelí při zjednodušování klinických studií, a jak Faro překonává tyto výzvy, zejména pokud jde o zajištění transparentnosti a předcházení problémům, jako je zkreslení nebo halucinace v AI výstupech?

Existuje mnohem vyšší laťka pro dokumenty klinických studií než v meisten ostatních oblastech. Tyto dokumenty ovlivňují životy skutečných lidí a procházejí velmi přísným regulačním přezkumem. Když jsme poprvé začali generovat klinické dokumenty pomocí LLM, bylo zřejmé, že s modely z výroby výstup nebyl nikde blízko očekávání. Nečekaně, tón, úroveň detailu, formátování – vše – bylo úplně špatně a bylo mnohem více orientováno na obecné obchodní komunikace, než na odborné klinické dokumenty. Pro jistotu, halucinace a také přímé opomenutí nezbytných detailů byly majoritními výzvami. Abychom mohli vyvinout generativní AI řešení, které by mohlo splnit vysoký standard pro doménovou specificitu a kvalitu, kterou naši uživatelé očekávají, museli jsme strávit hodně času spoluprací s klinickými odborníky, abychom vyvinuli směrnice a kontrolní seznamy, které zajistí, že náš výstup nebude halucinovat nebo prostě opomenout klíčové detaily, a bude mít správný tón. Museli jsme také poskytnout kapacitu pro koncové uživatele, aby mohli poskytnout své vlastní pokyny a korekce výstupu, protože různé zákazníky mají různé šablony a standardy, které řídí jejich proces autorizace dokumentů.

Jak budete vidět vývoj AI v kontextu klinických studií? Jakou roli bude Faro hrát v digitální transformaci tohoto prostoru v příštím desetiletí?

Časem bude AI pomáhat zlepšovat a optimalizovat více a více rozhodnutí a procesů během klinického vývoje. Budeme moci předpovídat klíčové výsledky na základě vstupů návrhu protokolu, jako je zda tým studie může očekávat problémy s náborováním, nebo zda studie bude vyžadovat změnu kvůli operačním výzvám. S tímto druhem prediktivního vhledu budeme moci pomoci optimalizovat provozní fázi studie, zajistit, aby týmy na místech a pacienti měli nejlepší zkušenosti, a že pravděpodobnost operačního úspěchu studie je co nejvyšší. Kromě zkoumání těchto možností Faro také plánuje pokračovat ve generování různých klinických dokumentů, aby všechny procesy souboru a papírování studií byly efektivní a mnohem méně náchylné k chybám. A předvíáme svět, ve kterém AI umožní naší platformě stát se skutečným designovým partnerem, zapojeným do generativní konverzace s klinickými vědci, aby jim pomohli navrhnout studie, které dělají správné kompromisy mezi zátěží pacienta, zátěží místa, časem, náklady a složitostí.

Jak se zaměřuje Faro na pacientsky orientovaný design a jak to ovlivňuje efektivitu a úspěch klinických studií, zejména pokud jde o snížení zátěže pacienta a zlepšení přístupu ke studiu?

Klinické studie jsou často chyceny mezi konkurenčními potřebami shromažďování více dat účastníků – což znamená více hodnocení nebo testů pro pacienta – a řízením operační proveditelnosti studie, jako je její schopnost náboru a udržení účastníků. Ale nábor a udržení pacientů jsou některé z největších výzev pro úspěšné dokončení klinické studie dnes – podle některých odhadů až 20-30 % pacientů, kteří se rozhodnou účastnit klinické studie, nakonec odstoupí kvůli zátěži účasti, včetně častých návštěv, invazivních procedur a složitých protokolů. Ačkoli týmy klinického výzkumu jsou si vědomi dopadu studií s vysokou zátěží na pacienty, skutečné provedení konkrétních kroků ke snížení zátěže může být v praxi obtížné. Věříme, že jednou z bariér pro snížení zátěže pacienta je často neschopnost snadno kvantifikovat ji – je těžké měřit dopad na pacienty, když je váš návrh v dokumentu Word nebo pdf.

Používáním Faro Study Designer mohou týmy klinického vývoje získat okamžité poznatky o dopadu jejich konkrétního protokolu na zátěž pacienta během samotného procesu plánování protokolu. Poskytováním strukturovaných studií a analytických poznatků o nákladech, zátěži pacienta, složitosti studií ve fázi návrhu studie Faro poskytuje týmům klinického výzkumu velmi efektivní způsob, jak optimalizovat své návrhy studií, vyvažovat tyto faktory proti vědeckým potřebám shromažďování více dat. Naši zákazníci milují fakt, že jim dáváme přehled o zátěži pacienta a souvisejících metrikách v bodě vývoje, kde jsou změny snadno proveditelné, a mohou dělat informovaná rozhodnutí, kde je to nutné. Nakonec jsme viděli, že naši zákazníci ušetřili tisíce hodin kolektivního času pacientů, což bude mít okamžitý pozitivní dopad pro účastníky studií, a také pomůže zajistit, aby klinické studie mohly být zahájena a dokončena včas.

Jaké rady byste dali startupům nebo společnostem, které chtějí integrovat AI do svých klinických studií, na základě vašich zkušeností v Googlu a Faro?

Tady jsou hlavní poznatky, které bych nabídl z našich zkušeností s aplikací AI na tuto oblast:

1. Rozdělte a vyhodnoťte své AI podněty. Velké jazykové modely, jako je GPT, nejsou navrženy pro generování klinicky špičkových dokumentů. Pokud tedy plánujete použít generativní AI pro automatizaci autorizace klinických dokumentů, musíte mít vyhodnocovací rámec, který zajistí, že generovaný výstup je přesný, kompletní, má správnou úroveň detailu a tónu a tak dále. To vyžaduje spoustu pečlivého testování modelu pod vedením klinických odborníků.
2. Použijte strukturované représentace studie. Nemůžete generovat požadované datové analýzy pro návrh optimalizované klinické studie bez strukturované repositáře. Mnoho společností dnes používá dokumenty Word – ani ne Excel! – pro modelování klinických studií. To musí být provedeno se strukturovaným doménovým modelem, který přesně reprezentuje složitost studie – jeho schéma, cíle a konce, harmonogram hodnocení a tak dále. To vyžaduje spoustu vstupů a zpětné vazby od klinických odborníků.
3. Kliničtí odborníci jsou zásadní pro kvalitu. Jak je vidět z předchozích dvou bodů, mít klinické odborníky přímo zapojené do návrhu a testování jakéhokoli AI založeného klinického vývojového systému je absolutně kritické. To je mnohem více než v jakékoli jiné oblasti, ve které jsem pracoval, prostě protože znalosti vyžadované jsou tak specializované, podrobné a pronikají do každého produktu, který se snažíte postavit v tomto prostoru.

Jsme neustále zkoušíme nové věci a pravidelně sdílíme své poznatky na našem blogu, abychom pomohli společnostem navigovat v tomto prostoru.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Faro Health.