패트릭 륭, 파로 헬스 CTO – 인터뷰 시리즈

패트릭 륭, 파로 헬스의 CTO는 회사의 AI 기반 플랫폼을 주도하며 임상 시험 프로토콜 설계를 단순화하고 속도화합니다. 파로 헬스의 도구는 임상 시험 계획에서 효율성, 표준화, 정확성을 향상시키며 데이터 기반의 통찰력과 스트림라인 프로세스를 통합하여 임상 시험의 위험, 비용, 환자 부담을 줄입니다.

파로 헬스는 임상 연구 팀이 최적화된 표준화된 임상 시험 프로토콜을 더 빠르게 개발할 수 있도록 지원합니다. 이는 임상 연구의 혁신을 앞당길 것입니다.

구글에서 AI를 개발하는 많은 경험을 가지고 있습니다. 구글에서 일하는 동안 가장 흥미로운 프로젝트는 무엇이었나요? 그리고 그 경험은 AI에 대한 접근 방식에 어떻게 영향을 미쳤나요?

구글 듀플렉스 팀에서 일했습니다. 이는 사용자의 대신에 음식점이나 비즈니스와 통화를 하는 대화형 AI 시스템이었습니다. 이 프로젝트는 매우 유능한 사람들로 구성된 팀이었습니다. 팀은 빠르게 움직이고 새로운 아이디어를 시도하며 매주 최신 기술을 데모했습니다. 이러한 팀에서 일하는 것은 매우 영감을 주었습니다.

이 팀에서 배운 많은 것 중 하나는 최신 AI 모델을 사용할 때도 사용자 경험과 가치를 얻기 위해 कभ씩은_scrappy_해야 한다는 것입니다. 프로토콜 문서를 생성하기 위해 대화형 AI 시스템을 개발할 때, 우리는 사용자와 규제기관의 엄격한 기준을 충족하기 위해 많은 노력을 기울였습니다.

파로의 CEO와您 모두가 큰 기술 회사에서 왔습니다. 귀하의 과거 경험은 파로의 개발과 전략에 어떻게 영향을 미쳤나요?

제 경력에서 여러 번 큰 회사에서 제품과 서비스를 판매하는 경험을 했습니다. 파로도 세계 최대의 제약 회사들을 대상으로 하기 때문에 큰 기업과 협력하는 경험은 매우 관련이 있습니다. 뉴욕에 기반을 둔 큰 알고리즘 헤지 펀드인 투 시그마에서 일한 경험은 데이터 과학에 대한 접근 방식을 형성했습니다. 그들은 엄격한 가설 기반 프로세스를 가지고 있으며 모든 새로운 아이디어는 연구 계획에 들어가고 철저히 테스트됩니다. 또한 데이터 엔지니어링 조직이 잘 발달되어 새로운 데이터 세트를 온보딩하고 특징 엔지니어링을 수행합니다. 파로가 임상 시험 개발에서 더 많은 문제를 해결하기 위해 AI 능력을 깊게 개발할 때, 이러한 접근 방식은 매우 관련이 있을 것입니다.

파로 헬스는 임상 시험 설계의 복잡성을 단순화하는 AI를 기반으로 합니다. 비임상 배경에서 오신 귀하는 임상 시험 프로토콜 설계에서 해결해야 할 구체적인 문제를 이해하기 위해 어떤 “아하!” 순간을 경험했나요?

첫 번째 “아하!” 순간은 “이룸의 법칙”이라는 개념을 만났을 때였습니다. 이룸은 무어의 법칙을 거꾸로 쓴 것입니다. 이는 지난 50년 동안 임상 약물 개발 비용과 시간이 물가 상승에 따라 대략 9년마다 두 배로 증가했다는 사실을 나타냅니다. 이는 정보 기술 혁명의 모든 것과 정반대의 방향으로 진행되고 있으며, 이는 매우 놀라운 사실입니다. 이는 이 분야에서 엄청난 문제를 해결해야 한다는 사실을 확신시켰습니다!

이 도메인에 더 깊이 들어가면서 많은 더 많은 통찰력을 얻었습니다. 가장 기본적이고 명백한 것은 워드 문서가 매우 복잡한 임상 시험을 설계하고 저장하기에 적절한 형식이 아니라는 것입니다. 이는 파로가 기반을 둔 핵심적인 관찰입니다. 또한 임상 연구 팀이 과거의 프로토콜을 복사하고 붙여넣고 새로운 평가를 추가하여 더 많은 데이터를 수집하려고 할 때, 시험은 점점 더 복잡해집니다. 파로의 가치는 사용자에게 가능한 한 많은 유용한 통찰력을 제공하는 것입니다.

파로의 플랫폼에서 AI는 임상 시험 프로토콜 설계를 더 빠르고 정확하게 하기 위해 어떤 역할을 하나요? 파로의 “AI Co-Author” 도구는 다른 생성형 AI 솔루션과 어떻게 다르나요?

명백한 것처럼 parece, 임상 시험 프로토콜 문서를 생성하기 위해 ChatGPT와 같은 모델을 사용할 수 없습니다. 먼저, 매우 구체적이고 구조화된 시험 정보를 자세히 나타내야 합니다. 또한 특정 유형의 시험을 위한 문서에는 특정 세부 사항과 구절이 있어야 하며, 의료 작가와 검토자가 기대하는 일정한 스타일과 세부 수준이 있어야 합니다. 파로에서는 사용자의 기대와 규제기관의 엄격한 기준을 충족하기 위해 대규모 언어 모델(LLM)의 출력을 평가하는 독자적인 시스템을 개발했습니다.

희귀 질환과 면역 온콜로지에 대한 임상 시험의 복잡성이 증가함에 따라, 파로는 어떻게 AI가 이러한 전문적인 요구를 충족할 수 있을까요? 또한 정확성과 품질을 희생하지 않도록 어떻게 할 수 있나요?

모델은 훈련 데이터만큼 좋은 것입니다. 현대 의학의 최전선이 발전함에 따라, 우리는 최신 임상 시험 데이터로 모델을 훈련하고 테스트해야 합니다. 이는 임상 시험 프로토콜의 라이브러리를 지속적으로 확장해야 함을 의미하며, 우리는 이미 파로에서 임상 시험 프로토콜의大量을 수집하여 매우 자랑스럽습니다. 또한 우리의 모델 출력을 평가하고 정확성과 품질을 보장하기 위해 임상 전문가 팀과密接하게 협력해야 합니다.

파로의 비바와 같은 주요 회사와의 협력은 임상 시험 생태계 전체에서 프로세스를 어떻게 간소화할 수 있나요?

임상 시험의 핵심은 프로토콜이며, 파로의 Study Designer가 고객이 설계하고 최적화하도록 도와줍니다. 프로토콜은 임상 시험의 모든 것을 알려주지만, 전통적으로 프로토콜은 워드 문서에 저장됩니다. 따라서 임상 개발을 운영화하는 오늘날의 큰 도전은 데이터를 프로토콜이나 다른 문서 기반 소스에서 다른 시스템이나 문서로 수동으로 전사하는 것입니다. 이는 매우 비효율적이며, 오류의 기회를 많이 제공합니다.

파로의 비전은 임상 시험의 “정의” 또는 요소가 설계 시스템에서 처음 구상된 후, 운영 단계에서 필요한 다양한 시스템으로 무결하게 흐르는統一 플랫폼입니다. 이러한 정보 흐름이 구축되면, 자동화와 품질 개선의 기회가 크게 증가하여 임상 시험의 설계와 구현 시간과 비용을 크게 줄일 수 있습니다. 비바와의 협력을 통해 Study Designer를 Veeva Vault EDC에 연결하는 것은 이 방향으로 한 걸음입니다.

임상 시험을 단순화하는 데 AI가 직면하는 주요 도전은 무엇이며, 파로는 어떻게 이러한 도전을 극복하나요? 특히 투명성을 보장하고 편향이나 환각과 같은 문제를 피하는 방법은 무엇인가요?

임상 시험 문서에는 다른 도메인보다 훨씬 더 높은 기준이 있습니다. 이러한 문서는 실제 사람들의 삶에 영향을 미치며, 따라서 매우 엄격한 규제 검토 과정을 거칩니다. 우리는 처음으로 대규모 언어 모델(LLM)을 사용하여 임상 문서를 생성했을 때, 출력이 사용자의 기대와 규제기관의 기준을 충족하지 않는다는 것을 알았습니다. 당연히, тон, 세부 수준, 형식 – 모든 것이 비즈니스 커뮤니케이션에 적합한 일반적인 모델이었습니다. 우리는 임상 전문가와密接하게 협력하여 지침과 평가 체크리스트를 개발하여 모델의 출력이 환각이나 중요한 세부 사항의 생략 없이 사용자와 규제기관의 기준을 충족하도록 했습니다.

임상 시험에서 AI의 역할은 어떻게 진화할까요? 파로는 이 분야의 디지털 변혁에서 향후 10년 동안 어떤 역할을 할까요?

시간이 지나면, AI는 임상 개발 프로세스 전체에서 더 많은 결정과 프로세스를 개선하고 최적화할 것입니다. 우리는 프로토콜 설계 입력에 따라 주요 결과를 예측할 수 있을 것입니다. 예를 들어, 연구 팀이 입학 문제를 기대할 수 있는지, 또는 연구가 운영적인 문제로 인해 수정이 필요한지 예측할 수 있습니다. 이러한 예측 통찰력으로, 우리는 임상 시험의 운영을 최적화하여 사이트와 환자가 최상의 경험을 할 수 있도록 도와줄 수 있습니다. 또한 임상 시험의 운영 성공 가능성을 높일 수 있습니다. 파로는 임상 문서의 범위를 계속 확장하여 임상 시험의 모든 서류 작업이 효율적이고 오류가 적도록 할 계획입니다. 우리는 AI가 플랫폼을 진정한 설계 파트너로 만들 수 있도록 할 것입니다. 임상 과학자와의 생성적 대화를 통해 환자 부담, 사이트 부담, 시간, 비용, 복잡성 간의 올바른 트레이드오프를 하는 임상 시험을 설계하도록 도와줄 것입니다.

파로의 환자 중심 설계는 임상 시험의 효율성과 성공에 어떻게 영향을 미치나요? 특히 환자 부담을 줄이고 연구의 접근성을 향상시키는 데 어떻게 도움이 되나요?

임상 시험은 참여자의 데이터를 더 많이 수집하려는 필요와 시험의 운영적 실행 가능성 간의 경쟁적인需求 사이에서 자주 갇히게 됩니다. 그러나 환자 모집과 유지 هو 가장 큰 도전 중 하나입니다. 일부 추정에 따르면, 임상 시험에 참여하는 환자의 20-30%는 참여 부담으로 인해 시험을 중단합니다. 임상 연구 팀은 높은 부담의 영향을 알고 있지만, 실제로 환자 부담을 줄이는 것은 어려울 수 있습니다. 우리는 환자 부담을 줄이기 위한 장벽 중 하나는 부담을 쉽게 측정할 수 없다는 것입니다. 설계가 워드 문서나 PDF에 있을 때, 이는 어려울 수 있습니다.

파로의 Study Designer를 사용하면 임상 개발 팀이 프로토콜 계획 단계에서 환자 부담에 대한 실시간 통찰력을 얻을 수 있습니다. 시험을 설계 단계에서 구조화하고 비용, 환자 부담, 복잡성에 대한 분석적 통찰력을 제공함으로써, 파로는 임상 연구 팀이 시험 설계를 최적화할 수 있도록 도와줍니다. 고객은 환자 부담과 관련된 지표에 대한 가시성을 제공하고 필요한 경우 절충을 할 수 있음을 좋아합니다. 궁극적으로, 우리는 고객이 수천 시간의 집합 환자 시간을 절약할 수 있도록 도와왔으며, 이는 연구 참여자에게 즉각적인 긍정적인 영향을 미칠 것입니다. 또한 임상 시험을 시작하고 완료하는 데 도움이 될 것입니다.

구글과 파로에서 경험한 바를 토대로, 임상 시험 프로세스에 AI를 통합하려는 스타트업이나 회사에 어떤 조언을 드리나요?

여기서 얻은 주요 내용을 요약하면 다음과 같습니다:

1. AI 프롬프트를 나누고 평가하세요. 대규모 언어 모델은 임상 등급 문서를 생성하도록 설계되지 않았습니다. 임상 시험 문서를 자동화하기 위해 생성형 AI를 사용하려면, 모델의 출력이 정확하고 완전하며, 세부 수준과 тон이 적절한지 평가하는 프레임워크가 필요합니다. 이는 임상 전문가의 도움으로 모델을 테스트하는 데 많은 노력이 필요합니다.
2. 구조화된 시험 표현을 사용하세요. 임상 시험을 최적화하기 위해 필요한 데이터 분석을 생성하기 위해서는 구조화된 저장소가 필요합니다. 많은 회사에서 아직 워드 문서나 엑셀을 사용하고 있습니다. 이는 임상 시험의 복잡성을 정확하게 나타내는 구조화된 도메인 모델이 필요합니다. 이는 임상 전문가의 입력과 피드백이 필요합니다.
3. 임상 전문가는 품질에 중요합니다. 이전 두 가지 사항에서 보았듯이, 임상 전문가가 임상 개발 시스템의 설계와 테스트에 직접 참여하는 것은 매우 중요합니다. 이는 임상 개발에서보다 더 특별한 지식과 세부 사항이 필요하기 때문입니다.

우리는 새로운 것을 시도하고 있으며, 우리의 발견을 블로그에 정기적으로 공유하여 회사들이 이 분야를 탐색하도록 도와줍니다.

이번 인터뷰에 감사드립니다. 더 많은 정보를 원하시는 독자는 파로 헬스를 방문하십시오.