Врач Иттай Даян, сооснователь и генеральный директор Rhino Health — серия интервью

Иттай Даян, MD является сооснователем и CEO Rhino Health. Его опыт включает разработку искусственного интеллекта и диагностических систем, а также клиническую медицину и исследования. Он является бывшим ключевым членом медицинского направления BCG и исполнительным директором больницы. В настоящее время он сосредоточен на вкладе в разработку безопасного, справедливого и эффективного искусственного интеллекта в здравоохранении и отраслях наук о жизни. В Rhino Health они используют распределенные вычисления и федеративное обучение для поддержания конфиденциальности пациентов и содействия сотрудничеству в фрагментированной системе здравоохранения.

Он служил в спецназе армии обороны Израиля, возглавлял крупнейший в мире центр трансляционного ИИ, работающий на базе академического медицинского центра. Он является экспертом в разработке и коммерциализации ИИ, а также бегуном на длинные дистанции.

Не могли бы вы рассказать историю создания Rhino Health?

Мое путешествие в ИИ началось, когда я был клиницистом и исследователем, используя раннюю форму «цифрового биомаркера» для измерения реакции на лечение психических расстройств. Позже я возглавил Центр науки о клинических данных (CCDS) в Mass General Brigham. Там я курировал разработку десятков клинических приложений ИИ и сталкивался с проблемами, связанными с доступом и «активацией» данных, необходимых для разработки и обучения продуктов ИИ, соответствующих нормативным требованиям.

Несмотря на многие достижения в области ИИ в здравоохранении, путь от разработки до запуска продукта на рынке долгий и часто сложный. Решения могут потерпеть неудачу (или просто разочаровать) после развертывания в клинической обстановке, а поддержка полного жизненного цикла ИИ почти невозможна без постоянного доступа к большому объему клинических данных. Проблема сместилась от создания моделей к поддержке их. Чтобы решить эту проблему, я убедил систему Mass General Brigham в необходимости иметь свою «специализированную КРО для ИИ» (КРО = клиническая исследовательская организация), чтобы протестировать алгоритмы от нескольких коммерческих разработчиков.

Однако проблема осталась – данные о здоровье все еще очень фрагментированы, и даже большие объемы данных из одной сети не достаточно, чтобы решать все более специализированные задачи медицинского ИИ. Летом 2020 года я инициировал и возглавил (вместе с доктором Моной Флорес из NVIDIA (NVDA )) крупнейшее в то время в мире исследование федеративного обучения в здравоохранении, EXAM. Мы использовали федеративное обучение для создания прогностической модели результатов COVID, используя данные со всего мира, без обмена данными. Это исследование, опубликованное в Nature Medicine, продемонстрировало положительное влияние использования разнообразных и различных наборов данных и подчеркнуло потенциал для более широкого использования федеративного обучения в здравоохранении.

Этот опыт, однако, выявил ряд проблем. Среди них были координация данных между сотрудничающими учреждениями, обеспечение отслеживания и правильной характеристики данных, а также бремя, возложенное на отделы информационных технологий каждого учреждения, которые должны были освоить передовые технологии, к которым они не были привычны. Это потребовало новой платформы, которая бы поддерживала эти новые формы сотрудничества с распределенными данными. Я решил объединиться со своим сооснователем, Ювалем Барором, чтобы создать комплексную платформу для поддержки сохраняющих конфиденциальность сотрудничеств. Эта платформа – «Платформа Rhino Health», использующая федеративное обучение и периферийные вычисления.

Почему вы считаете, что модели ИИ часто не оправдывают ожидаемых результатов в условиях здравоохранения?

Медицинский ИИ часто обучается на небольших, узких наборах данных, таких как наборы данных из одного учреждения или географического региона, что приводит к тому, что результирующая модель работает хорошо только с теми данными, которые она видела. Как только алгоритм применяется к пациентам или сценариям, которые отличаются от узкого обучающего набора данных, производительность существенно снижается.

Эндрю Нг точно сформулировал эту идею, когда сказал: «Оказывается, когда мы собираем данные из больницы Стэнфорда… мы можем опубликовать статьи, показывающие [алгоритмы], сравнимые с человеческими радиологами в выявлении определенных заболеваний. … [Когда] вы берете ту же модель, ту же систему ИИ, в более старую больницу вниз по улице, с более старым оборудованием, и техник использует немного иной протокол медицинской визуализации, данные дрейфуют и вызывают значительное ухудшение производительности системы ИИ»³.

Просто говоря, большинство моделей ИИ не обучается на данных, которые достаточно разнообразны и имеют высокое качество, что приводит к плохой «реальной» производительности. Эта проблема хорошо документирована как в научных, так и в основных СМИ, таких как Science и Politico.

Насколько важно тестирование на разнообразных группах пациентов?

Тестирование на разнообразных группах пациентов имеет решающее значение для обеспечения того, что полученный продукт ИИ не только эффективен и производителен, но и безопасен. Алгоритмы, которые не были обучены или протестированы на достаточно разнообразных группах пациентов, могут страдать от алгоритмической предвзятости, серьезной проблемы в здравоохранении и технологиях здравоохранения. Не только такие алгоритмы отражают предвзятость, присутствующую в обучающих данных, но и усугубляют эту предвзятость и усиливают существующие расовые, этнические, религиозные, гендерные и т. д. неравенства в здравоохранении. Неспособность протестировать на разнообразных группах пациентов может привести к опасным продуктам.

Недавно опубликованное исследование⁵, использующее платформу Rhino Health, изучало производительность алгоритма ИИ для обнаружения аневризм сосудов головного мозга, разработанного в одном месте, в четырех разных учреждениях с различными типами сканеров. Результаты показали значительную вариативность производительности в учреждениях с различными типами сканеров, подчеркивая важность обучения и тестирования на разнообразных наборах данных.

Как вы определяете, что подпопуляция не представлена?

Одним из подходов является анализ распределения переменных в разных наборах данных, индивидуально и в комбинации. Это может проинформировать разработчиков как при подготовке «обучающих» наборов данных, так и при подготовке наборов данных для проверки. Платформа Rhino Health позволяет сделать это, и, кроме того, пользователи могут увидеть, как модель работает на различных когортах, чтобы обеспечить обобщаемость и устойчивую производительность в подпопуляциях.

Не могли бы вы описать, что такое федеративное обучение и как оно решает некоторые из этих проблем?

Федеративное обучение (ФЛ) можно определить как процесс, в котором модели ИИ обучаются и продолжают совершенствоваться со временем, используя разнообразные данные, без необходимости обмена или централизации данных. Это огромный шаг вперед в разработке ИИ. Исторически любой пользователь, желающий сотрудничать с несколькими учреждениями, должен был объединить эти данные, что приводило к множеству сложных, дорогих и трудоемких вопросов права, рисков и соблюдения нормативных требований.

Сегодня, с помощью программного обеспечения, такого как платформа Rhino Health, ФЛ становится повседневной реальностью в здравоохранении и отраслях наук о жизни. Федеративное обучение позволяет пользователям исследовать, курировать и проверять данные, оставляя эти данные на локальных серверах партнеров. Контейнеризированный код, такой как алгоритм ИИ/МЛ или аналитическое приложение, отправляется на местный сервер, где выполняется локально, например для обучения или валидации алгоритма ИИ/машинного обучения. Данные, таким образом, всегда остаются с «опекуном данных».

Больницы, в частности, обеспокоены рисками, связанными с агрегацией чувствительных данных пациентов. Это уже привело к неловким ситуациям, когда стало ясно, что организации здравоохранения сотрудничали с промышленностью без полного понимания использования их данных. В результате они ограничивают объем сотрудничества, который могут осуществлять промышленность и академические исследователи, что замедляет исследования и разработки и влияет на качество продуктов в здравоохранении. ФЛ может смягчить это и позволить сотрудничество с данными, как никогда раньше, сохраняя при этом контроль над рисками, связанными с этими сотрудничествами.

Не могли бы вы рассказать о видении Rhino Health по быстрому созданию моделей с помощью более разнообразных данных?

Мы представляем себе экосистему разработчиков и пользователей ИИ, сотрудничающих без страха или ограничений, уважая при этом границы нормативных требований. Партнеры могут быстро определять необходимые данные для обучения и тестирования из разных географических мест, получать доступ и взаимодействовать с этими данными, а также совершенствовать разработку моделей, чтобы обеспечить достаточную обобщаемость, производительность и безопасность.

В центре этого находится платформа Rhino Health, предоставляющая «однооконное» решение для разработчиков ИИ, чтобы создавать массивные и разнообразные наборы данных, обучать и проверять алгоритмы ИИ, а также непрерывно контролировать и поддерживать развернутые продукты ИИ.

Как платформа Rhino Health предотвращает предвзятость ИИ и обеспечивает объяснимость ИИ?

Разблокируя и оптимизируя сотрудничество с данными, разработчики ИИ могут использовать более крупные и разнообразные наборы данных при обучении и тестировании своих приложений. Результатом более прочных наборов данных является более обобщаемый продукт, который не обременен предвзятостью одного учреждения или узкого набора данных. В поддержку объяснимости ИИ наша платформа обеспечивает четкий взгляд на данные, используемые на протяжении всего процесса разработки, с возможностью анализа происхождения данных, распределения значений и других ключевых метрик, чтобы обеспечить достаточное разнообразие и качество данных. Кроме того, наша платформа позволяет функциональность, которая невозможна, если данные просто объединены, включая возможность дальнейшего улучшения наборов данных дополнительными переменными, такими как те, которые вычисляются из существующих точек данных, для исследования причинно-следственных связей и снижения влияния смешивающих факторов.

Как вы отвечаете врачам, которые беспокоятся, что чрезмерная зависимость от ИИ может привести к предвзятым результатам, которые не проверяются независимо?

Мы сочувствуем этой проблеме и признаем, что некоторые приложения на рынке сегодня могут быть действительно предвзятыми. Наш ответ заключается в том, что мы должны объединиться как отрасль, как сообщество здравоохранения, которое прежде всего заботится о безопасности пациентов, чтобы определить политику и процедуры, предотвращающие такие предвзятости и обеспечивающие безопасные и эффективные приложения ИИ. Разработчики ИИ несут ответственность за обеспечение того, чтобы их коммерческие продукты ИИ были независимо проверены, чтобы заслужить доверие как медицинских специалистов, так и пациентов. Rhino Health посвящена поддержке безопасных и заслуживающих доверия продуктов ИИ и работает с партнерами, чтобы обеспечить и оптимизировать независимую проверку приложений ИИ перед их развертыванием в клинической обстановке, устраняя препятствия для доступа к необходимым данным валидации.

Каково ваше видение будущего ИИ в здравоохранении?

Видение Rhino Health – мир, где ИИ достиг своего полного потенциала в здравоохранении. Мы усердно работаем над созданием прозрачности и содействием сотрудничеству, обеспечивая защиту конфиденциальности, чтобы обеспечить этот мир. Мы представляем себе ИИ в здравоохранении, не ограниченный файерволами, географическими ограничениями или нормативными ограничениями. Разработчики ИИ будут иметь контролируемый доступ ко всем данным, которые им необходимы для создания мощных и обобщаемых моделей, а также для непрерывного контроля и улучшения их с потоком данных в реальном времени. Поставщики и пациенты будут иметь уверенность в том, что они не теряют контроль над своими данными и могут обеспечить их использование во благо. Регуляторы смогут контролировать эффективность моделей, используемых при разработке лекарств и медицинских устройств в реальном времени. Организации общественного здравоохранения будут получать выгоду от этих достижений в ИИ, а пациенты и поставщики будут спать спокойно, зная, что конфиденциальность защищена.

Спасибо за отличное интервью. Читателям, желающим узнать больше, следует посетить Rhino Health.