Иттай Даян, MD, сооснователь и CEO Rhino Health – Интервью

Иттай Даян, MD является сооснователем и CEO Rhino Health. Его опыт включает разработку искусственного интеллекта и диагностических систем, а также клиническую медицину и исследования. Он является бывшим ключевым членом практики здравоохранения BCG и исполнительным директором больницы. В настоящее время он сосредоточен на вкладе в разработку безопасного, справедливого и эффективного искусственного интеллекта в здравоохранении и биотехнологической промышленности. В Rhino Health они используют распределенные вычисления и федеративное обучение для поддержания конфиденциальности пациентов и содействия сотрудничеству в фрагментированной системе здравоохранения.

Он служил в спецназе армии обороны Израиля, возглавлял крупнейший академический медицинский центр по трансляционной разработке ИИ в мире. Он является экспертом в разработке и коммерциализации ИИ, а также долгосрочным бегуном.

Не могли бы вы рассказать историю создания Rhino Health?

Мое путешествие в ИИ началось, когда я был клиницистом и исследователем, используя раннюю форму «цифрового биомаркера» для измерения реакции на лечение психических расстройств. Позже я возглавил Центр клинических данных и науки (CCDS) в Mass General Brigham. Там я курировал разработку десятков клинических приложений ИИ и сталкивался с проблемами, связанными с доступом и «активацией» данных, необходимых для разработки и обучения продуктами ИИ, соответствующими нормативным требованиям.

Несмотря на многие достижения в области ИИ в здравоохранении, путь от разработки до запуска продукта на рынке долгий и часто сложный. Решения могут потерпеть неудачу (или просто разочаровать) после развертывания в клинической обстановке, а поддержка полного жизненного цикла ИИ几乎 невозможна без постоянного доступа к большому объему клинических данных. Проблема сместилась от создания моделей к поддержке их. Чтобы решить эту проблему, я убедил систему Mass General Brigham в необходимости иметь свою «специализированную КРО для ИИ» (КРО = клиническая исследовательская организация), чтобы протестировать алгоритмы от нескольких коммерческих разработчиков.

Однако проблема осталась – данные о здоровье все еще очень фрагментированы, и даже большие объемы данных из одной сети не достаточно, чтобы противостоять все более узким целям медицинского ИИ. Летом 2020 года я инициировал и возглавил (вместе с доктором Моной Флорес из NVIDIA (NVDA )) крупнейшее в то время исследование федеративного обучения в здравоохранении, EXAM. Мы использовали федеративное обучение для создания прогностической модели результатов COVID, используя данные со всего мира, без обмена данными. Это исследование, опубликованное в Nature Medicine, продемонстрировало положительное влияние использования разнообразных и различных наборов данных и подчеркнуло потенциал для более широкого использования федеративного обучения в здравоохранении.

Этот опыт, однако, выявил ряд проблем. Среди них были координация данных на сотрудничающих сайтах, обеспечение отслеживания и правильной характеристики данных, а также бремя, возложенное на отделы информационных технологий каждого учреждения, которые должны были освоить передовые технологии, к которым они не были привычны. Это потребовало новой платформы, которая бы поддерживала эти новые «распределенные данные» сотрудничества. Я решил объединиться со своим сооснователем, Ювалем Барором, чтобы создать комплексную платформу для поддержки сохраняющих конфиденциальность сотрудничеств. Эта платформа – «Платформа Rhino Health», использующая федеративное обучение и вычисления на краю.

Почему вы считаете, что модели ИИ часто не оправдывают ожидаемых результатов в условиях здравоохранения?

Медицинский ИИ часто обучается на небольших, узких наборах данных, таких как наборы данных из одного учреждения или географического региона, что приводит к тому, что результирующая модель работает хорошо только с теми данными, которые она видела. Как только алгоритм применяется к пациентам или сценариям, которые отличаются от узкого обучающего набора данных, производительность существенно снижается.

Эндрю Нг точно сформулировал эту идею, когда сказал: «Оказывается, когда мы собираем данные из больницы Стэнфорда… мы можем опубликовать статьи, показывающие [алгоритмы], сравнимые с человеческими радиологами в обнаружении определенных условий. … [Когда] вы берете ту же модель, ту же систему ИИ, в более старую больницу вниз по улице, с более старым оборудованием, и техник использует slightly другой протокол изображения, данные дрейфуют и вызывают значительное ухудшение производительности системы ИИ»³.

Просто говоря, большинство моделей ИИ не обучается на данных, которые достаточно разнообразны и имеют высокое качество, что приводит к плохой «реальной» производительности. Эта проблема хорошо документирована как в научных, так и в основных СМИ, таких как Science и Politico.

Насколько важно тестирование на разнообразных группах пациентов?

Тестирование на разнообразных группах пациентов имеет решающее значение для обеспечения того, что полученный продукт ИИ не только эффективен и производителен, но и безопасен. Алгоритмы, которые не были обучены или протестированы на достаточно разнообразных группах пациентов, могут страдать от алгоритмической предвзятости, серьезной проблемы в здравоохранении и технологиях здравоохранения. Не только такие алгоритмы отражают предвзятость, присутствующую в обучающих данных, но и усугубляют эту предвзятость и усиливают существующие расовые, этнические, религиозные, гендерные и т. д. неравенства в здравоохранении. Неспособность протестировать на разнообразных группах пациентов может привести к опасным продуктам.

Недавно опубликованное исследование⁵, использующее платформу Rhino Health, изучало производительность алгоритма ИИ для обнаружения аневризмов мозга, разработанного в одном месте, на четырех разных сайтах с различными типами сканеров. Результаты показали значительную вариативность производительности на сайтах с различными типами сканеров, подчеркивая важность обучения и тестирования на разнообразных наборах данных.

Как вы определяете, что подпопуляция не представлена?

Одним из подходов является анализ распределения переменных в разных наборах данных, индивидуально и в комбинации. Это может проинформировать разработчиков как при подготовке «обучающих» наборов данных, так и при подготовке наборов данных для проверки. Платформа Rhino Health позволяет сделать это, и, кроме того, пользователи могут увидеть, как модель работает на различных когортах, чтобы обеспечить обобщаемость и устойчивую производительность в подпопуляциях.

Не могли бы вы описать, что такое федеративное обучение и как оно решает некоторые из этих проблем?

Федеративное обучение (ФЛ) можно определить как процесс, в котором модели ИИ обучаются и продолжают совершенствоваться со временем, используя разнообразные данные, без необходимости обмена или централизации данных. Это огромный шаг вперед в разработке ИИ. Исторически любой пользователь, желающий сотрудничать с несколькими сайтами, должен был объединить эти данные, что приводило к множеству сложных, дорогих и трудоемких юридических, рисковых и процедурных вопросов.

Сегодня, с помощью программного обеспечения, такого как платформа Rhino Health, ФЛ становится повседневной реальностью в здравоохранении и биотехнологической промышленности. Федеративное обучение позволяет пользователям исследовать, курировать и проверять данные, оставляя эти данные на местных серверах сотрудников. Контейнеризированный код, такой как алгоритм ИИ/МЛ или аналитическое приложение, отправляется на местный сервер, где выполняется «местно». Данные, таким образом, всегда остаются с «опекуном данных».

Больницы, в частности, обеспокоены рисками, связанными с агрегацией чувствительных данных пациентов. Это уже привело к неловким ситуациям, когда стало ясно, что организации здравоохранения сотрудничали с промышленностью без полного понимания использования их данных. В результате они ограничивают объем сотрудничества, который могут осуществлять промышленность и академические исследователи, что замедляет исследования и разработки и влияет на качество продуктов в здравоохранении. ФЛ может смягчить это и позволить сотрудничество с данными, как никогда раньше, сохраняя при этом контроль над рисками, связанными с этими сотрудничествами.

Не могли бы вы рассказать о видении Rhino Health по созданию моделей с помощью более разнообразных данных?

Мы представляем себе экосистему разработчиков и пользователей ИИ, сотрудничающих без страха или ограничений, уважая при этом границы нормативных требований. Сотрудники могут быстро определять необходимые данные для обучения и тестирования из разных географических мест, получать доступ и взаимодействовать с этими данными, а также совершенствовать разработку моделей, чтобы обеспечить достаточную обобщаемость, производительность и безопасность.

В центре этого находится платформа Rhino Health, предоставляющая «однооконное» решение для разработчиков ИИ, чтобы создавать массивные и разнообразные наборы данных, обучать и проверять алгоритмы ИИ, а также непрерывно контролировать и поддерживать развернутые продукты ИИ.

Как платформа Rhino Health предотвращает предвзятость ИИ и обеспечивает объяснимость ИИ?

Разблокируя и оптимизируя сотрудничество с данными, разработчики ИИ могут использовать более крупные и разнообразные наборы данных при обучении и тестировании своих приложений. Результатом более прочных наборов данных является более обобщаемый продукт, который не обременен предвзятостью одного учреждения или узкого набора данных. В поддержку объяснимости ИИ наша платформа обеспечивает четкий взгляд на данные, используемые на протяжении всего процесса разработки, с возможностью анализа происхождения данных, распределения значений и других ключевых метрик, чтобы обеспечить достаточное разнообразие и качество данных. Кроме того, наша платформа позволяет функциональность, которая невозможна, если данные просто объединены, включая возможность дальнейшего улучшения наборов данных дополнительными переменными, такими как те, которые вычисляются из существующих точек данных, для исследования причинно-следственных связей и смягчения конфундеров.

Как вы отвечаете врачам, которые беспокоятся, что чрезмерная зависимость от ИИ может привести к предвзятым результатам, которые не проверяются независимо?

Мы сочувствуем этой проблеме и признаем, что некоторые приложения на рынке сегодня могут быть действительно предвзятыми. Наш ответ заключается в том, что мы должны объединиться как отрасль, как сообщество здравоохранения, которое прежде всего заботится о безопасности пациентов, чтобы определить политику и процедуры, предотвращающие такие предвзятости и обеспечивающие безопасные и эффективные приложения ИИ. Разработчики ИИ несут ответственность за обеспечение того, чтобы их коммерческие продукты ИИ были независимо проверены, чтобы заслужить доверие как медицинских специалистов, так и пациентов. Rhino Health посвящена поддержке безопасных и заслуживающих доверия продуктов ИИ и работает с партнерами, чтобы обеспечить и оптимизировать независимую проверку приложений ИИ перед их развертыванием в клинической обстановке, разблокируя барьеры для необходимых проверочных данных.

Каково ваше видение будущего ИИ в здравоохранении?

Видение Rhino Health – мир, где ИИ достиг своего полного потенциала в здравоохранении. Мы усердно работаем над созданием прозрачности и содействием сотрудничеству, утверждая конфиденциальность, чтобы обеспечить этот мир. Мы представляем себе ИИ в здравоохранении, не ограниченный файерволами, географическими ограничениями или нормативными ограничениями. Разработчики ИИ будут иметь контролируемый доступ ко всем данным, которые им необходимы для создания мощных и обобщаемых моделей, а также для непрерывного контроля и улучшения их с потоком данных в реальном времени. Поставщики и пациенты будут иметь уверенность в том, что они не теряют контроль над своими данными и могут обеспечить их использование во благо. Регуляторы смогут контролировать эффективность моделей, используемых в разработке фармацевтических и устройственных продуктов в реальном времени. Организации общественного здравоохранения будут получать выгоду от этих достижений в ИИ, а пациенты и поставщики будут спать спокойно, зная, что конфиденциальность защищена.

Спасибо за отличное интервью. Читателям, желающим узнать больше, следует посетить Rhino Health.