Иттай Даян, MD, сооснователь и CEO Rhino Health – Интервью

Иттай Даян, MD является сооснователем и CEO Rhino Health. Его опыт включает разработку искусственного интеллекта и диагностических систем, а также клиническую медицину и исследования. Он является бывшим ключевым членом практики здравоохранения BCG и руководителем больницы. В настоящее время он сосредоточен на вкладе в разработку безопасного, справедливого и эффективного искусственного интеллекта в области здравоохранения и биотехнологий. В Rhino Health они используют распределенные вычисления и Федеративное обучение как средство для сохранения конфиденциальности пациентов и содействия сотрудничеству в фрагментированной системе здравоохранения.

Он служил в армии обороны Израиля – спецназ, возглавлял крупнейший академический медицинский центр, основанный на трансляционной ИИ-лаборатории в мире. Он является экспертом в области разработки и коммерциализации ИИ, а также долгосрочным бегуном.

Не могли бы вы рассказать историю создания Rhino Health?

Мое путешествие в ИИ началось, когда я был клиницистом и исследователем, используя раннюю форму «цифрового биомаркера» для измерения реакции на лечение психических расстройств. Позже я возглавил Центр клинических данных и науки (CCDS) в Mass General Brigham. Там я руководил разработкой десятков клинических приложений ИИ и сталкивался с первыми проблемами, связанными с доступом и «активацией» данных, необходимых для разработки и обучения продукции ИИ, соответствующей нормативным требованиям.

Несмотря на многие достижения в области ИИ в здравоохранении, путь от разработки до запуска продукта на рынок долгий и часто неровный. Решения терпят неудачу (или просто разочаровывают) после развертывания в клинических условиях, а поддержка полного жизненного цикла ИИ几乎 невозможна без постоянного доступа к большому массиву клинических данных. Проблема сместилась от создания моделей к поддержке их. Чтобы решить эту проблему, я убедил систему Mass General Brigham в ценности наличия своего «специализированного CRO для ИИ» (CRO = Клиническая исследовательская организация), чтобы протестировать алгоритмы от нескольких коммерческих разработчиков.

Однако проблема осталась – данные о здоровье все еще очень разрознены, и даже большие объемы данных из одной сети недостаточны для борьбы с все более узкими целями медицинского ИИ. Летом 2020 года я инициировал и возглавил (вместе с доктором Моной Флорес из NVIDIA) крупнейшее в то время исследование по федеративному обучению в здравоохранении, EXAM. Мы использовали федеративное обучение для создания прогностической модели результатов COVID, используя данные со всего мира, не делясь никакими данными. Опубликованное в Nature Medicine, это исследование продемонстрировало положительное влияние использования разнообразных и несопоставимых наборов данных и подчеркнуло потенциал для более широкого использования федеративного обучения в здравоохранении.

Этот опыт, однако, выявил ряд проблем. К ним относятся координация данных на сотрудничающих сайтах, обеспечение прослеживаемости и правильной характеристики данных, а также бремя, возлагаемое на отделы информационных технологий каждой учреждения, которым приходилось изучать передовые технологии, к которым они не были привыкли. Это потребовало новой платформы, которая бы поддерживала эти новые «распределенные данные» сотрудничества. Я решил объединиться со своим сооснователем, Ювалем Барором, чтобы создать платформу от начала до конца для поддержки сохраняющих конфиденциальность сотрудничеств. Эта платформа – «Платформа Rhino Health», использующая федеративное обучение и краевой вычислитель.

Почему вы считаете, что модели ИИ часто не оправдывают ожидаемых результатов в условиях здравоохранения?

Медицинский ИИ часто обучается на небольших, узких наборах данных, таких как наборы данных из одной учреждения или географического региона, что приводит к тому, что полученная модель работает хорошо только на тех типах данных, с которыми она была обучена. Как только алгоритм применяется к пациентам или сценариям, которые отличаются от узкого набора данных для обучения, производительность значительно ухудшается.

Эндрю Нг точно сформулировал эту идею, когда сказал: «Оказывается, что когда мы собираем данные из больницы Стэнфорда… мы можем опубликовать статьи, показывающие [алгоритмы], которые сопоставимы с человеческими радиологами в обнаружении определенных состояний. … [Когда] вы берете ту же модель, ту же систему ИИ, в более старую больницу вниз по улице, с более старой машиной, и техник использует slightly разный протокол изображения, эти данные смещаются, чтобы вызвать значительное ухудшение производительности системы ИИ».

Просто говоря, большинство моделей ИИ не обучаются на данных, которые достаточно разнообразны и высокого качества, что приводит к плохой «реальной» производительности. Эта проблема хорошо документирована как в научных, так и в основных кругах, таких как в Science и Politico.

Насколько важно тестирование на разнообразных группах пациентов?

Тестирование на разнообразных группах пациентов имеет решающее значение для обеспечения того, что полученный продукт ИИ не только эффективен и производителен, но и безопасен. Алгоритмы, не обученные или протестированные на достаточно разнообразных группах пациентов, могут страдать от алгоритмической предвзятости, серьезной проблемы в здравоохранении и технологиях здравоохранения. Не только такие алгоритмы будут отражать предвзятость, присутствующую в наборе данных для обучения, но и усугубят эту предвзятость и усугубят существующие расовые, этнические, религиозные, гендерные и т. д. неравенства в здравоохранении. Неудача в тестировании на разнообразных группах пациентов может привести к опасным продуктам.

Недавно опубликованное исследование⁵, использующее платформу Rhino Health, изучало производительность алгоритма ИИ для обнаружения аневризмов мозга, разработанного на одном сайте, на четырех разных сайтах с различными типами сканеров. Результаты показали значительную вариативность производительности на сайтах с различными типами сканеров, подчеркивая важность обучения и тестирования на разнообразных наборах данных.

Как вы определяете, если подпопуляция не представлена?

Распространенный подход заключается в анализе распределений переменных в разных наборах данных, отдельно и в комбинации. Это может проинформировать разработчиков как при подготовке наборов данных для «обучения», так и для наборов данных для проверки. Платформа Rhino Health позволяет это сделать, и, кроме того, пользователи могут увидеть, как модель работает на различных когортах, чтобы обеспечить обобщаемость и устойчивую производительность в подпопуляциях.

Не могли бы вы описать, что такое Федеративное обучение и как оно решает некоторые из этих проблем?

Федеративное обучение (ФЛ) можно определить как процесс, в котором модели ИИ обучаются и продолжают совершенствоваться со временем, используя несопоставимые данные, без необходимости обмена или централизации данных. Это огромный шаг вперед в разработке ИИ. Исторически любому пользователю, желающему сотрудничать с несколькими сайтами, приходилось объединять эти данные, что приводило к множеству утомительных, дорогостоящих и длительных юридических, рисковых и соответствующих процедур.

Сегодня, с помощью программного обеспечения, такого как платформа Rhino Health, ФЛ становится повседневной реальностью в здравоохранении и биотехнологиях. Федеративное обучение позволяет пользователям исследовать, курировать и проверять данные, оставляя эти данные на местных серверах сотрудников. Контейнеризированный код, такой как алгоритм ИИ/МЛ или аналитическое приложение, отправляется на местный сервер, где выполняется «местно». Данные, таким образом, остаются с «опекуном данных» во все время.

Больницы, в частности, обеспокоены рисками, связанными с агрегацией чувствительных данных пациентов. Это уже привело к неловким ситуациям, когда стало ясно, что организации здравоохранения сотрудничали с промышленностью без полного понимания использования их данных. В результате они ограничивают объем сотрудничества, который могут осуществлять промышленность и академические исследователи, что замедляет исследования и разработки и влияет на качество продукции по всей отрасли здравоохранения. ФЛ может смягчить это и позволить сотрудничество с данными, как никогда раньше, сохраняя при этом контроль над рисками, связанными с этими сотрудничествами.

Не могли бы вы поделиться видением Rhino Health по созданию моделей с использованием более разнообразных данных?

Мы представляем себе экосистему разработчиков и пользователей ИИ, сотрудничающих без страха или ограничений, уважая при этом границы нормативных требований. Сотрудники могут быстро определять необходимые данные для обучения и тестирования из разных географических регионов, получать доступ и взаимодействовать с этими данными, а также совершенствовать разработку моделей, чтобы обеспечить достаточную обобщаемость, производительность и безопасность.

В основе этого лежит платформа Rhino Health, предоставляющая «однооконное» решение для разработчиков ИИ, чтобы построить массивные и разнообразные наборы данных, обучить и проверить алгоритмы ИИ, а также непрерывно контролировать и поддерживать развернутые продукты ИИ.

Как платформа Rhino Health предотвращает предвзятость ИИ и обеспечивает объяснимость ИИ?

Распахивая и оптимизируя сотрудничество с данными, разработчики ИИ могут использовать более крупные и разнообразные наборы данных при обучении и тестировании своих приложений. Результатом более прочных наборов данных является более обобщаемый продукт, который не страдает от предвзятости одного учреждения или узкого набора данных. В поддержку объяснимости ИИ наша платформа обеспечивает четкий обзор данных, используемых на протяжении всего процесса разработки, с возможностью анализа происхождения данных, распределения значений и других ключевых метрик, чтобы обеспечить адекватное разнообразие и качество данных. Кроме того, наша платформа позволяет функциональность, которая невозможна, если данные просто объединяются, включая возможность для пользователей дополнительно улучшать свои наборы данных дополнительными переменными, такими как те, которые вычисляются из существующих точек данных, чтобы исследовать причинно-следственную связь и смягчить конфундирование.

Как вы реагируете на врачей, которые беспокоятся, что чрезмерная зависимость от ИИ может привести к предвзятым результатам, которые не проверяются независимо?

Мы сочувствуем этой проблеме и признаем, что многие приложения на рынке сегодня могут действительно быть предвзятыми. Наш ответ заключается в том, что мы должны объединиться как отрасль, как сообщество здравоохранения, которое прежде всего заботится о безопасности пациентов, чтобы определить политику и процедуры, предотвращающие такие предвзятости и обеспечивающие безопасные и эффективные приложения ИИ. Разработчики ИИ несут ответственность за то, чтобы их маркетинговые продукты ИИ были независимо проверены, чтобы заслужить доверие как медицинских работников, так и пациентов. Rhino Health посвящена поддержке безопасных и заслуживающих доверия продуктов ИИ и работает с партнерами, чтобы обеспечить и оптимизировать независимую проверку приложений ИИ перед развертыванием в клинических условиях, снимая барьеры для необходимых данных проверки.

Каково ваше видение будущего ИИ в здравоохранении?

Видение Rhino Health – это мир, где ИИ достиг своего полного потенциала в здравоохранении. Мы усердно работаем над созданием прозрачности и содействием сотрудничеству, утверждая конфиденциальность, чтобы обеспечить этот мир. Мы представляем себе здравооохранение ИИ, которое не ограничено файерволами, географическими ограничениями или нормативными ограничениями. Разработчики ИИ будут иметь контролируемый доступ ко всем данным, которые им нужны для построения мощных, обобщаемых моделей – и для непрерывного контроля и улучшения их с потоком данных в реальном времени. Поставщики и пациенты будут иметь уверенность в том, что они не теряют контроль над своими данными и могут обеспечить их использование во благо. Регуляторы смогут контролировать эффективность моделей, используемых в разработке фармацевтических и устройств, в реальном времени. Организации общественного здравоохранения будут выигрывать от этих достижений в ИИ, а пациенты и поставщики будут спать спокойно, зная, что конфиденциальность защищена.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Rhino Health.