Генеративный ИИ в индустрии здравоохранения нуждается в объяснимости

Замечательная скорость, с которой текстовые генеративные инструменты ИИ могут выполнять задачи высокого уровня письма и общения, нашла отклик у компаний и потребителей. Но процессы, которые происходят за кулисами, чтобы обеспечить эти впечатляющие возможности, могут сделать использование генеративного ИИ без осторожности рискованным для чувствительных, государственно регулируемых отраслей, таких как страхование, финансы или здравоохранение.

Некоторые из наиболее ярких примеров этого можно найти в индустрии здравоохранения.

Такие проблемы обычно связаны с обширными и разнообразными наборами данных, используемых для обучения больших языковых моделей (БЯМ) – моделей, которые текстовые генеративные инструменты ИИ используют для выполнения задач высокого уровня. Без явного внешнего вмешательства программистов эти БЯМ склонны собирать данные без разбора из различных источников в Интернете, чтобы расширить свою базу знаний.

Такой подход наиболее подходит для низкорисковых потребительских случаев использования, в которых конечной целью является направление клиентов на желаемые предложения с точностью. Однако все чаще большие наборы данных и путаные пути, по которым модели ИИ генерируют свои выходные данные, затеняют объяснимость, которая необходима больницам и поставщикам медицинских услуг, чтобы отслеживать и предотвращать потенциальные неточности.

В этом контексте объяснимость означает способность понять логические пути любой данной БЯМ. Медицинские работники, стремящиеся принять вспомогательные генеративные инструменты ИИ, должны иметь возможность понять, как их модели дают результаты, чтобы пациенты и персонал были оснащены полной прозрачностью на протяжении различных процессов принятия решений. Другими словами, в отрасли, такой как здравоохранение, где на кону стоят жизни, ставки слишком высоки, чтобы профессионалы неправильно интерпретировали данные, используемые для обучения своих инструментов ИИ.

К счастью, есть способ обойти проблему объяснимости генеративного ИИ – для этого просто требуется немного больше контроля и внимания.

Загадка и скептицизм

В генеративном ИИ понимание того, как БЯМ переходит от точки А – входных данных – к точке Б – выходным данным – намного сложнее, чем в случае с негенеративными алгоритмами, которые работают по более устоявшимся шаблонам.

Генеративные инструменты ИИ устанавливают бесчисленные связи, переходя от входных данных к выходным данным, но для внешнего наблюдателя остается загадкой, как и почему они устанавливают любую данную серию связей. Без возможности увидеть “процесс мышления”, который принимает алгоритм ИИ, человеческие операторы не имеют полных средств для расследования его рассуждений и отслеживания потенциальных неточностей.

Кроме того, непрерывно расширяющиеся наборы данных, используемые алгоритмами машинного обучения, еще больше осложняют объяснимость. Чем больше набор данных, тем более вероятно, что система научится как на релевантной, так и на нерелевантной информации и выдаст “галлюцинации ИИ” – ложные утверждения, которые отклоняются от внешних фактов и логических рассуждений, однако убедительно.

В индустрии здравоохранения такие ошибочные результаты могут вызвать ряд проблем, таких как неправильные диагнозы и неправильные назначения. Помимо этических, юридических и финансовых последствий, такие ошибки могут легко нанести ущерб репутации поставщиков медицинских услуг и медицинских учреждений, которые они представляют.

Таким образом, несмотря на свой потенциал для улучшения медицинских вмешательств, улучшения общения с пациентами и повышения операционной эффективности, генеративный ИИ в здравоохранении остается окутанным скептицизмом, и вполне справедливо – 55% клиницистов не считают его готовым для медицинского использования, а 58% вообще ему не доверяют. Однако организации здравоохранения продолжают двигаться вперед, с 98% интегрирующих или планирующих стратегию развертывания генеративного ИИ в попытке компенсировать влияние продолжающейся нехватки рабочей силы в секторе.

Контролируйте источник

Индустрия здравоохранения часто оказывается на заднем плане в текущей потребительской среде, которая ценит эффективность и скорость выше обеспечения железных мер безопасности. Недавние новости о опасностях почти неограниченного сбора данных для обучения БЯМ, что привело к исках о нарушении авторских прав, привели эти проблемы на первый план. Некоторые компании также сталкиваются с претензиями, что личные данные граждан были добыты для обучения этих языковых моделей, потенциально нарушая законы о защите данных.

Разработчикам ИИ для высокорегулируемых отраслей следует, следовательно, осуществлять контроль над источниками данных, чтобы ограничить потенциальные ошибки. То есть, отдавать приоритет извлечению данных из доверенных, проверенных отраслью источников, а не собирать внешние веб-страницы без разбора и без явного разрешения. Для индустрии здравоохранения это означает ограничение входных данных до страниц FAQ, файлов CSV и медицинских баз данных – среди других внутренних источников.

Если это звучит немного ограничительно, попробуйте найти услугу на сайте большой системы здравоохранения. Организации здравоохранения США публикуют сотни, если не тысячи, информационных страниц на своих платформах; большинство из них так глубоко埋ено, что пациенты никогда не могут фактически получить к ним доступ. Решения генеративного ИИ, основанные на внутренних данных, могут предоставить эту информацию пациентам удобно и без проблем. Это выигрыш для всех сторон, поскольку система здравоохранения наконец видит возврат инвестиций от этого контента, а пациенты могут найти необходимые им услуги мгновенно и без усилий.

Что дальше для генеративного ИИ в регулируемых отраслях?

Индустрия здравоохранения может извлечь выгоду из генеративного ИИ несколькими способами.

Рассмотрим, например, широкое выгорание, которое сейчас испытывает сектор здравоохранения США – около 50% рабочей силы планирует уйти к 2025 году. Чат-боты, работающие на генеративном ИИ, могли бы помочь облегчить большую часть рабочей нагрузки и сохранить доступ пациентов к командам.

С точки зрения пациентов генеративный ИИ имеет потенциал для улучшения услуг call-центра поставщиков медицинских услуг. Автоматизация ИИ имеет силу решать широкий спектр запросов через различные каналы связи, включая FAQ, проблемы с ИТ, рецепты и направления к врачам. Помимо разочарования, которое возникает при ожидании на линии, только около половины пациентов США успешно решают свои проблемы при первом звонке, что приводит к высоким показателям отказов и нарушению доступа к медицинской помощи. Результатом является низкое удовлетворение клиентов, что создает дополнительное давление на отрасль, чтобы действовать.

Для того чтобы отрасль действительно извлекла выгоду из реализации генеративного ИИ, поставщики медицинских услуг должны обеспечить намеренное переустройство данных, к которым имеют доступ их БЯМ.