Что такое Human-in-the-loop (HITL)?

Одним из терминов, с которыми вы можете столкнуться при работе с искусственным интеллектом (ИИ) и машинным обучением (МО), является human-in-the-loop (HITL). Это именно так, как звучит. HITL – это ветвь ИИ, которая полагается на человеческий и машинный интеллект при создании моделей машинного обучения.

Подход human-in-the-loop означает, что люди участвуют в цикле алгоритма обучения, настройки и тестирования.

Сначала люди标ают данные, что помогает модели достичь высокого качества и количества обучающих данных. Затем алгоритм машинного обучения учится принимать решения на основе этих данных, прежде чем люди начнут тонкую настройку модели.

Модель может затем быть протестирована и проверена людьми путем оценки ее выходных данных. Этот процесс особенно полезен в случаях, когда алгоритм не уверен в своем суждении или, наоборот, когда алгоритм слишком уверен в неправильном решении.

Процесс HITL представляет собой непрерывный цикл обратной связи, то есть каждая из задач обучения, настройки и тестирования возвращается в алгоритм. Этот процесс позволяет алгоритму стать более эффективным и точным с течением времени, что особенно полезно для создания высокоточных и大量 обучающих данных для конкретных случаев использования. Человеческая интуиция помогает настроить и протестировать модель, чтобы организация могла принимать наиболее точные и действенные решения.

Изображение: Stanford University

Важность HITL Машинного Обучения

HITL – это чрезвычайно важная ветвь ИИ, поскольку традиционные модели машинного обучения требуют большого количества помеченных данных для получения точных прогнозов. Когда данных не хватает, модели машинного обучения не так полезны.

Возьмем, к примеру, языковое обучение. Если у вас есть язык, на котором говорят только несколько тысяч человек, и вы хотите получить представление о этом языке с помощью машинного обучения, может быть сложно найти достаточно примеров для обучения модели. С подходом HITL вы можете обеспечить точность этих наборов данных.

Промышленность здравоохранения также является одной из наиболее важных для систем HITL. Исследование 2018 года, проведенное Стэнфордским университетом, показало, что модель HITL работает лучше, чем ИИ или люди сами по себе.

Системы HITL повышают точность, сохраняя при этом человеческие стандарты, что важно для многих отраслей по всему миру.

Когда Использовать Системы HITL

Существует несколько конкретных случаев в жизненном цикле ИИ, когда следует использовать машинное обучение с human-in-the-loop:

• Обучение: Наиболее распространенное место, где ученые используют HITL, – это во время фаз обучения, когда люди предоставляют помеченные данные для обучения модели.

• Настройка и Тестирование: Другое основное время, когда используется HITL, – это во время фаз настройки и тестирования. Люди настраивают модели для повышения точности, что особенно важно, когда модель не уверена.

Важно отметить, что подход HITL не подходит для каждого проекта машинного обучения. Он в основном используется, когда доступно не так много данных.

Глубокое обучение с human-in-the-loop используется, когда люди и процессы машинного обучения взаимодействуют в определенных сценариях, таких как: алгоритмы не понимают входные данные; входные данные интерпретируются неправильно; алгоритмы не знают, как выполнить определенную задачу; модель машинного обучения должна быть более точной; человеческий компонент должен быть более эффективным и точным; стоимость ошибок слишком высока при разработке МО; и желаемые данные недоступны.

Типы Маркировки Данных для HITL

Подход HITL можно использовать для различных типов маркировки данных в зависимости от того, какие наборы данных необходимы. Например, если машина должна научиться распознавать определенные формы, используются ограничивающие рамки. Но если модель должна классифицировать каждую часть изображения, предпочтительна сегментация. Когда речь идет о наборах данных для распознавания лиц, часто используются маркировки лиц.

Другим важным применением является анализ текста, который позволяет машине понять, что говорят или пишут люди. Поскольку люди используют разные слова для выражения одних и тех же значений, системы ИИ должны знать различные вариации. Продвигаясь дальше, анализ настроений может распознавать тон определенного слова или фразы. Эти примеры доказывают, почему так важно использовать подход human-in-the-loop.

Почему Ваша Компания Должна Реализовать HITL

Если ваша компания хочет установить систему HITL, одним из наиболее распространенных способов сделать это является использование программного обеспечения для автоматизации. Существует много программного обеспечения для автоматизации, которое уже построено вокруг подхода HITL, что означает, что процесс уже учтен.

Системы, такие как эти, позволяют компании достигать высокого уровня производительности сразу же и получать представление. Системы машинного обучения уже реализуются во几乎 каждой отрасли, что означает, что разработчикам необходимо обеспечить хорошую производительность систем с меняющимися данными.

Существует много преимуществ от реализации системы HITL в вашей компании:

• Улучшает Процесс Принятия Решений: Система HITL улучшает процесс принятия решений компании, обеспечивая прозрачность и последовательность. Она также защищает от предвзятости, включая человеческую обратную связь в процесс обучения.

• Более Эффективна: Системы HITL обычно считаются более эффективными, чем традиционные системы машинного обучения. Они требуют меньше времени для обучения и настройки, что означает, что они производят представления быстрее.

• Прозрачность: Системы human-in-the-loop обеспечивают большую прозрачность модели машинного обучения, ее работы и принятия решений. Объяснимость и подотчетность являются фундаментальными для современных систем ИИ, и подход HITL помогает значительно.

Проблемы Систем HITL

Системы human-in-the-loop также представляют определенные проблемы, которые следует решить. Во-первых, люди совершают ошибки, поэтому любая система с человеческим участием рискует быть неправильной. Это может иметь большое влияние на эффективность системы. Например, если человек совершает ошибку при маркировке данных, эта же ошибка будет проходить через всю систему и может вызвать будущие проблемы.

Системы HITL также могут быть медленными, поскольку люди участвуют в процессе принятия решений. Одной из основных причин роста ИИ и МО является то, что машины чрезвычайно быстрее людей, но эта скорость, часто наблюдаемая в традиционных системах МО, не всегда переводится в системы HITL.

Еще одной проблемой систем HITL является то, что они могут быть дорогими в строительстве и обслуживании. Кроме стоимости, связанной с машиной, бизнес должен запланировать расходы на человеческий труд.