Правда о синтетических данных: почему человеческая экспертиза критически важна для успеха LLM

Разработчики LLM все чаще обращаются к синтетическим данным, чтобы ускорить разработку и снизить затраты. Исследователи, стоящие за несколькими топовыми моделями, такими как LLama 3, Qwen 2 и DeepSeek R1, упоминали использование синтетических данных для обучения своих моделей в исследовательских работах. Снаружи кажется, что это идеальное решение: бесконечный источник информации для ускорения разработки и снижения затрат. Но это решение имеет скрытую стоимость, которую бизнес-лидеры не могут игнорировать.

В простых терминах, синтетические данные генерируются моделями ИИ для создания искусственных наборов данных для обучения, тонкой настройки и оценки LLM и агентов ИИ. По сравнению с традиционной человеческой аннотацией, это позволяет масштабировать процесс данных быстро, что является необходимым в быстро меняющемся и конкурентном ландшафте разработки ИИ.

Корпорации могут иметь другие причины использовать “фальшивые” данные, такие как защита конфиденциальной или секретной информации в финансовых или медицинских учреждениях путем генерации анонимных версий. Синтетические данные также являются хорошей заменой, когда нет доступа к проприетарным данным, например, до запуска продукта или когда данные принадлежат внешним клиентам.

Но революционизируют ли синтетические данные разработку ИИ? Короткий ответ – условное да: у них есть великий потенциал, но они также могут обнаружить уязвимости LLM и агентов без тщательного человеческого надзора. Производители LLM и разработчики агентов ИИ могут обнаружить, что модели ИИ, обученные на неадекватно проверенных синтетических данных, могут генерировать неточные или предвзятые выходные данные, создавать репутационные кризисы и приводить к несовместимости с отраслевыми и этическими стандартами. Инвестиции в человеческий надзор для совершенствования синтетических данных – это прямая инвестиция в защиту дна, поддержание доверия заинтересованных сторон и обеспечение ответственного внедрения ИИ.

С человеческим вкладом синтетические данные могут быть преобразованы в высококачественные обучающие данные. Существуют три критических причины для совершенствования сгенерированных данных до их использования для обучения ИИ: для заполнения пробелов в знаниях исходной модели, для улучшения качества данных и снижения размера выборки, и для соответствия человеческим ценностям.

Нам нужно захватить уникальные знания

Синтетические данные в основном генерируются LLM, обученными на публично доступных интернет-источниках, создавая врожденное ограничение. Публичный контент редко захватывает практические, практические знания, используемые в реальной работе. Деятельность, такая как проектирование маркетинговой кампании, подготовка финансового прогноза или проведение рыночного анализа, обычно является частной и не документированной в Интернете. Кроме того, источники отражают язык и культуру, центрированные на США, ограничивая глобальное представление.

Чтобы преодолеть эти ограничения, мы можем привлечь экспертов для создания образцов данных в областях, где мы подозреваем, что модель генерации синтетических данных не может покрыть. Вернувшись к корпоративному примеру, если мы хотим, чтобы наша окончательная модель эффективно обрабатывала финансовые прогнозы и рыночный анализ, обучающие данные должны включать реалистичные задачи из этих областей. Важно выявить эти пробелы и дополнить синтетические данные образцами, созданными экспертами.

Эксперты часто участвуют на ранней стадии проекта для определения объема работы. Это включает в себя создание таксономии, которая очерчивает конкретные области знаний, где модель должна работать. Например, в здравоохранении общая медицина может быть разделена на подзадачи, такие как питание, сердечно-сосудистое здоровье, аллергия и многое другое. Модель, ориентированная на здравоохранение, должна быть обучена во всех подзадачах, которые она должна покрыть. После того, как таксономия определена экспертами здравоохранения, LLM могут быть использованы для генерации точек данных с типичными вопросами и ответами быстро и в масштабе. Человеческие эксперты все еще нужны для проверки, исправления и улучшения этого контента, чтобы обеспечить его точность, безопасность и контекстуальную соответственность. Этот процесс контроля качества необходим в высокорисковых приложениях, таких как здравоохранение, для обеспечения точности данных и смягчения потенциального вреда.

Качество над количеством: стимулирование эффективности модели с помощью меньшего количества, но лучших образцов

Когда эксперты по предмету создают данные для обучения LLM и агентов ИИ, они создают таксономии для наборов данных, пишут подсказки, создают идеальные ответы или имитируют конкретную задачу. Все эти шаги тщательно спланированы для соответствия цели модели, и качество обеспечивается экспертами по предмету в соответствующих областях.

Генерация синтетических данных не полностью воспроизводит этот процесс. Она полагается на сильные стороны лежащей в основе модели, используемой для создания данных, и полученное качество часто не соответствует человеческим данным. Это означает, что синтетические данные часто требуют гораздо больших объемов для достижения удовлетворительных результатов, что увеличивает вычислительные затраты и время разработки.

В сложных областях существуют нюансы, которые могут заметить только человеческие эксперты, особенно при аномалиях или пограничных случаях. Человеческие данные последовательно обеспечивают лучшую производительность модели, даже с значительно меньшими наборами данных. Стратегически интегрируя человеческую экспертизу в процесс создания данных, мы можем снизить количество образцов, необходимых для эффективной работы модели.

В нашем опыте лучший способ решить эту задачу – привлечь экспертов по предмету для построения синтетических наборов данных. Когда эксперты проектируют правила для генерации данных, определяют таксономию данных и проверяют или исправляют сгенерированные данные, окончательное качество данных намного выше. Этот подход позволил нашим клиентам добиться сильных результатов, используя меньшее количество образцов, что привело к более быстрому и эффективному пути к производству.

Строительство доверия: незаменимая роль человека в безопасности ИИ и выравнивании

Автоматические системы не могут предвидеть все уязвимости или обеспечить соответствие человеческим ценностям, особенно в пограничных случаях и неоднозначных сценариях. Человеческие эксперты играют решающую роль в выявлении возникающих рисков и обеспечении этических результатов до развертывания. Это слой защиты, который ИИ, по крайней мере на данный момент, не может полностью обеспечить самостоятельно.

Следовательно, для построения сильной команды тестирования синтетические данные сами по себе не достаточно. Важно привлечь экспертов по безопасности на ранней стадии. Они могут помочь картографировать потенциальные атаки и руководить структурой набора данных. LLM могут затем быть использованы для генерации большого объема примеров. После этого эксперты нужны для проверки и совершенствования данных, чтобы обеспечить их реалистичность, высокое качество и полезность для тестирования систем ИИ. Например, LLM может сгенерировать тысячи стандартных хакерских подсказок, но человеческий эксперт по безопасности может создать новые “социальные инженерные” атаки, которые используют нюансовые психологические предубеждения – творческую угрозу, которую автоматические системы испытывают трудности в изобретении самостоятельно.

Были достигнуты значительные успехи в выравнивании LLM с помощью автоматической обратной связи. В статье “RLAIF vs. RLHF: Масштабирование обучения с подкреплением с человеческой обратной связью с помощью обратной связи ИИ,” исследователи показывают, что обратная связь на основе ИИ может работать сравнимо с человеческой обратной связью во многих случаях. Однако, хотя обратная связь ИИ улучшается с улучшением моделей, наш опыт показывает, что RLAIF все еще испытывает трудности в сложных областях и с пограничными случаями или аномалиями, областях, где производительность может быть критической в зависимости от применения. Человеческие эксперты более эффективны в обработке нюансов задач и контекста, что делает их более надежными для выравнивания.

Агенты ИИ также получают пользу от автоматического тестирования для решения широкого спектра рисков безопасности. Виртуальные тестовые среды используют сгенерированные данные для симуляции поведения агентов, таких как взаимодействие с онлайн-инструментами и выполнение действий на веб-сайтах. Чтобы максимизировать тестовое покрытие в реалистичных сценариях, человеческая экспертиза необходима для проектирования тестовых случаев, проверки результатов автоматических оценок и сообщения о уязвимостях.

Будущее синтетических данных

Синтетические данные являются высокоценным методом для разработки крупномасштабных языковых моделей, особенно когда масштабирование и быстрая развертывание имеют решающее значение в сегодняшнем динамичном ландшафте. Хотя в самих синтетических данных нет фундаментальных недостатков, они требуют совершенствования, чтобы достичь своего полного потенциала и обеспечить максимальную ценность. Гибридный подход, сочетающий автоматическую генерацию данных с человеческой экспертизой, является высокоэффективным методом для разработки способных и надежных моделей, поскольку окончательная производительность модели зависит больше от качества данных, чем от общего объема. Этот интегрированный процесс, использующий ИИ для масштаба и человеческих экспертов для проверки, производит более способные модели с улучшенной безопасностью и выравниванием, что является необходимым для построения доверия пользователей и обеспечения ответственного развертывания.