iMerit запускает платформу Scholars для масштабирования обучения и оценки ИИ с участием экспертов

Модель может убедительно объяснить медицинский вопрос или бегло ответить на задачу по математике — и всё же допустить ошибку, которую заметит только специалист. Именно потребность в экспертной оценке лежит в основе запуска iMerit платформы iMerit Scholars — системы, призванной объединить специалистов, которые обучают продвинутые модели ИИ, оценивают их и проверяют на прочность.

Компания, принадлежащая EXL, объявила о запуске 26 октября. Новая платформа объединяет набор специалистов, их адаптацию, подбор экспертов, распределение по проектам, взаимодействие с ними и выплаты. Согласно объявлению, существующая программа Scholars объединяет более 30 000 приглашённых и прошедших проверку специалистов из 118 стран, владеющих 106 языками.

Платформа рассчитана на управление сообществом численностью в сотни тысяч экспертов по мере роста спроса. Эта цифра отражает предполагаемый масштаб работы, а не нынешнюю заявленную численность сообщества. Сейчас задача состоит в том, чтобы упростить координацию участия профильных специалистов на всех этапах разработки и внедрения моделей.

Формирование кадрового потенциала для совершенствования моделей

В сообщество Scholars входят специалисты в области медицины, математики, сельского хозяйства, лингвистики, автономных систем и других узких дисциплин. Они участвуют в дообучении с учителем, оценке моделей, тестировании на уязвимости и обучении с подкреплением на основе обратной связи от людей, обычно называемом RLHF.

Для этих задач нужны разные виды экспертной оценки. При дообучении может потребоваться тщательно составленный пример ответа, который должна выдавать модель. При оценке проверяют, соответствует ли результат заданным критериям. Тестирование на уязвимости предполагает целенаправленный поиск сбоев в системе, а обратная связь от людей может включать предпочтения и исправления, учитываемые при дальнейшем обучении.

Поэтому подобрать подходящего специалиста для конкретной задачи не менее важно, чем расширить пул экспертов. Врач, знакомый с узкой специализацией, может заметить существенную ошибку, которую пропустит рецензент с широкими знаниями. Лингвист может выявить неоднозначность, исчезающую при дословном переводе.

Новая платформа подбирает специалистов для проектов с учётом их предметной специализации и когнитивных навыков, а также обеспечивает административную инфраструктуру, необходимую для поддержания их вовлечённости. По словам iMerit, цель состоит в том, чтобы выстраивать долгосрочные отношения со специалистами, которые осваивают специфику работы и участвуют в циклах обратной связи.

«Нам нужны достаточно компетентные люди, способные не только обучать модели, но и доказывать, что те ошибаются, а затем исправлять их ошибки», — сказала Радха Басу, исполнительный вице-президент и руководитель iMerit в EXL.

Ango Hub связывает экспертную оценку с обучающими данными

Технологическая основа платформы Scholars — Ango Hub, платформа iMerit для разметки данных и оценки моделей. Она позволяет превращать работу экспертов в структурированные материалы, которые можно проверять и включать в конвейер обучения или оценки.

В существующей документации Ango Hub описаны настраиваемые рабочие процессы, возможность привлекать к одному объекту нескольких разметчиков, эталонные задания, а также инструменты рецензирования, позволяющие принимать, отклонять или исправлять метки. Рекомендации по проекту и система учёта проблем помогают рецензентам разрешать возникающие вопросы, а доступ к конкретным данным регулируется на основе ролей.

Платформа поддерживает различные форматы данных, включая изображения, видео, аудио, текст, PDF-файлы и медицинские данные DICOM. Это разнообразие важно, поскольку при разработке моделей всё чаще сочетаются языковые, визуальные, клинические данные и информация о физическом мире. Интерфейс и процесс проверки должны соответствовать материалам, которые изучает эксперт.

Различие между двумя платформами важно: Scholars координирует работу сообщества экспертов и их взаимодействие с проектами, а Ango Hub предоставляет инструменты и рабочие процессы, благодаря которым вклад специалистов превращается в пригодные для ИИ данные.

От исправления ответов к оценке рабочих процессов целых ИИ-агентов

Deep Reasoning Lab от iMerit позволяет подробнее рассмотреть этот процесс. По описанию компании, эксперты разрабатывают многоэтапные сценарии, проверяют результаты работы моделей, классифицируют ошибки и предлагают исправления с пояснениями. Такие структурированные примеры помогают разработчикам определить, на каком этапе ответ становится неверным, и подготовить целевые обучающие материалы.

Такие цепочки рассуждений представляют собой отобранные материалы, созданные и проверенные для конкретной задачи. Не следует считать, что они раскрывают все внутренние вычисления, приведшие к ответу модели. Их практическая ценность в том, что они делают ход оценки и внесённые исправления достаточно явными для анализа и повторного использования.

Сервис компании для оценки ИИ-агентов позволяет оценивать не только итоговый ответ, но и этапы планирования, вызовы инструментов, промежуточные состояния и результаты. Компания описывает структурированные критерии оценки и экспертную проверку спорных случаев, связанных с выполнением задач, выбором инструментов, обоснованностью ответов и соблюдением границ, установленных политиками.

Это становится особенно важным, когда ИИ может выполнять действия. Агент может подготовить безупречно выглядящее резюме, но при этом воспользоваться неподходящим инструментом или не завершить саму задачу. Анализ последовательности действий позволяет специалистам выявлять такие сбои и передавать разработчикам структурированную обратную связь.

Выплаты и непрерывность проектов становятся частью инфраструктуры

При запуске также интегрировали Trolley для международных выплат. По словам iMerit, интеграция обеспечивает безопасные платежи и соблюдение требований в рамках работы с международным сообществом экспертов.

Может показаться, что платёжные операции не связаны с производительностью моделей, однако от них зависит, сможет ли специалист участвовать в работе регулярно. Если проект опирается на экспертов из разных стран, подбор и адаптация специалистов, предоставление доступа к заданиям и выплата вознаграждения становятся необходимыми для его реализации процессами.

Платформа объединяет эти функции с подбором специалистов и взаимодействием с ними, вместо того чтобы заставлять каждую проектную команду выстраивать их по отдельности. Для клиентов ожидаемая польза — более стабильный состав специалистов и процесс проверки; для экспертов — более понятный путь от присоединения к проекту до выполнения работы и получения оплаты.

«Вы не просто размечаете данные — вы помогаете формировать то, как эти системы рассуждают и ведут себя в вашей области», — сказал в объявлении Павел Копач, доктор медицины, специалист по патологии в медицинском центре Beth Israel Deaconess Medical Center и участник программы iMerit Scholars в сфере ИИ в здравоохранении.

EXL обеспечивает контекст корпоративного внедрения

Запуск состоялся после того, как EXL завершила приобретение iMerit, о котором было объявлено 3 августа. EXL представила объединение компаний как возможность совместить экспертизу в обучении и оценке моделей с корпоративными данными, операционным контекстом и возможностями внедрения ИИ.

Это открывает для Scholars более широкие возможности выхода на рынок. Басу сообщил, что iMerit расширяет свою деятельность за пределы разработки передовых моделей и охватывает рабочие процессы в банковской сфере, здравоохранении и страховании, где адаптация к предметной области, доверие и безопасность влияют на то, сможет ли ИИ успешно работать в реальных условиях.

Новая платформа сама по себе не доказывает, что модель надёжна в любых специализированных условиях. Она решает более конкретную задачу, необходимую для этого: помогает организовать работу специалистов, инструменты и обратную связь, нужные для проверки системы на соответствие требованиям конкретной области. По мере того как ИИ всё глубже внедряется в профессиональные рабочие процессы, способность находить подходящих экспертов, получать от них полезные исправления и возвращать эти знания в разработку становится всё более важной частью технологического стека.