iMerit запускає платформу Scholars для масштабування навчання й оцінювання ШІ за участю експертів

Модель може надати переконливе медичне пояснення або чітко відповісти на математичне запитання й водночас припуститися помилки, яку помітить лише фахівець. Саме потреба в експертній оцінці лежить в основі запуску iMerit платформи iMerit Scholars — системи, покликаної координувати фахівців, які навчають передові моделі ШІ, оцінюють їх і виявляють їхні слабкі місця.

Компанія, що належить EXL, оголосила про запуск 26 жовтня, об’єднавши на одній платформі наймання, адаптацію, добір експертів, розподіл проєктів, залучення учасників і виплати. За повідомленням компанії, її наявна програма Scholars охоплює понад 30 000 запрошених і перевірених фахівців зі 118 країн, які володіють 106 мовами.

Платформу розроблено для роботи із сотнями тисяч експертів у міру зростання попиту. Це свідчить про запланований масштаб роботи, а не про нинішню заявлену чисельність спільноти. Наразі платформа покликана спростити координацію спеціалізованого внеску фахівців на всіх етапах життєвого циклу розроблення та впровадження моделей.

Формування команди фахівців для вдосконалення моделей

Спільнота Scholars охоплює фахівців із медицини, математики, сільського господарства, лінгвістики, автономних систем та інших вузькоспеціалізованих галузей. Вони долучаються до донавчання з учителем, оцінювання моделей, тестування на вразливості та навчання з підкріпленням на основі зворотного зв’язку від людей, яке зазвичай називають RLHF.

Для кожного з цих завдань потрібен свій тип експертної оцінки. Для донавчання може знадобитися ретельно підготовлений приклад відповіді, яку має давати модель. Під час оцінювання перевіряють, чи відповідає результат визначеним критеріям. Тестування на вразливості передбачає цілеспрямований пошук помилок у системі, а зворотний зв’язок від людей може містити вподобання та виправлення, які враховуватимуть під час подальшого навчання.

Тому добір потрібного фахівця для конкретного завдання не менш важливий, ніж розширення кола експертів. Лікар, який знається на вузькій спеціальності, може помітити суттєву помилку, яку пропустить рецензент із широкими знаннями. Лінгвіст може виявити неоднозначність, що зникає під час дослівного перекладу.

Нова платформа добирає фахівців для проєктів з огляду на їхню галузеву спеціалізацію та когнітивні навички, а також забезпечує адміністративну інфраструктуру, необхідну для їхнього залучення. За словами iMerit, мета — налагодити тривалу співпрацю з фахівцями, які опановують специфіку роботи й беруть участь у циклах зворотного зв’язку.

«Нам потрібні люди, які мають достатньо знань не лише для навчання моделей, а й для того, щоб доводити їхню неправоту та виправляти їх», — сказала Радга Басу, виконавча віцепрезидентка та керівниця iMerit у складі EXL.

Ango Hub поєднує експертну оцінку з навчальними даними

Технологічною основою платформи Scholars є Ango Hub — платформа iMerit для анотування даних та оцінювання моделей. Її призначення — перетворювати роботу експертів на впорядковані матеріали, які можна перевіряти й використовувати в процесах навчання або оцінювання.

В наявній документації продукту Ango Hub описано налаштовувані робочі процеси, можливість залучати до одного ресурсу кількох анотаторів, еталонні завдання та засоби контролю для рецензентів, які дають змогу приймати, відхиляти або виправляти мітки. Інструкції до проєктів і система обробки проблем допомагають рецензентам розв’язувати спірні питання, а доступ до певних даних визначається роллю користувача.

Платформа підтримує роботу з різними типами даних, зокрема зображеннями, відео, аудіо, текстом, PDF-файлами та медичними даними DICOM. Це важливо, адже під час розроблення моделей дедалі частіше поєднують мову з візуальною, клінічною інформацією або даними про фізичний світ. Інтерфейс і процес перевірки мають відповідати матеріалам, які аналізує фахівець.

Важливо розрізняти призначення цих двох платформ: Scholars координує роботу експертів і їхню взаємодію з проєктами, тоді як Ango Hub надає інструменти та робочі процеси, завдяки яким внесок фахівців перетворюється на придатні для використання дані для ШІ.

Від виправлення відповідей до оцінювання цілих робочих процесів агентів

Deep Reasoning Lab від iMerit дає змогу детальніше розглянути цей процес. Компанія повідомляє, що експерти розробляють багатокрокові сценарії, аналізують результати роботи моделей, класифікують помилки та пропонують виправлення з поясненнями. Такі структуровані приклади допомагають розробникам визначити, на якому етапі відповідь стає неправильною, і підготувати цільові навчальні матеріали.

Такі записи про міркування — це підготовлені матеріали, створені й перевірені для конкретного завдання. Не слід вважати, що вони розкривають усі внутрішні обчислення, які привели модель до відповіді. Їхня практична цінність полягає в тому, що вони достатньо чітко описують і шлях оцінювання, і виправлення, тож їх можна перевірити та використати повторно.

Сервіс оцінювання агентів компанії розширює перевірку: вона охоплює не лише остаточну відповідь, а й етапи планування, виклики інструментів, проміжні стани та результати. За описом компанії, сервіс використовує структуровані критерії оцінювання та експертний розгляд спірних випадків, зокрема щодо виконання завдань, вибору інструментів, обґрунтованості відповідей і дотримання меж політик.

Це стає важливим, коли ШІ може виконувати дії. Агент може надати відшліфований підсумок, водночас скориставшись не тим інструментом або не виконавши основне завдання. Перевірка послідовності дій дає фахівцям змогу виявити такі помилки та передати розробникам структурований зворотний зв’язок.

Виплати й безперервність роботи над проєктами стають частиною інфраструктури

Запуск також інтегрує Trolley для здійснення міжнародних виплат. За словами iMerit, інтеграція забезпечує безпечні платежі та підтримує процеси дотримання вимог для міжнародної спільноти експертів компанії.

Може здаватися, що платіжні операції не пов’язані з ефективністю моделей, але від них залежить, чи зможе фахівець брати участь у роботі стабільно. Якщо проєкт спирається на експертів із багатьох країн, найм, адаптація, доступ до завдань і винагорода стають необхідними складниками його операційної діяльності.

Платформа об’єднує ці функції з підбором фахівців і взаємодією з ними, тож кожній команді проєкту не доводиться налаштовувати їх окремо. Для клієнтів очікувана перевага полягає в стабільнішій роботі команди та процесі перевірки, а для експертів — у зрозумілішому шляху від долучення до проєкту до виконання роботи й отримання оплати.

«Ви не просто маркуєте дані, а допомагаєте формувати те, як ці системи міркують і поводяться у вашій галузі», — сказав у повідомленні Павел Копач, доктор медицини, фахівець із патології в медичному центрі Beth Israel Deaconess Medical Center і стипендіат iMerit у сфері ШІ в охороні здоров’я.

EXL додає контекст корпоративного впровадження

Запуск відбувся після завершення EXL угоди з придбання iMerit, про яке оголосили 3 серпня. EXL позиціонувала це об’єднання як поєднання досвіду в навчанні й оцінюванні моделей із корпоративними даними, операційним контекстом і можливостями впровадження ШІ.

Це відкриває для Scholars ширші можливості виходу на ринок. Басу сказав, що iMerit розширює діяльність від розробки передових моделей до робочих процесів у банківській сфері, охороні здоров’я та страхуванні, де від налаштування під конкретну галузь, довіри й безпеки залежить, чи зможе ШІ успішно працювати в реальних умовах.

Сама по собі нова платформа не підтверджує, що модель надійно працюватиме в кожному спеціалізованому середовищі. Вона допомагає розв’язати конкретніше завдання — організувати роботу людей, інструментів і зворотного зв’язку, необхідних для перевірки системи відповідно до вимог такого середовища. У міру того як ШІ дедалі глибше проникає в професійні робочі процеси, здатність знаходити потрібного експерта, отримувати від нього корисні виправлення та повертати ці знання в процес розробки стає дедалі важливішою складовою технологічного стека.