Алі Ансарі, засновник і генеральний директор micro1 — серія інтерв’ю

Алі Ансарі — засновник і генеральний директор micro1, де він зосереджується на перетворенні людської експертизи на навчальні дані й оцінювання для передових систем ШІ. До його підприємницького досвіду належать створення агенції з розробки програмного забезпечення та заснування peerlinc, а згодом — запуск micro1 у 2022 році. Він вивчав комп’ютерні науки в UC Berkeley та Stanford, зосередившись на навчанні з підкріпленням, а тепер працює над системами, необхідними для залучення, оцінювання та координації внеску експертів у розвиток ШІ.

micro1 — лабораторія даних, яка допомагає навчати передові моделі ШІ й оцінювати ШІ-агентів, залучаючи фахівців-людей і використовуючи реалістичні робочі середовища. Її платформа об’єднує пошук фахівців, створення даних, перевірку якості й оцінювання моделей у таких галузях, як право, охорона здоров’я, фінанси, інженерія та наука. У цьому інтерв’ю Ансарі розповідає, чому зростає попит на людську експертизу, як операційні дані сприяють навчанню з підкріпленням і які кар’єрні можливості відкриваються у сфері навчання й оцінювання ШІ.

У 2022 році ви заснували micro1, а до цього створили й продали peerlinc. Яку проблему ви спочатку намагалися розв’язати та як micro1 перетворилася на компанію, що зосереджується на навчанні й оцінюванні передових моделей ШІ?

Спочатку це була проблема, з якою я зіткнувся у власному бізнесі. Я керував агенцією з розробки програмного забезпечення, і кожен новий проєкт означав, що треба було знаходити й проводити співбесіди з новими інженерами. На це йшла величезна частина мого часу. Тож ми створили ШІ-інтерв’юера Zara, щоб полегшити цей процес, і зрештою це привело до появи micro1.

Спочатку ми продавали програмне забезпечення для рекрутингу й створювали маркетплейс перевірених фахівців. Потім до нас звернувся клієнт, якому були потрібні сотні інженерів для навчання моделей ШІ. Ми почали з’ясовувати, навіщо йому стільки людей, і зрозуміли, що за розробкою моделей стоїть величезний попит на людську експертизу.

Ми вже кілька років розвивали спроможність залучати й перевіряти людей у великих масштабах. Дані, отримані від людей, стали надзвичайно ефективним застосуванням цієї інфраструктури. Тож ми повністю зосередилися на цьому напрямі: використовували нашого ШІ-рекрутера для пошуку й перевірки фахівців, а також створили навколо цього інші платформи для роботи з даними та системи контролю якості. Тепер ми допомагаємо лабораторіям перетворювати цю експертизу на кращі можливості моделей.

Ви стверджували, що зі зростанням можливостей моделей ШІ попит на людську експертизу не зникає, а навпаки — збільшується. Що зумовлює цей зв’язок?

Тут діють кілька чинників. По-перше, що кращими стають моделі, то складніші завдання ми їм доручаємо. Модель, здатна відповісти на запитання, корисна. Модель, яка може виконати цілий робочий процес, набагато корисніша, але для цього потрібно значно більше експертного внеску.

По-друге, люди постійно створюють нову роботу. Якщо юрист може за допомогою ШІ виконувати багато справ, які раніше займали його робочий день, у нього з’являється більше часу на складніші проблеми або розроблення нової послуги для клієнтів. Ці цілком нові функції також стають тим, що ми хочемо перенести в моделі. Саме це ми маємо на увазі, коли кажемо, що «останньої милі немає». Робота постійно змінюється.

Синтетичні дані роблять цю тему ще цікавішою. Їх можна використовувати, щоб розширювати завдання й відгуки, створені експертами, а отже, підвищувати цінність первинного внеску людей. На мою думку, саме це поєднання пояснює, чому попит на людську експертизу зростає разом із можливостями моделей.

micro1 співпрацює з фахівцями з різних галузей, зокрема права, охорони здоров’я, фінансів, інженерії та науки. Що ці фахівці можуть дати системам ШІ такого, чого не можна просто засвоїти з наявних в інтернеті даних?

Значною мірою видатного лікаря, юриста чи інженера вирізняє професійне судження, сформоване практичним досвідом. Дещо з цього задокументовано, але багато проявляється в тому, як фахівець розглядає нетиповий випадок, помічає брак інформації або вирішує, яка деталь насправді важлива.

Для навчання моделей це надзвичайно цінно. Експерт може створити складне завдання, пояснити, яким має бути хороший результат, і точно визначити, у чому модель не справляється. Відповідь може звучати дуже переконливо, але водночас упускати найважливіше для людини, яка виконує цю роботу.

Щоб розрізняти такі нюанси, нам потрібні експерти. Потрібні також різні погляди й ретельний процес перевірки, адже судження однієї людини не охопить усіх випадків. Мета — перетворити цей досвід на сигнал, на якому модель зможе навчатися. Крім того, у кожній галузі є безліч нюансів. Наприклад, знання права — це не щось одне: вони різняться залежно від сфери практики, штату чи юрисдикції, а також правових систем різних країн. Кожен рівень потребує глибших спеціалізованих знань і фахового судження. Така сама глибина властива кожній галузі та численним підгалузям, тому нам потрібні експерти, які розуміють, що ці відмінності означають на практиці.

Оскільки індустрія дедалі більше зосереджується на донавчанні, навчанні з підкріпленням та оцінюванні, де, на вашу думку, сьогодні виникають найбільші вузькі місця в удосконаленні передових моделей?

На мою думку, один із найбільших бар’єрів — доступ до реалістичних даних. Компанії роками розв’язували проблеми, ухвалювали рішення й опрацьовували виняткові ситуації, і цей досвід зафіксований у документах, системах і робочих процесах. Він надзвичайно цінний, якщо ви хочете навчити модель виконувати реальну роботу.

Саме тому ми створили програму Company Data Partnerships, або CDP. Ми платимо компаніям за ліцензію на їхні операційні дані. Це можуть бути внутрішня документація, історія проєктів, записи в CRM і процеси, яких працівники дотримуються, щоб виконувати роботу. За цінні набори даних компаній ми платимо понад 2 мільйони доларів; сума залежить від даних і умов партнерства.

Ми використовуємо ці матеріали, щоб створювати реалістичні середовища для навчання й оцінювання. Уявімо, що потрібно розв’язати проблему клієнта: для цього, можливо, доведеться переглянути історію його облікового запису, знайти відповідну політику й визначити, що робити. Середовище, побудоване навколо такого робочого процесу, дає моделі простір для відпрацювання цих кроків. Експерти визначають завдання й спосіб оцінювання того, чи виконано його успішно. Саме завдяки цьому зворотному зв’язку середовище стає корисним для навчання з підкріпленням.

Компанії зберігають право власності на свої вихідні дані. Ми узгоджуємо обсяг робіт і вимоги до роботи з даними, зокрема заходи захисту конфіденційності, а потім готуємо дані до передбаченого використання.

Цінність полягає в досвіді, відображеному в цих записах. CDP дає компаніям змогу отримувати дохід від такого досвіду й водночас допомагає моделям навчатися працювати в значно реалістичніших умовах.

Які види людського судження чи експертних знань, на вашу думку, штучним інтелектом буде особливо складно відтворити, навіть коли моделі стануть значно потужнішими?

Думаю, моделям буде особливо важко відтворювати людський смак і творчість. Причина, як і раніше, полягає в тому, як ми створюємо навчальні дані.

У багатьох завданнях ми можемо зібрати експертів і дійти згоди щодо того, яким має бути хороший результат. Це дає нам корисний орієнтир для навчання. Але якщо запитати людей, що робить зображення чудовим, фільм — видатним, а дизайн — захопливим, то що більше вони це обговорюватимуть, то більше розходитимуться їхні погляди. Не завжди є одна відповідь, до якої можна дійти згоди.

ШІ все одно може стати дуже корисним у цих сферах. Але вибір того, що саме створювати, для кого це призначено і чи справді воно знайде відгук, значною мірою залежить від людського судження. Думаю, що що легше інструменти дають змогу створювати різні речі, то важливішим стає таке судження.

Ви бачите, що фахівці дедалі частіше сприймають навчання й оцінювання ШІ як повноцінну професійну діяльність, а не як підробіток. Чи може це перерости в цілком нову категорію зайнятості, і який вигляд можуть мати такі кар’єри?

Безумовно. Це вже нова багатомільярдна категорія праці. Експерти застосовують знання, здобуті протягом своєї кар’єри, щоб допомагати навчати й оцінювати ШІ. Для декого це стає вагомою частиною професійного життя.

Сама ця робота може бути дуже глибокою. Юрист може створити складний сценарій і визначити, як оцінювати відповідь моделі. Інженер може розробити завдання, яке проведе агента через повний робочий процес у програмному забезпеченні. Також є фахівці, які перевіряють дані, вдосконалюють критерії оцінювання й керують командами експертів. Ця робота також може дати людям більше змоги зосередитися на тому, що спонукало їх обрати свою сферу. У більшості професій багато часу йде на адміністративні завдання та обов’язки, не пов’язані з роботою, яку люди вважають найзмістовнішою. Навчання ШІ у своїй галузі дає змогу зробити їхню експертизу основою роботи: розв’язувати складні проблеми, застосовувати власне судження й ділитися досвідом. Це можливість приділяти більше часу тому, що їм цікаво і що в них виходить найкраще, допомагаючи водночас формувати підхід ШІ до такої роботи.

Думаю, навколо всього цього з’являться повноцінні кар’єрні шляхи. Можна стати справжнім фахівцем із перетворення експертних знань у своїй галузі на навчальні дані або з управління конвеєром даних і розуміння того, де моделям потрібна допомога. Це цінні навички, і ми лише починаємо з’ясовувати, який вигляд матимуть усі ці ролі.

Коли компанії наймають лікарів, юристів, інженерів, науковців та інших спеціалістів, щоб удосконалювати моделі ШІ, як ви перевіряєте їхню кваліфікацію та забезпечуєте точність і послідовність отриманих навчальних даних?

Ми створили для цього цілу систему. Усе починається із Zara, нашого ШІ-рекрутера, який допомагає знаходити й перевіряти експертів відповідно до навичок, потрібних для проєкту. Потім наш інструмент Merit допомагає відстежувати якість, швидкість і надійність їхнього внеску з часом. Важливо розуміти і рівень чиєїсь експертності, і те, як вона відображається в створюваних цією людиною даних.

Наша платформа flow поєднує роботу експертів із моделями, які ми створили для підтримки генерування й перевірки даних. Експерти визначають завдання і те, яким має бути хороший результат. Потім flow gen допомагає на основі цього початкового матеріалу створювати нові приклади й варіанти. flow qc перевіряє дані на такі проблеми, як відсутність доказів або невідповідність між завданням і критеріями оцінювання. А flow grader оцінює результати роботи моделі за цими критеріями.

Важливо те, що відбувається, коли експерт помічає помилку. Це виправлення може поліпшити навчальні дані, а також допомогти нам удосконалити самі засоби генерування й перевірки якості. Ми можемо перетворювати помилки, що повторюються, на тести для наступної версії.

Саме такий маховик синтетичних даних ми й будуємо. Людська експертиза дає нам відправну точку й змогу ухвалювати обґрунтовані рішення. Наші інструменти допомагають масштабувати цей процес, а відгуки експертів — покращувати наступний цикл. Потім ми перевіряємо, чи справді ці зміни підвищують ефективність моделей. Саме це й робить такий цикл цінним.

Агентам штучного інтелекту дедалі частіше потрібно виконувати складні багатокрокові завдання, а не просто генерувати відповіді. Чим відрізняється навчання й оцінювання таких систем від роботи, потрібної для вдосконалення традиційних великих мовних моделей?

Головна відмінність — тривалість завдання. Агенту може знадобитися виконати багато дій у різних інструментах, перш ніж він досягне корисного результату. Він може добре впоратися з першими кількома кроками, але все одно не виконати завдання загалом, адже помилки накопичуються.

Тож нам потрібні середовища, у яких модель може відпрацьовувати весь робочий процес, а також оцінювання, яке показує, де вона дає збій. Чи знайшла вона потрібну інформацію? Чи правильно скористалася інструментом? Чи справді досягла бажаного результату?

Важливий і контекст самої компанії. Агент, який працює всередині певного бізнесу, має розуміти його процеси й очікування. Загальних можливостей для цього недостатньо.

Саме тому фахівці з відповідних галузей такі важливі. Вони допомагають нам діагностувати збої та створювати дані для їх усунення. Ми оцінюємо систему, виявляємо прогалини, навчаємо її з урахуванням цих прогалин, а потім знову оцінюємо. Цей процес триває в міру того, як агент бере на себе більше роботи.

У міру того як передові моделі стають потужнішими, як змінюється тип даних, створених людьми, яких вони потребують, і які види експертних знань або оцінювання, на вашу думку, стануть значно ціннішими впродовж наступних кількох років?

Дедалі важливішими стають два чинники: тривалість завдання та те, наскільки воно відповідає реальному світу. Що кращими стають моделі, то більше корисні навчальні дані зосереджуються на складних робочих процесах із більшою кількістю рішень, ширшим контекстом і можливостями припуститися помилки.

Тому практична експертиза в робочих процесах стає надзвичайно цінною. Людина, яка роками виконує певну роботу, розуміє винятки й залежності, які легко не врахувати, розробляючи завдання ззовні. Вона також може сказати, чи справді результат роботи агента буде придатним для використання в бізнесі.

Думаю, з часом оцінювання для підприємств перетвориться на величезний ринок — потенційно на трильйон доларів на рік. Кожній компанії, яка впроваджує агентів, потрібно буде розуміти, у яких випадках вони працюють, де дають збій і як їх удосконалювати. Люди, здатні перетворювати свої знання на корисні оцінювання, відіграватимуть у цьому ключову роль. Потреба в цьому не зникатиме, адже компанії, моделі й робота постійно змінюються.

Деякі фахівці фактично можуть допомагати навчати системи штучного інтелекту виконувати частину їхньої власної роботи. Як ви ставитеся до цієї суперечності й якими, на вашу думку, будуть взаємини між людською експертизою та штучним інтелектом упродовж наступних трьох-п’яти років?

Думаю, ми недооцінюємо, скільки нової роботи створять люди, отримавши такі інструменти.

Візьмімо рекрутинг. Якщо агент зможе виконувати більшу частину первинного відбору, рекрутер матиме більше часу, щоб налагоджувати стосунки з кандидатами або шукати способи залучити людей, до яких компанія раніше не могла достукатися. Його роль зміниться, і за той самий час він зможе зробити більше.

Очікую, що подібні зміни відбудуться в багатьох професіях. Упродовж наступних трьох-п’яти років агенти дедалі частіше ставатимуть колегами, яким люди даватимуть завдання, надаватимуть контекст і результати роботи яких оцінюватимуть. У міру цього люди братимуть на себе нові обов’язки.

Саме тому я налаштований оптимістично. Ми вже бачимо, як з’являються нові види роботи, пов’язані з навчанням та оцінюванням штучного інтелекту, і, думаю, їх стане набагато більше, коли люди відкриють для себе, що вони можуть створювати й чого досягати за його допомогою.

Дякуємо за чудове інтерв’ю. Читачам, які хочуть дізнатися більше про дані для навчання, підготовлені за участю експертів, оцінювання штучного інтелекту та можливості застосувати свої галузеві знання, варто відвідати micro1.