Алекс Ратнер, CEO та співзасновник Snorkel AI – Інтерв’ю Серія

Алекс Ратнер є CEO та співзасновником Snorkel AI, компанії, яка народилася в лабораторії штучного інтелекту Стенфорда.

Snorkel AI робить розвиток штучного інтелекту швидким і практичним, перетворюючи ручні процеси розвитку штучного інтелекту на програмні рішення. Snorkel AI дозволяє підприємствам розробляти штучний інтелект, який працює для їхніх унікальних робочих навантажень, використовуючи їхні власні дані та знання в 10-100 разів швидше.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Є дві дуже цікаві аспекти комп’ютерних наук, коли ви молоді. Одним, ви можете вивчати так швидко, як хочете, завдяки експериментам і будівництву, отримуючи миттєву зворотню зв’язок, а не чекаючи на вчителя. Двома, ви можете будувати багато без потреби просити дозволу в когось!

Я почав програмування, коли був молодим хлопчиком, саме через ці причини. Я також любив точність, яку це вимагало. Мені подобалося процес абстрагування складних процесів і процедур, а потім кодування їх модульним способом.

Пізніше, як дорослий, я повернувся в комп’ютерні науки професійно через роботу в консалтинговій компанії, де мені було доручено написати скрипти для проведення базових аналізів патентного корпусу. Мене зацікавило, скільки людських знань – все, що хто-небудь вважав патентованим – було легко доступним, але водночас так недоступним, оскільки було так складно провести навіть найпростіший аналіз над складним технічним текстом і багатомодальним даними.

Це привело мене назад у комп’ютерні науки, і врешті-решт, до аспірантури в Стенфорді, де я зосередився на NLP, тобто області використання ML/ШІ над природною мовою.

Ви вперше почали і очолили відкритий проєкт Snorkel під час перебування в Стенфорді, можете розповісти про те, як проходило це перше період?

Тоді ми, як і багато хто в галузі, зосередилися на розробці нових алгоритмів і – тобто всього “фанкового” штучного інтелекту, над яким люди в спільноті проводили дослідження і публікували статті.

Однак ми завжди були дуже прив’язані до ґрунтування цього в реальних проблемах – в основному з лікарями і вченими в Стенфорді. Але кожен раз, коли ми пропонували нову модель або алгоритм, відповідь була “так, ми спробуємо це, але нам потрібно все це марковане тренувальне дані, яких у нас немає часу створювати!”

Ми бачили, що великою невисловленою проблемою була процес маркування і кураторства цих тренувальних даних – тому ми змінили всю нашу увагу на це, і саме так почався проєкт Snorkel і концепція “даних-орієнтованого ШІ”.

Snorkel має дані-орієнтований підхід ШІ, можете визначити, що це означає і як це відрізняється від моделі-орієнтованого розвитку ШІ?

Дані-орієнтований ШІ означає зосередження на будівництві кращих даних для будівництва кращих моделей.

Це протистоїть, але працює в тандемі з моделі-орієнтованим ШІ. У моделі-орієнтованому ШІ дані-науковці або дослідники припускають, що дані статичні, і вкладають свою енергію в коригування архітектури моделі і параметрів для досягнення кращих результатів.

Дослідники все ще роблять велику роботу в моделі-орієнтованому ШІ, але готові моделі і техніки автоматичного МЛ покращилися так сильно, що вибір моделі став комодитизованим під час виробництва. Коли це відбувається, найкращим способом покращення цих моделей є постачання їх більшою і кращою даними.

Які є основні принципи даних-орієнтованого підходу ШІ?

Основний принцип даних-орієнтованого ШІ простий: кращі дані будують кращі моделі.

У нашій академічній роботі ми назвали це “програмування даних”. Ідея полягає в тому, що якщо ви надаєте досить сильній моделі достатньо прикладів вхідних і очікуваних виходів, модель вчиться повторювати ці закономірності.

Це представляє більшу проблему, ніж ви можете очікувати. Більшість даних не мають маркування – або, принаймні, немає корисних маркувань для вашого застосування. Маркування цих даних вручну вимагає монотонності, часу і людських зусиль.

Маєючи маркований набір даних, також не гарантує якості. Людська помилка проникає всюди. Кожен неправильний приклад у вашій основній правді погіршить продуктивність кінцевої моделі. Ніщо з параметрів не може виправити цю реальність. Дослідники навіть знайшли неправильно марковані записи в основних відкритих наборах даних.

Можете роз’яснити, що означає для даних-орієнтованого ШІ бути програмним?

Ручне маркування даних представляє серйозні проблеми. Воно вимагає багато людських годин, а іноді ці людські години можуть бути дорогими. Медичні документи, наприклад, можуть бути марковані тільки лікарями.

Крім того, ручне маркування часто складається з одноразових проєктів. Маркувальники анотують дані згідно з жорсткою схемою. Якщо бізнес-потреби змінюються і вимагають іншого набору маркувань, маркувальники повинні почати все спочатку.

Програмні підходи до даних-орієнтованого ШІ мінімізують обидві ці проблеми. Програмна система маркування Snorkel AI включає різноманітні сигнали – від спадкових моделей до існуючих маркувань до зовнішніх знаних баз – для розробки ймовірнісних маркувань у масштабі. Наш основний сигнал надходить від фахівців у галузі, які співпрацюють з дані-науковцями для будівництва функцій маркування. Ці функції кодують їхню експертну оцінку в масштабні правила, дозволяючи зусиллям, вкладеним у одне рішення, впливати на десятки або сотні даних.

Ця структура також гнучка. Замість того, щоб починати все спочатку, коли бізнес-потреби змінюються, користувачі додають, видаляють і коригують функції маркування, щоб застосувати нові маркування за години, а не дні.

Як цей дані-орієнтований підхід дозволяє швидко масштабувати немарковані дані?

Наш програмний підхід до даних-орієнтованого ШІ дозволяє швидко масштабувати немарковані дані, посилюючи вплив кожного вибору. Як тільки фахівці у галузі встановили початковий, малий набір основної правди, вони починають співпрацювати з дані-науковцями для швидкої ітерації. Вони визначають кілька функцій маркування, тренують швидку модель, аналізують вплив своїх функцій маркування, а потім додають, видаляють або коригують функції маркування за потребою.

Кожен цикл покращує продуктивність моделі, поки вона не відповідає або перевищує проєктні цілі. Це може зменшити місяці роботи з маркування даних до кількох годин. В одному дослідному проєкті Snorkel два наших дослідників маркували 20 000 документів за один день – обсяг, який міг би зайняти ручних маркувальників десять тижнів або довше.

Snorkel пропонує кілька рішень ШІ, включаючи Snorkel Flow, Snorkel GenGlow і Snorkel Foundry. Які є відмінності між цими пропозиціями?

Набір інструментів Snorkel AI дозволяє користувачам створювати функції маркування (наприклад, пошук ключових слів або закономірностей у документах) для програмного маркування мільйонів даних за хвилини, а не ручного маркування одного даних за раз.

Він стискає час, необхідний компаніям для перекладу власних даних у виробничі моделі і початку отримання цінності з них. Snorkel AI дозволяє підприємствам масштабувати підходи “людина в циклі” шляхом ефективного включення людської оцінки і знань фахівців у галузі.

Це призводить до більш прозорого і пояснюваного ШІ, обладнуючи підприємства для управління упередженнями і доставки відповідальних результатів.

Перехід до суті, інструменти Snorkel AI дозволяють підприємствам типу Fortune 500:

• Розробляти високоякісні марковані дані для тренування моделей або покращення RAG;
• Налаштовувати LLM з тонкою настройкою;
• Відокремлювати LLM у спеціалізовані моделі, які значно менші і дешевші у використанні;
• Будувати доменні і завдання-специфічні LLM з попереднім тренуванням.

Ви написали деякі революційні статті, на вашу думку, яка з них є найважливішою?

Одна з ключових статей була першою статтею про програмування даних (маркування тренувальних даних програмно) і про ту, яка стосується Snorkel.

Яка ваша бачення майбутнього Snorkel?

Я бачу Snorkel як довіреного партнера для всіх великих підприємств, які серйозно ставляться до ШІ.

Snorkel Flow повинен стати універсальним інструментом для команд даних-науки в великих підприємствах – незалежно від того, чи вони налаштовують спеціальні великі мови моделей для своїх організацій, будують моделі класифікації зображень чи будують прості, розгортні моделі логістичної регресії.

Незалежно від того, які моделі потрібні бізнесу, їм потрібно буде високоякісні марковані дані для їх тренування.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Snorkel AI,