Ярон Сінгер, CEO у Robust Intelligence та професор комп’ютерних наук у Гарвардському університеті – Серія інтерв’ю

Ярон Сінгер є CEO компанії Robust Intelligence та професором комп’ютерних наук і прикладної математики у Гарварді. Ярон відомий своїми революційними результатами у галузі машинного навчання, алгоритмів і оптимізації. Раніше Ярон працював у Google Research і отримав свій PhD у UC Berkeley.

Що спочатку привернуло вас до галузі комп’ютерних наук і машинного навчання?

Моя подорож розпочалася з математики, яка привела мене до комп’ютерних наук, а потім до машинного навчання. Математика спочатку привернула мою увагу через свою аксіоматичну систему, яка дала мені можливість створювати нові світи. З комп’ютерними науками я дізнався про існування доведень, а також про алгоритми, що стоять за ними. З творчої точки зору, комп’ютерні науки – це малювання меж між тим, що ми можемо і не можемо зробити.

Мій інтерес до машинного навчання завжди був пов’язаний з інтересом до реальних даних, майже фізичної сторони цього. Беручи речі з реального світу і моделюючи їх, щоб створити щось значуще. Ми могли б буквально інженерувати кращий світ через значуще моделювання. Отже, математика дала мені основу для доведення речей, комп’ютерні науки допомогли мені побачити, що можна і не можна зробити, а машинне навчання дозволило мені моделювати ці концепції у світі.

До недавнього часу ви були професором комп’ютерних наук і прикладної математики у Гарвардському університеті, які були деякими з ваших ключових висновків з цього досвіду?

Мій найбільший висновок з досвіду роботи як факультетського члена у Гарварді полягає в тому, що це розвиває апетит до великих справ. Гарвард традиційно має малий факультет, і від очікувань від факультету tenure track очікується вирішення великих проблем і створення нових галузей. Вам потрібно бути сміливим. Це в кінцевому підсумку стає чудовим підготовчим етапом для запуску категорійно-створюючого стартапу, який визначає новий простір. Я не обов’язково рекомендую проходити через Гарвардський tenure track спочатку, але якщо ви виживете після цього, будівництво стартапу буде легшим.

Чи можете ви описати свій момент “ага”, коли ви зрозуміли, що складні системи штучного інтелекту вразливі до поганих даних, з деякими потенційно далекосяжними наслідками?

Коли я був аспірантом у UC Berkeley, я взяв деякий час, щоб зробити стартап, який будував моделі машинного навчання для маркетингу в соціальних мережах. Це було у 2010 році. У нас були величезні дані з соціальних медіа, і ми написали всі моделі з нуля. Фінансові наслідки для рітейлерів були досить значними, тому ми слідкували за результатами моделей. Оскільки ми використовували дані з соціальних медіа, там були багато помилок у вводі, а також дрейф. Ми побачили, що дуже маленькі помилки призводили до великих змін у виводі моделі і могли призвести до поганих фінансових результатів для рітейлерів, які використовували продукт.

Коли я перейшов до роботи над Google+ (для тих, хто пам’ятає), я побачив саме такі самі ефекти. Більше того, у системах, таких як AdWords, які робили передбачення про ймовірність клікування людей на рекламу за ключові слова, ми помітили, що маленькі помилки у вводі моделі призводили до дуже поганих передбачень. Коли ви бачите цю проблему у масштабі Google, ви розумієте, що проблема універсальна.

Ці переживання сильно сформували мою дослідницьку спрямованість, і я провів свій час у Гарварді, досліджуючи, чому моделі штучного інтелекту роблять помилки, і, важливо, як проектувати алгоритми, які можуть запобігти помилкам моделей. Це, звичайно, призвело до ще більших “ага” моментів і, в кінцевому підсумку, до створення Robust Intelligence.

Чи можете ви поділитися історією створення Robust Intelligence?

Robust Intelligence розпочалася з дослідження того, що спочатку було теоретичною проблемою: які гарантії ми можемо мати для рішень, прийнятих за допомогою моделей штучного інтелекту. Kojin був студентом у Гарварді, і ми працювали разом, спочатку пишучи дослідницькі статті. Отже, все починається з написання статей, які описують, що фундаментально можливо і неможливо, теоретично. Ці результати пізніше продовжилися до програми для проектування алгоритмів і моделей, які є стійкими до помилок штучного інтелекту. Ми потім будемо системи, які можуть запускати ці алгоритми на практиці. Після цього початок компанії, де організації могли б використовувати систему такого типу, був природнім наступним кроком.

Багато з проблем, які вирішує Robust Intelligence, – це тихі помилки, що це таке і чому вони настільки небезпечні?

Перед тим, як давати технічне визначення тихих помилок, варто зробити крок назад і зрозуміти, чому нам потрібно турбуватися про помилки штучного інтелекту спочатку. Причина, по якій нам потрібно турбуватися про помилки моделей штучного інтелекту, полягає в наслідках цих помилок. Наш світ використовує штучний інтелект для автоматизації критичних рішень: хто отримує бізнес-кредит і під який відсоток, хто отримує медичне страхування і під який відсоток, які квартали повинні патрулювати поліцейські, хто найімовірніше буде кращим кандидатом на роботу, як слід організувати безпеку аеропорту тощо. Той факт, що моделі штучного інтелекту дуже схильні до помилок, означає, що при автоматизації цих критичних рішень ми успадкуємо великий ризик. У Robust Intelligence ми називаємо це “ризиком штучного інтелекту” і我们的 місією у компанії є ліквідувати ризик штучного інтелекту.

Тихі помилки – це помилки моделей штучного інтелекту, де модель штучного інтелекту отримує вхідні дані і видає передбачення або рішення, яке є неправильним або упередженим. Отже, на поверхні все здається нормальним, оскільки модель штучного інтелекту робить те, що вона повинна робити з функціональної точки зору. Але передбачення або рішення є помилковим. Ці помилки є тихими, оскільки система не знає про наявність помилки. Це може бути гірше, ніж випадок, у якому модель штучного інтелекту не видає виводу, оскільки може зайняти багато часу, щоб організації зрозуміли, що їх система штучного інтелекту є дефектною. Тоді ризик штучного інтелекту стає невдачами штучного інтелекту, які можуть мати катастрофічні наслідки.

Robust Intelligence фактично розробила брандмауер штучного інтелекту, ідею, яка раніше вважалася неможливою. Чому це така технічна проблема?

Одна з причин, чому брандмауер штучного інтелекту є таким викликом, полягає в тому, що він суперечить парадигмі спільноти машинного навчання. Попередня парадигма спільноти машинного навчання полягала в тому, що для ліквідації помилок потрібно годувати більше даних, включаючи погані дані до моделей. Роблячи це, моделі навчаються самостійно і вчаться виправляти помилки. Проблема з цим підходом полягає в тому, що це призводить до падіння точності моделі. Найвідоміші результати для зображень, наприклад, призводять до падіння точності моделі штучного інтелекту з 98,5% до близько 37%.

Брандмауер штучного інтелекту пропонує інше рішення. Ми відокремлюємо проблему визначення помилки від ролі створення передбачення, тобто брандмауер може зосередитися на одному конкретному завданні: визначити, чи створить datapoint помилкове передбачення.

Це було самим по собі викликом через труднощі надання передбачення про один окремий дані. Є багато причин, чому моделі роблять помилки, тому будівництво технології, яка може передбачити ці помилки, не було легким завданням. Ми дуже щасливі мати таких інженерів, яких ми маємо.

Як система може допомогти запобігти упередженості штучного інтелекту?

Упередженість моделі виникає з розбіжності між даними, на яких була навчена модель, і даними, які вона використовує для створення передбачень. Повертаючись до ризику штучного інтелекту, упередженість є однією з основних проблем, пов’язаних з тихими помилками. Наприклад, це часто проблема з недостатньо представленими населеннями. Модель може мати упередженість, оскільки вона бачила менше даних з цього населення, що суттєво вплине на продуктивність моделі і точність її передбачень. Брандмауер штучного інтелекту може попередити організації про ці розбіжності даних і допомогти моделі приймати правильні рішення.

Які інші ризики для організацій, яких допомагає запобігти брандмауер штучного інтелекту?

Будь-яка компанія, яка використовує штучний інтелект для автоматизації рішень, особливо критичних рішень, автоматично вводить ризик. Погані дані можуть бути такої мініатюрної, як введення нуля замість одиниці, і все ж таки призвести до значних наслідків. Чи ризик неправильних медичних передбачень, чи неправильних передбачень про кредитування, брандмауер штучного інтелекту допомагає організаціям запобігти ризику зовсім.

Чи є щось інше, що ви хотіли б поділитися про Robust Intelligence?

Robust Intelligence росте швидко, і ми отримуємо багато великих кандидатів на вакансії. Але щось, що я хочу підкреслити для людей, які розглядають можливість подання заявки, полягає в тому, що найважливішою якістю, яку ми шукаємо в кандидатах, є їхня пристрасть до місії. Ми зустрічаємося з багатьма кандидатами, які сильні технічно, тому все зводиться до того, чи вони真正ньо пристрасні щодо ліквідації ризику штучного інтелекту, щоб зробити світ безпечнішим і кращим місцем.

У світі, до якого ми йдемо, багато рішень, які зараз приймаються людьми, будуть автоматизовані. Чи нам це подобається, чи ні, це факт. Враховуючи це, всі ми в Robust Intelligence хочемо, щоб автоматизовані рішення приймалися відповідально. Отже, будь-хто, хто захоплений тим, щоб зробити вплив, хто розуміє, яким чином це може вплинути на життя людей, є кандидатом, якого ми шукаємо, щоб приєднатися до Robust Intelligence. Ми шукаємо цю пристрасть. Ми шукаємо людей, які створять цю технологію, яку весь світ буде використовувати.

Дякую за велике інтерв’ю, мені сподобалося дізнаватися про ваші погляди на запобігання упередженості штучного інтелекту та про необхідність брандмауера штучного інтелекту, читачам, які бажають дізнатися більше, слід відвідати Robust Intelligence.