Ярон Сінгер, генеральний директор Robust Intelligence та професор комп’ютерних наук Гарвардського університету – Серія інтерв’ю

Ярон Сінгер – генеральний директор Robust Intelligence та професор комп’ютерних наук і прикладної математики в Гарварді. Ярон відомий своїми революційними результатами в галузі машинного навчання, алгоритмів і оптимізації. Раніше Ярон працював у Google (GOOGL ) Research і отримав ступінь доктора філософії в Університеті Каліфорнії в Берклі.

Що спочатку привернуло вашу увагу до галузі комп’ютерних наук і машинного навчання?

Моя подорож розпочалася з математики, яка привела мене до комп’ютерних наук, а потім до машинного навчання. Математика спочатку привернула мою увагу через свою аксіоматичну систему, яка дала мені можливість створювати нові світи. З комп’ютерними науками я дізнався про існування доведень, а також алгоритмів, що стоять за ними. З творчої точки зору комп’ютерні науки – це малювання меж між тим, що ми можемо і не можемо зробити.

Мій інтерес до машинного навчання завжди був кореневим у інтересі до реальних даних, майже фізичної сторони цього. Взяття речей з реального світу і моделювання їх для створення чогось значимого. Ми могли б буквально проектувати кращий світ через значиме моделювання. Отже, математика дала мені основу для доведення речей, комп’ютерні науки допомогли мені побачити, що можна і не можна зробити, а машинне навчання дозволяє мені моделювати ці концепції у світі.

До недавнього часу ви були професором комп’ютерних наук і прикладної математики в Гарвардському університеті, які були вашими головними висновками з цього досвіду?

Мій найбільший висновок з досвіду роботи у Гарварді полягає в тому, що це розвиває апетит до великих справ. Гарвард традиційно має малий викладацький склад, і від викладачів очікується вирішення великих проблем і створення нових галузей. Ви повинні бути сміливими. Це виявляється великою підготовкою до створення категорійно-нового стартапу, який визначає новий простір. Я не обов’язково рекомендую проходити через систему Гарварду спочатку, але якщо ви виживете, створення стартапу буде легшим.

Чи можете ви описати свій момент “ага”, коли ви зрозуміли, що складні системи штучного інтелекту вразливі до поганих даних, з деякими потенційно далекосяжними наслідками?

Коли я був аспірантом у Університеті Каліфорнії в Берклі, я взяв деякий час, щоб створити стартап, який будував моделі машинного навчання для маркетингу в соціальних мережах. Це було у 2010 році. У нас були величезні дані з соціальних мереж, і ми написали всі моделі з нуля. Фінансові наслідки для рітейлерів були досить значними, тому ми слідкували за результатами моделей. Оскільки ми використовували дані з соціальних мереж, там були багато помилок у вхідних даних, а також дрейф. Ми побачили, що навіть малі помилки призводили до великих змін у виході моделі і могли призвести до поганих фінансових результатів для рітейлерів, які використовували продукт.

Коли я перейшов до роботи над Google+ (для тих з нас, хто пам’ятає), я побачив саме такі самі ефекти. Більше того, у системах, таких як AdWords, які робили передбачення щодо ймовірності клікування на рекламу за ключові слова, ми помітили, що малі помилки у вхідних даних моделі призводили до дуже поганих передбачень. Коли ви бачите цю проблему у масштабі Google, ви розумієте, що проблема універсальна.

Ці переживання сильно сформували мою дослідницьку спрямованість, і я провів свій час у Гарварді, досліджуючи, чому моделі штучного інтелекту роблять помилки, а також як проектувати алгоритми, які можуть запобігти помилкам моделей. Це, звичайно, призвело до ще більшого кількості “ага” моментів і, врешті-решт, до створення Robust Intelligence.

Чи можете ви поділитися історією створення Robust Intelligence?

Robust Intelligence розпочалася з дослідження теоретичної проблеми: яких гарантій ми можемо мати для рішень, прийнятих за допомогою моделей штучного інтелекту. Kojin був студентом Гарварду, і ми працювали разом, спочатку написавши дослідницькі статті. Отже, все починається з написання статей, які викладають, що фундаментально можливо і неможливо, теоретично. Tyto результати пізніше продовжилися до програми для проектування алгоритмів і моделей, які є стійкими до помилок штучного інтелекту. Ми потім будували системи, які можуть запускати ці алгоритми на практиці. Після цього створення компанії, де організації могли б використовувати таку систему, було природнім наступним кроком.

Багато проблем, які Robust Intelligence вирішує, – це тихі помилки, що це таке і чому вони так небезпечні?

Перед тим, як дати технічне визначення тихих помилок, варто зробити крок назад і зрозуміти, чому нам треба турбуватися про те, що штучний інтелект робить помилки. Причина, по якій нам треба турбуватися про помилки моделей штучного інтелекту, полягає в наслідках цих помилок. Наш світ використовує штучний інтелект для автоматизації критичних рішень: хто отримує бізнес-кредит і під який відсоток, хто отримує медичне страхування і під який тариф, які райони повинні патрулювати поліцейські, хто найбільш імовірно буде топ-кандидатом на роботу, як слід організувати авіаційну безпеку тощо. Той факт, що моделі штучного інтелекту дуже схильні до помилок, означає, що при автоматизації цих критичних рішень ми успадковуємо великий ризик. У Robust Intelligence ми називаємо це “ризиком штучного інтелекту” і我们的 місією в компанії є ліквідувати ризик штучного інтелекту.

Тихі помилки – це помилки моделей штучного інтелекту, при яких модель штучного інтелекту приймає вхідні дані і видає передбачення або рішення, яке є неправильним або упередженим. Отже, на поверхні все виглядає нормально, оскільки модель штучного інтелекту робить те, що вона повинна робити з функціональної точки зору. Але передбачення або рішення є помилковим. Ці помилки тихі, оскільки система не знає про помилку. Це може бути ще гірше, ніж випадок, коли модель штучного інтелекту не видає виходу, оскільки може зайняти багато часу, щоб організації зрозуміли, що їхня система штучного інтелекту є дефектною. Тоді ризик штучного інтелекту стає провалом штучного інтелекту, який може мати катастрофічні наслідки.

Robust Intelligence фактично розробила брандмауер штучного інтелекту, ідею, яку раніше вважали неможливою. Чому це така технічна проблема?

Одна з причин, чому брандмауер штучного інтелекту є таким викликом, полягає в тому, що він суперечить парадигмі спільноти машинного навчання. Попередня парадигма спільноти машинного навчання полягала в тому, що для ліквідації помилок потрібно годувати більше даних, включаючи погані дані, у моделі. Роблячи це, модель навчається сама і вчиться виправляти помилки. Проблема з цим підходом полягає в тому, що це призводить до того, що точність моделі падає драматично. Найвідоміші результати для зображень, наприклад, призводять до того, що точність моделі штучного інтелекту падає з 98,5% до близько 37%.

Брандмауер штучного інтелекту пропонує інше рішення. Ми відокремлюємо проблему визначення помилки від ролі створення передбачення, що означає, що брандмауер може зосередитися на одному конкретному завданні: визначити, чи приведе точка даних до помилкового передбачення.

Це було самим по собі викликом через труднощі у видачі передбачення для однієї точки даних. Є багато причин, чому моделі роблять помилки, тому створення технології, яка може передбачити ці помилки, не було легким завданням. Ми дуже щасливі, що маємо таких інженерів, яких маємо.

Як система може допомогти запобігти упередженості штучного інтелекту?

Упередженість моделі виникає через розбіжність між даними, на яких була навчена модель, і даними, які вона використовує для створення передбачень. Повертаючись до ризику штучного інтелекту, упередженість є однією з основних проблем, пов’язаних з тихими помилками. Наприклад, це часто проблема з недопредставленими популяціями. Модель може мати упередженість, оскільки вона бачила менше даних з цієї популяції, що суттєво впливає на продуктивність моделі і точність її передбачень. Брандмауер штучного інтелекту може попередити організації про ці розбіжності даних і допомогти моделі приймати правильні рішення.

Які інші ризики для організацій брандмауер штучного інтелекту допомагає запобігти?

Будь-яка компанія, яка використовує штучний інтелект для автоматизації рішень, особливо критичних рішень, автоматично вводить ризик. Погані дані можуть бути такої мініатюрної речі, як введення нуля замість одиниці, і все ж призвести до суттєвих наслідків. Чи ризик неправильних медичних передбачень, чи неправильних передбачень щодо кредитування, брандмауер штучного інтелекту допомагає організаціям запобігти ризику зовсім.

Чи є щось інше, що ви хотіли б поділитися про Robust Intelligence?

Robust Intelligence швидко росте, і ми отримуємо багато великих кандидатів на вакансії. Але щось, що я хочу підкреслити для людей, які розглядають можливість подання заявки, полягає в тому, що найважливішою якістю, яку ми шукаємо в кандидатах, є їхня пристрасть до місії. Ми зустрічаємо багатьох кандидатів, які є сильними технічно, тому це справді залежить від того, чи вони真正ньо пристрасні щодо ліквідації ризику штучного інтелекту, щоб зробити світ безпечнішим і кращим місцем.

У світі, до якого ми йдемо, багато рішень, які зараз приймаються людьми, будуть автоматизовані. Чи нам це подобається, чи ні, це факт. Враховуючи це, всі ми в Robust Intelligence хочемо, щоб автоматизовані рішення приймалися відповідально. Отже, будь-хто, хто є збудованим щодо створення впливу, хто розуміє, яким чином це може вплинути на життя людей, є кандидатом, якого ми шукаємо, щоб приєднатися до Robust Intelligence. Ми шукаємо цю пристрасть. Ми шукаємо людей, які створять цю технологію, яку весь світ буде використовувати.

Дякую за велике інтерв’ю, мені було цікаво дізнатися про ваші погляди на запобігання упередженості штучного інтелекту та на необхідність брандмауера штучного інтелекту, читачам, які бажають дізнатися більше, слід відвідати Robust Intelligence.