Ярон Сінгер, генеральний директор Robust Intelligence та професор комп’ютерних наук Гарвардського університету – серія інтерв’ю

Ярон Сінгер є генеральним директором Надійний інтелект і професор інформатики та прикладної математики в Гарварді. Yaron відомий проривними результатами в машинному навчанні, алгоритмах і оптимізації. Раніше Ярон працював у Google Research і отримав ступінь доктора філософії в Каліфорнійському університеті в Берклі.

Що спочатку привабило вас у сфері інформатики та машинного навчання?

Моя подорож почалася з математики, яка привела мене до інформатики, яка поставила мене на шлях машинного навчання. Математика спочатку привернула мій інтерес, оскільки її аксіоматична система дала мені можливість створювати нові світи. Завдяки інформатиці я дізнався про екзистенціальні докази, а також про алгоритми, що стоять за ними. З творчої точки зору інформатика — це встановлення меж між тим, що ми можемо і чого не можемо робити.

Мій інтерес до машинного навчання завжди ґрунтувався на інтересі до реальних даних, майже до їх фізичного аспекту. Беручи речі з реального світу та моделюючи їх, щоб зробити щось значуще. Ми могли б буквально створити кращий світ за допомогою значущого моделювання. Отже, математика дала мені основу для доказів, інформатика допомагає мені зрозуміти, що можна, а що ні, а машинне навчання дає мені змогу моделювати ці концепції у світі.

Донедавна ви були професором комп’ютерних наук і прикладної математики в Гарвардському університеті. Що ви зробили з цього досвіду?

Моя найбільша користь від роботи викладачем Гарварду полягає в тому, що це розвиває в людині бажання робити великі справи. У Гарварді традиційно є невеликий факультет, і від викладачів, які навчаються на посаді, очікують вирішення великих проблем і створення нових галузей. Треба бути сміливим. Зрештою, це чудова підготовка до запуску стартапу, що створює категорії, що визначає новий простір. Я не обов’язково рекомендую спочатку пройти навчання в Гарварді, але якщо ви переживете це, створити стартап стане легше.

Чи могли б ви описати свій «ага» момент, коли ви зрозуміли, що складні системи штучного інтелекту вразливі до поганих даних, що може мати далекосяжні наслідки?

Коли я був аспірантом Каліфорнійського університету в Берклі, я взяв відпустку, щоб створити стартап, який створював моделі машинного навчання для маркетингу в соціальних мережах. Це було ще в 2010 році. Ми мали величезну кількість даних із соціальних мереж, і ми кодували всі моделі з нуля. Фінансові наслідки для роздрібних торговців були досить значними, тому ми уважно стежили за ефективністю моделей. Оскільки ми використовували дані з соціальних мереж, було багато помилок у введенні, а також дрейф. Ми побачили, що дуже невеликі помилки призвели до значних змін у вихідних даних моделі та могли призвести до поганих фінансових результатів для роздрібних торговців, які використовують продукт.

Коли я почав працювати в Google+ (для тих із нас, хто пам’ятає), я побачив ті самі наслідки. Що ще більш драматично, у таких системах, як AdWords, які робили прогнози щодо ймовірності того, що люди натиснуть рекламу за ключовими словами, ми помітили, що невеликі помилки у вхідних даних у модель призводять до дуже поганих прогнозів. Коли ви спостерігаєте цю проблему в масштабі Google, ви розумієте, що проблема універсальна.

Цей досвід сильно вплинув на мій дослідницький фокус, і я провів свій час у Гарварді, досліджуючи, чому моделі штучного інтелекту роблять помилки, і, що важливо, як розробити алгоритми, які можуть запобігти помилкам моделей. Це, звісно, ​​призвело до нових моментів «ага» і, зрештою, до створення Robust Intelligence.

Не могли б ви поділитися історією генезису Robust Intelligence?

Robust Intelligence розпочалося з дослідження того, що спочатку було теоретичною проблемою: які гарантії ми можемо мати щодо рішень, прийнятих за допомогою моделей ШІ. Коджін був студентом Гарварду, і ми працювали разом, спочатку писали наукові статті. Отже, це починається з написання документів, які окреслюють те, що принципово можливо і неможливо, теоретично. Пізніше ці результати були продовжені в програмі для розробки алгоритмів і моделей, стійких до збоїв ШІ. Потім ми створюємо системи, які можуть виконувати ці алгоритми на практиці. Після цього створення компанії, де організації могли б використовувати таку систему, було природним наступним кроком.

Багато проблем, які вирішує Robust Intelligence, є негласними помилками. Що це таке і що робить їх такими небезпечними?

Перш ніж дати технічне визначення тихих помилок, варто зробити крок назад і зрозуміти, чому ми повинні дбати про те, що штучний інтелект створює помилки. Причина, по якій ми дбаємо про те, щоб моделі штучного інтелекту помилялися, полягає в наслідках цих помилок. Наш світ використовує штучний інтелект для автоматизації важливих рішень: хто отримує позику для бізнесу та під який відсоток, хто отримує медичне страхування та за якою ставкою, які райони має патрулювати поліція, хто, найімовірніше, буде головним кандидатом на роботу, як ми маємо організувати безпеку аеропорту тощо. Той факт, що моделі ШІ надзвичайно схильні до помилок, означає, що під час автоматизації цих критично важливих рішень ми успадковуємо великий ризик. У Robust Intelligence ми називаємо це «ризиком штучного інтелекту», і наша місія в компанії полягає в усуненні ризику штучного інтелекту.

Тихі помилки — це помилки моделей штучного інтелекту, коли модель штучного інтелекту отримує вхідні дані та створює прогноз або рішення, яке є неправильним або необ’єктивним. Отже, зовні все в системі виглядає добре, оскільки модель ШІ робить те, що вона повинна робити з функціональної точки зору. Але прогноз або рішення є помилковим. Ці помилки мовчазні, оскільки система не знає про наявність помилки. Це може бути набагато гірше, ніж випадок, коли модель штучного інтелекту не дає результату, оскільки організаціям може знадобитися багато часу, щоб зрозуміти, що їхня система штучного інтелекту несправна. Тоді ризик ШІ перетворюється на збої ШІ, які можуть мати жахливі наслідки.

Компанія Robust Intelligence фактично розробила брандмауер ШІ, ідея, яка раніше вважалася неможливою. Чому це така технічна проблема?

Однією з причин, чому AI Firewall є таким викликом, є те, що він суперечить парадигмі спільноти машинного навчання. Попередня парадигма спільноти ML полягала в тому, що для викорінення помилок потрібно передавати моделям більше даних, у тому числі поганих даних. Роблячи це, моделі тренуватимуть себе та навчаться самостійно виправляти помилки. Проблема такого підходу полягає в тому, що він призводить до різкого зниження точності моделі. Наприклад, найвідоміші результати для зображень спричиняють зниження точності моделі ШІ з 98.5% до 37%.

AI Firewall пропонує інше рішення. Ми відокремлюємо проблему виявлення помилки від ролі створення прогнозу, тобто брандмауер може зосередитися на одному конкретному завданні: визначити, чи дасть точка даних помилковий прогноз.

Це само по собі було складним завданням через складність дати прогноз на одній точці даних. Є багато причин, чому моделі роблять помилки, тому побудувати технологію, яка може передбачити ці помилки, було непростим завданням. Нам дуже пощастило мати таких інженерів.

Як система може допомогти запобігти упередженості ШІ?

Зміщення моделі виникає через невідповідність між даними, на яких модель навчалася, і даними, які вона використовує для прогнозування. Повертаючись до ризику штучного інтелекту, упередженість є основною проблемою, пов’язаною з мовчазними помилками. Наприклад, це часто є проблемою недостатньо представлених груп населення. Модель може мати зміщення, оскільки вона бачила менше даних із цієї сукупності, що різко вплине на ефективність цієї моделі та точність її прогнозів. AI Firewall може попередити організації про ці розбіжності в даних і допомогти моделі прийняти правильні рішення.

Яким іншим ризикам для організацій допомагає запобігти брандмауер ШІ?

Будь-яка компанія, яка використовує штучний інтелект для автоматизації рішень, особливо критичних, автоматично створює ризик. Погані дані можуть бути настільки ж незначними, як введення нуля замість одиниці, і все одно призвести до значних наслідків. Незалежно від того, чи є ризик неправильними медичними прогнозами чи помилковими прогнозами щодо кредитування, AI Firewall допомагає організаціям повністю запобігти ризику.

Чи є ще щось, чим ви хотіли б поділитися про Robust Intelligence?

Robust Intelligence швидко зростає, і ми отримуємо багато чудових кандидатів, які претендують на посади. Але те, що я справді хочу наголосити людям, які розглядають можливість подати заявку, це те, що найважливішою якістю, яку ми шукаємо в кандидатах, є їхня пристрасть до місії. Ми зустрічаємося з багатьма кандидатами, які є технічно сильними, тож важливо зрозуміти, чи вони справді захоплені усуненням ризиків ШІ, щоб зробити світ безпечнішим і кращим.

У світі, до якого ми йдемо, багато рішень, які зараз приймаються людьми, будуть автоматизовані. Подобається нам це чи ні, але це факт. Зважаючи на це, усі ми в Robust Intelligence хочемо, щоб автоматизовані рішення приймалися відповідально. Отже, кожен, хто хоче вплинути на роботу, хто розуміє, як це може вплинути на життя людей, є кандидатом, якого ми шукаємо, щоб приєднатися до Robust Intelligence. Ми шукаємо цю пристрасть. Ми шукаємо людей, які створять цю технологію, якою буде користуватися весь світ.

Дякую за чудове інтерв’ю, мені було приємно дізнатися про ваші погляди на запобігання упередженню штучного інтелекту та необхідність брандмауера штучного інтелекту. Читачі, які хочуть дізнатися більше, повинні відвідати Надійний інтелект.