Йотам Орен, генеральний директор і співзасновник Mona Labs – Серія інтерв’ю

Йотам Орен, генеральний директор і співзасновник Мона Лабс, платформа, яка дозволяє підприємствам перетворювати ініціативи штучного інтелекту з лабораторних експериментів у масштабовані бізнес-операції, дійсно розуміючи, як моделі ML поводяться в реальних бізнес-процесах і програмах.

Mona автоматично аналізує поведінку ваших моделей машинного навчання в захищених сегментах даних і в контексті бізнес-функцій, щоб виявити потенційну упередженість ШІ. Mona пропонує можливість генерувати повні звіти про справедливість, які відповідають галузевим стандартам і правилам, і гарантує, що додаток AI відповідає вимогам і не має будь-яких упереджень.

Що вас спочатку привабило в інформатиці?

Комп’ютерні науки — популярна кар’єра в моїй сім’ї, тому вона завжди була в пам’яті як життєздатний варіант. Звичайно, ізраїльська культура дуже протехнологічна. Ми відзначаємо інноваційних технологів, і я завжди думав, що CS запропонує мені злітну смугу для зростання та досягнення.

Незважаючи на це, це стало особистим захопленням лише коли я досяг університетського віку. Я не належав до тих дітей, які почали кодувати в середній школі. У молодості я був надто зайнятий баскетболом, щоб приділяти увагу комп’ютерам. Після середньої школи я провів близько 5 років в армії, на посадах оперативного/бойового керівництва. Отже, у певному сенсі я справді почав більше вивчати інформатику лише тоді, коли мені потрібно було вибрати академічну спеціальність в університеті. Що відразу привернуло мою увагу, так це те, що інформатика поєднує в собі розв’язування проблем і вивчення мови (або мов). Дві речі мене особливо зацікавили. Відтоді я захопився.

З 2006 по 2008 рік ви працювали над картографуванням і навігацією для невеликого стартапу. Якими були ваші ключові висновки з цієї епохи?

Моя роль у Telmap полягала в створенні пошукової системи на основі карт і даних про місцезнаходження.

Це були перші дні «великих даних» на підприємстві. Ми навіть не називали це так, але ми збирали величезні набори даних і намагалися отримати найбільш вражаючу та актуальну інформацію, щоб продемонструвати нашим кінцевим користувачам.

Одним із вражаючих усвідомлень, яке я отримав, було те, що компанії (включаючи нас) використовували дуже мало своїх даних (не кажучи вже про загальнодоступні зовнішні дані). Було так багато можливостей для нових ідей, кращих процесів і досвіду.

Інший висновок полягав у тому, що можливість отримати більше наших даних, звичайно, покладалася на наявність кращої архітектури, кращої інфраструктури тощо.

Не могли б ви поділитися історією походження Mona Labs?

Ми троє, співзасновники, протягом усієї нашої кар’єри займалися продуктами обробки даних.

Немо, технічний директор, мій друг і однокурсник по коледжу, а також один із перших співробітників Google Tel Aviv. Там він запустив продукт під назвою Google Trends, який мав багато розширеної аналітики та машинного навчання на основі даних пошукових систем. Ітаї, інший співзасновник і директор із продуктів, був у команді Немо в Google (і ми з ним познайомилися через Nemo). Вони обидва завжди були розчаровані тим, що системи, керовані ШІ, залишалися без контролю після початкової розробки та тестування. Незважаючи на труднощі з належним тестуванням цих систем перед початком виробництва, команди все ще не знали, наскільки ефективні їхні прогнозні моделі з часом. Крім того, здавалося, що єдиний раз, коли вони чули будь-які відгуки про системи штучного інтелекту, це коли справи йшли погано, і команду розробників викликали на «пожежне тренування», щоб вирішити катастрофічні проблеми.

Приблизно в той же час я працював консультантом у McKinsey & Co, і однією з найбільших перешкод, які я бачив на шляху масштабування програм штучного інтелекту та великих даних на великих підприємствах, був брак довіри до цих програм з боку зацікавлених сторін.

Спільна нитка тут стала зрозумілою Немо, Ітаї та мені в розмовах. Галузь потребувала інфраструктури для моніторингу систем AI/ML у виробництві. Ми придумали бачення, щоб забезпечити цю видимість, щоб підвищити довіру зацікавлених сторін у бізнесі та дозволити командам штучного інтелекту завжди контролювати, як працюють їхні системи, і виконувати ітерацію ефективніше.

І саме тоді була заснована компанія Mona.

Які поточні проблеми пов’язані з відсутністю прозорості ШІ?

У багатьох галузях організації вже витратили десятки мільйонів доларів на свої програми штучного інтелекту та досягли певного початкового успіху в лабораторії та маломасштабному розгортанні. Але масштабування, досягнення широкого впровадження та змусити бізнес фактично покладатися на штучний інтелект було величезним викликом майже для всіх.

Чому це відбувається? Ну, все починається з того факту, що чудові дослідження не призводять автоматично до чудових продуктів (одного разу клієнт сказав нам: «Моделі ML подібні до автомобілів, коли вони залишають лабораторію, вони втрачають 20% своєї вартості»). Чудові продукти мають допоміжні системи. Існують інструменти та процеси, які гарантують збереження якості протягом тривалого часу, а також своєчасне виявлення та ефективне вирішення проблем. Чудові продукти також мають безперервну петлю зворотного зв’язку, вони мають цикл вдосконалення та дорожню карту. Отже, чудові продукти вимагають глибокої та постійної прозорості продуктивності.

Коли немає прозорості, ви отримуєте:

• Проблеми, які деякий час залишаються прихованими, а потім вириваються на поверхню, викликаючи «пожежні тренування»
• Тривалі та ручні дослідження та пом’якшення
• Програма штучного інтелекту, якій не довіряють бізнес-користувачі та спонсори, і зрештою не вдається масштабувати

З якими труднощами можна створити прозорі та надійні прогнозні моделі?

Прозорість, звичайно, є важливим фактором досягнення довіри. Прозорість може проявлятися в багатьох формах. Існує єдина прозорість прогнозу, яка може включати відображення рівня довіри для користувача або надання пояснення/обґрунтування прогнозу. Прозорість єдиного прогнозу здебільшого спрямована на те, щоб допомогти користувачеві зручніше працювати з прогнозом. Крім того, є загальна прозорість, яка може включати інформацію про точність прогнозування, несподівані результати та потенційні проблеми. Загальна прозорість потрібна команді ШІ.

Найбільш складною частиною загальної прозорості є раннє виявлення проблем, сповіщення відповідного члена команди, щоб вони могли вжити коригувальні дії до того, як виникнуть катастрофи.

Чому складно виявити проблеми на ранній стадії:

• Проблеми часто починаються з малого й киплять, перш ніж зрештою вирватися на поверхню.
• Проблеми часто виникають через неконтрольовані або зовнішні фактори, наприклад джерела даних.
• Існує багато способів «поділити світ», і вичерпний пошук проблем у маленьких кишенях може призвести до багато шуму (втоми тривоги), принаймні, якщо це робиться в наївному підході.

Іншим складним аспектом забезпечення прозорості є величезна кількість випадків використання ШІ. Це робить універсальний підхід майже неможливим. Кожен варіант використання штучного інтелекту може включати різні структури даних, різні бізнес-цикли, різні показники успіху та часто різні технічні підходи та навіть стеки.

Отже, це монументальне завдання, але прозорість настільки фундаментальна для успіху програм штучного інтелекту, тож ви повинні це зробити.

Не могли б ви поділитися деякими деталями щодо рішень для моделей і чат-ботів NLU/NLP?

Розмовний ШІ є однією з основних вертикалей Mona. Ми пишаємося тим, що підтримуємо інноваційні компанії з широким спектром розмовних варіантів використання ШІ, включаючи мовні моделі, чат-боти тощо.

Загальним чинником у цих випадках використання є те, що моделі працюють поблизу (і іноді помітно) від клієнтів, тому ризики непослідовної продуктивності або поганої поведінки вищі. Для розмовних команд штучного інтелекту стає дуже важливо розуміти поведінку системи на детальному рівні, що є сильними сторонами рішення моніторингу Mona.

Досить унікальне рішення Mona систематично відсіює групи розмов і знаходить кишені, в яких моделі (або боти) поводяться неправильно. Це дозволяє командам розмовного ШІ виявляти проблеми на ранніх стадіях і до того, як клієнти їх помітять. Ця можливість є критично важливою рушійною силою прийняття рішень для розмовних команд ШІ при виборі рішень моніторингу.

Підводячи підсумок, Mona пропонує наскрізне рішення для розмовного моніторингу ШІ. Він починається з забезпечення наявності єдиного джерела інформації про поведінку систем упродовж тривалого часу, а також продовжується безперервним відстеженням ключових показників продуктивності та проактивним аналізом осередків неправильної поведінки, що дозволяє командам вживати превентивних ефективних заходів для виправлення.

Чи можете ви повідомити деякі подробиці про систему аналізу Мони?

звичайно Почнемо з мотивації. Мета механізму аналізу — висвітлити аномалії перед користувачами за допомогою потрібної кількості контекстної інформації, не створюючи шуму та не викликаючи втоми від тривоги.

Механізм аналізу — це єдиний у своєму роді аналітичний робочий процес. У цьому робочому процесі механізм шукає аномалії в усіх сегментах даних, дозволяючи завчасно виявляти проблеми, коли вони ще «невеликі», і до того, як вони вплинуть на весь набір даних і ключові показники ефективності бізнесу. Потім він використовує власний алгоритм для виявлення першопричин аномалій і гарантує, що кожна аномалія попереджається лише один раз, щоб уникнути шуму. Серед підтримуваних типів аномалій: аномалії часових рядів, дрейфи, викиди, погіршення моделі тощо.

Інтуїтивно зрозумілу конфігурацію без коду/низького коду Mona можна легко налаштувати. Можливість конфігурації двигуна робить Mona найбільш гнучким рішенням на ринку, що охоплює широкий спектр випадків використання (наприклад, пакетне та потокове, із/без бізнес-зворотного зв’язку/основної правди, між версіями моделей або між тренуванням і висновком тощо). ).

Нарешті, цей механізм аналізу підтримується панеллю візуалізації, на якій можна переглядати аналітичні дані, і набором інструментів для дослідження, які дозволяють аналізувати першопричину та подальше дослідження контекстної інформації. Механізм аналізу також повністю інтегрований із механізмом сповіщень, який дає змогу передавати статистичні дані у власні робочі середовища користувачів, включаючи електронну пошту, платформи для співпраці тощо.

31 січня, Мона розкрита його нове рішення справедливості штучного інтелекту, не могли б ви поділитися з нами подробицями про те, що це за функція та чому вона важлива?

Справедливість штучного інтелекту полягає в забезпеченні того, щоб алгоритми та системи, керовані штучним інтелектом, загалом приймали неупереджені та справедливі рішення. Усунення та запобігання упереджень у системах штучного інтелекту має вирішальне значення, оскільки вони можуть призвести до значних наслідків у реальному світі. Із зростанням популярності штучного інтелекту вплив на повсякденне життя людей стане помітним дедалі більше, включаючи автоматизацію водіння, точніше виявлення хвороб, покращення нашого розуміння світу та навіть створення мистецтва. Якщо ми не можемо довіряти, що це чесно та неупереджено, як ми дозволимо цьому продовжувати поширюватися?

Однією з головних причин упереджень у штучному інтелекті є просто здатність навчальних даних моделі повністю відображати реальний світ. Це може випливати з історичної дискримінації, недостатнього представництва певних груп або навіть навмисного маніпулювання даними. Наприклад, система розпізнавання обличчя, налаштована на переважно світлошкірих індивідах, ймовірно, матиме вищий рівень помилок у розпізнаванні осіб із темнішим відтінком шкіри. Подібним чином мовна модель, навчена на текстових даних із вузького набору джерел, може розвинути упередження, якщо дані спотворені в бік певних поглядів на світ, на такі теми, як релігія, культура тощо.

Рішення Mona AI Fairness дає AI та бізнес-командам впевненість у тому, що їхній AI вільний від упереджень. У регульованих секторах рішення Mona може підготувати команди до готовності до відповідності.

Рішення Mona щодо справедливості є особливим, оскільки воно базується на платформі Mona – мосту між даними та моделями ШІ та їхнім реальним впливом. Mona розглядає всі частини бізнес-процесу, який модель штучного інтелекту обслуговує у виробництві, щоб співвіднести дані навчання, поведінку моделі та фактичні реальні результати, щоб забезпечити найповнішу оцінку справедливості.

По-друге, він має єдиний у своєму роді аналітичний механізм, який дозволяє гнучко сегментувати дані для контролю відповідних параметрів. Це дає змогу точно оцінювати кореляцію в потрібному контексті, уникаючи парадоксу Сімпсона та забезпечуючи глибоку реальну «похибку» для будь-якої метрики продуктивності та будь-якої захищеної функції.

Отже, загалом я б сказав, що Mona є основоположним елементом для команд, яким потрібно створювати та масштабувати відповідальний ШІ.

Яке ваше бачення майбутнього ШІ?

Це велике питання.

Я вважаю, що легко передбачити, що штучний інтелект буде продовжувати використовуватися та впливати на різноманітні сектори промисловості та аспекти життя людей. Однак важко сприймати серйозно бачення, яке є детальним і в той же час намагається охопити всі випадки використання та наслідки ШІ в майбутньому. Тому що насправді ніхто не знає достатньо, щоб достовірно намалювати цю картину.

Зважаючи на це, ми знаємо напевно, що ШІ буде в руках більшої кількості людей і служитиме більшій кількості цілей. Тому потреба в управлінні та прозорості значно зросте.

Справжнє бачення ШІ та того, як він працює, відіграватиме дві основні ролі. По-перше, це допоможе прищепити довіру людям і зняти бар’єри, що спротивляться, для швидшого прийняття. По-друге, це допоможе тому, хто керує ШІ, переконатися, що він не виходить з-під контролю.

Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Мона Лабс.