Стів Немзер, старший директор з питань зростання та інновацій штучного інтелекту, TELUS Digital – Серія інтерв’ю

Стів Немзер, старший директор з питань зростання та інновацій штучного інтелекту, TELUS Digital, очолює ініціативи, спрямовані на розвиток даних для навчання штучного інтелекту та інфраструктури для систем штучного інтелекту нового покоління. Його робота включає розвиток наборів даних для глибоких дослідницьких моделей, середовищ навчання з підкріпленням, даних моделей світу, суверенних ініціатив штучного інтелекту та рамок мінімізації ризиків штучного інтелекту, з особливим акцентом на відповідальній практиці штучного інтелекту, такій як вирішення проблеми упередженості наборів даних та підтримка справедливих умов праці для тренерів штучного інтелекту. На початку своєї кар’єри Немзер заснував VeriTest Labs, допомігши ранньому технологічному лідерам, включаючи Microsoft (MSFT ), Intel (INTC ), Oracle (ORCL ) та Sun Microsystems, створити процвітаючі екосистеми програмного забезпечення третіх сторін перед придбанням компанії Lionbridge.

TELUS Digital – це глобальна компанія технологічних послуг, яка допомагає організаціям проектувати, будувати та експлуатувати цифрові платформи та рішення, що використовують штучний інтелект. Працюючи в десятках країн, компанія надає послуги, такі як навчання штучного інтелекту та анотація даних, інженерія цифрових продуктів та управління клієнтським досвідом. Її платформи та послуги підтримують підприємства різних галузей, включаючи технології, фінанси, охорону здоров’я, телекомунікації та ігри, коли вони модернізують операції та розгортають передові можливості штучного інтелекту.

Враховуючи ваш досвід у сфері тестування штучного інтелекту, валідації даних та відповідального розгортання, як ви сприймаєте зміну від мовно-орієнтованого генеративного штучного інтелекту до моделей світу, які мають на меті розуміти реальні ситуації та результати, особливо у вашій поточній ролі в TELUS Digital?

Багатомовні моделі (LLM) фундаментально є системами прогнозування закономірностей. Вони генерують відповіді, прогнозуючи наступний токен на основі закономірностей, вивчених з великих статичних корпусів. Хоча це може виглядати як розуміння, модель насправді не моделює, як дії змінюють стан світу.

Моделі світу підходять до цього питання інакше. Замість прогнозування наступного слова або токену, вони мають на меті прогнозувати наступний стан системи, моделюючи переходи станів. Це дозволяє системам симулювати, як середовища еволюціонують у відповідь на дії. На практиці це відкриває двері до гіпотетичних rozumінь, де модель може оцінити різні можливі результати перед прийняттям рішення. Для інтерактивних систем це може забезпечити більш надійне прийняття рішень та планування.

Ця зміна також змінює наш підхід до відповідального розгортання. З традиційними генеративними системами штучного інтелекту більша частина уваги зосереджувалася на питаннях, таких як упередженість та галюцинації. Коли моделі переходять до розуміння середовищ та дій, інші ризики стають більш помітними.

Наприклад, організації повинні考虑увати “сим-реальний” розрив, де поведінка, вивчена в симульованих середовищах, може не перекладатися чисто у реальні умови. Зміна розподілу також стає ключовою проблемою, оскільки середовища, з якими моделі зустрічаються під час розгортання, можуть відрізнятися від даних, на яких вони були навчені.

Це саме те місце, де тестування та валідация стають критичними, що є великим акцентом у моїй ролі в TELUS Digital. Коли системи штучного інтелекту переходять від генерації мови до систем, які взаємодіють з середовищем та приймають рішення, організації потребують ретельних оціночних рамок, щоб забезпечити надійну поведінку моделей у реальних умовах.

Багато людей знайомі з багатомовними моделями, але значно менше людей розуміють моделі світу. У простих термінах, яка проблема моделі світу намагається вирішити, з якою багатомовні моделі фундаментально борються?

Модель світу – це система, яка може прогнозувати “що відбувається далі” за поточним станом та діями. Формула: Стан + Дія → Наступний Стан

Якщо я тримаю яблуко та відпускаю його, модель світу прогнозує, що яблуко впаде. Вона не просто знає, як виглядають яблука або про що люди говорять про падіння яблук – вона прогнозує наслідок на основі розуміння фізики. Софістікована модель світу прогнозує, що станеться, якщо я зроблю те саме на Міжнародній космічній станції, а не на поверхні Землі.

Це відрізняється від LLM. LLM прогнозує: “За цю послідовність токенів, який токен наступний?” Вона навчена на тексті – про те, що люди написали про світ, а не про сам світ. Вона може сказати, що впущені яблука падають, тому що вона прочитала про це. Але в ній немає внутрішнього фізичного двигуна, який симулює падіння.

Інакше кажучи, LLM добре підходить для статистичного прогнозування наступного слова у відповіді на питання, але розуміння реального світу виходить за межі мовного опису та узгодженості. Моделі світу мають на меті зрозуміти, як ситуації розвиваються крок за кроком, який є наступним станом за поточним станом та дією, яка відбувається, які обмеження існують.

Моделі світу часто описуються як можливість для систем штучного інтелекту симулювати результати перед прийняттям дії. Як це виглядає на практиці, і наскільки ми близькі до того, щоб побачити це працює надійно поза дослідницькими середовищами?

Одна з проблем у відповіді на це питання полягає в тому, що термін “модель світу” використовується досить вільно, і його значення змінюється залежно від контексту. Проста визначення моделі світу полягає в тому, що вони дозволяють агенту симулювати своє поточне середовище та прогнозувати майбутні стани, і розуміти наслідки дій. Дослідники схильні категоризувати моделі світу більш детально, залежно від їх представлення та методів обробки. Існують латентні моделі світу, які відокремлюють “сутність” середовища в компактний фокусований простір. Існують генеративні моделі світу, які “розуміють” фізику для створення кадр-за-кадром візуальних представлень, і існують моделі архітектури передбачення (JEPA), які прогнозують результати з попередніх дій.

Латентні моделі світу вже вийшли з дослідницької лабораторії та допомагають у застосуваннях, таких як автономне водіння, операції на складах, промислові операції та сільське господарство. Генеративні моделі світу з’являються у створенні синтетичних даних для розробки ігор, для випадків використання автономного транспорту, втіленого штучного інтелекту для відеосимуляції рухів людини, і для створення архітектурних візуалізацій,

Підхід JEPA, який схвалюють промислові лумінарії, такі як Ян Лекун, прогнозує результати в абстрактному просторі представлення, а не генерації пікселів. Роботи в основному обмежувалися контрольованими середовищами, але JEPA змінює це, дозволяючи роботам переходити до відкритих, реальних умов. Автономні транспортні засоби – це хороший приклад – деякі з них використовують Genie 3 для генерації гіперреалістичних, інтерактивних симуляцій для навчання та кращого xửлення рідкісних подій, таких як зони будівництва.

Очевидно, що для масштабування цих моделей поза ізольованими середовищами та у реальний світ потрібне значно більше тестування на безпеку та надійність.

З точки зору підприємства, де ви очікуєте, що моделі світу доставлять значну цінність спочатку, чи то в робототехніці, автономних системах прийняття рішень, цифрових двійниках чи в більш абстрактних бізнес-середовищах?

Мій інстинкт говорить, що цифрові двійники, ймовірно, доставлять практичну цінність спочатку. Відтворення стану реальної системи, щоб протестувати сценарії перед діями. Наприклад, у системі ланцюга постачання виробник може створити двійник своєї мережі партнерів-компонентів. Симуляція може бути підживлена даними датчиків, журналами, телеметричними даними та може відповісти на питання, такі як “Що станеться, якщо буде закритий Ормузька протока?” Таким чином, ми можемо протестувати перенаправлення відправлень, перш ніж фактично змінити логістику. Це допомагає нам перейти від моніторингу живої системи до симуляції живої системи.

Цінність моделей світу для робототехніки рухається паралельно. Маємо роботів, які розуміють фундаментальні властивості фізики, такі як тертя на поверхні при піднятті об’єкта, що запустить розгортання втіленого штучного інтелекту на високій швидкості.

Більша частина вашої кар’єри була зосереджена на зборі даних, анотації та валідації. Як зміниються проблеми з даними при переході від статичного навчання мови до навчання систем, як поводиться світ з часом?

Ситуація збору даних для моделей світу вимагає великого повороту від вчорашніх методів навчання LLM. По-перше, у нас немає величезної кількості попередньо навчених даних, петабайт з Common Crawl та мільярдів веб-сторінок. Деякі дослідники робототехніки припустили, що у нас є лише 1/1000 частина даних, необхідних для навчання фізичної інтелектуальності та моделей світу, щоб досягти еквівалентної точки виконання, наприклад, GPT2.

Отже, це займе деякий час, щоб побудувати ці набори даних. У випадку з втіленим штучним інтелектом нам потрібно буде мільйони годин анотованих егозентричних багатосенсорних наборів даних. Деякі з них телекерованими, деякі з синтетичних середовищ, таких як Isaac Sim. У TELUS Digital ми здійснили перехід від тексту до багатосенсорних та симуляційних наборів даних. Нас підтримує наш сильний досвід збору даних та анотації у сфері комп’ютерного зору. Ми були на передовій тут протягом багатьох років.

Поза рідкістю попередньо навчених даних та анотованих даних для тонкого налаштування, будуть інші проблеми з навчаннями при масштабуванні навчання з підкріпленням. Можуть бути нові трансформаційні (без подвійного сенсу) парадигми, такі як GPT та концепції RL, необхідні для прискорення проривів у ефективності методів навчання моделей світу.

Моделі світу впливають на рішення, а не просто генерують вивід. Які нові ризики безпеки чи управління це вводить порівняно з генеративними системами штучного інтелекту?

Є багато ризиків безпеки та управління, оскільки моделі світу призначені для підтримки агентських операцій. Отже, всі проблеми, які у нас є щодо сьогодні генерації агентів штучного інтелекту, все ще застосовуються у сценарії моделі світу. Нам потрібно людське спостереження за всіма важливими рішеннями, будь то пов’язані з безпекою транспорту, професійною безпекою, охороною здоров’я, фінансами та повсякденними діяльностями.

Приклад, специфічний для моделей світу, полягає в розриві між тренувальними даними та реальним середовищем. Незначна поверхнева відмінність може зробити реальний світ заплутаним для роботів, які добре навчилися у симуляції.

Інший ризик пов’язаний з поведінкою людини. Коли системи стають все більш автономними, люди починають сильно покладатися на них, і спостереження можуть стати ласкими, і врешті-решт система не отримає необхідної перенастройки.

Упередженість та довіра залишаються основними бар’єрами для прийняття штучного інтелекту. Як ці проблеми змінюються, коли системи штучного інтелекту починають моделювати та діяти у складних реальних чи соціальних середовищах?

Від загальної публіки до вищого керівництва довіра та впевненість у моделях штучного інтелекту вже досить низькі, і я не бачу, щоб це змінилося значно у короткій перспективі.

Проблеми щодо концентрації влади штучного інтелекту в руках небагатьох людей, про те, що штучний інтелект відбирає робочі місця, про упередженість штучного інтелекту, яка ставить меншини у невигідне становище, про моделі, які приймають рішення, що впливають на здоров’я, кар’єру та фінанси людини, про моделі, які використовують інтелектуальну власність без згоди, а також про проблеми з глибокими підробками штучного інтелекту, вже досить високі. Виконавчі директори хвилюються щодо обробки переходу робочої сили, захисту даних та дотримання нормативних вимог, а також про те, що вони можуть втратити позиції перед конкурентами у “гонці озброєння” штучного інтелекту.

Останні події в новинах щодо державного тиску на будівників фундаментальних моделей штучного інтелекту, щоб розслабити умови використання щодо таких речей, як автономні збройові системи або масове спостереження, тільки посилюють ці проблеми.

З іншого боку, ми бачимо окремі випадки широкого прийняття штучного інтелекту та довіри. Наприклад, той, яким чином агенти кодування розлетілися за останні кілька місяців. Менеджери зі розробки програмного забезпечення мають високу довіру до агентів кодування, і відбувається фундаментальна зміна у способі розробки програмного забезпечення, від розробки технічних вимог до пострелізного тестування регресії. Світ розробки програмного забезпечення розвивається зі швидкістю світла, і багато з цього відбувається завдяки довірі до високопродуктивних агентів кодування. Коли довіра користувачів зростає в інших випадках використання, я очікую, що прийняття буде відбуватися подібним чином.

Рішення для будівництва довіри включають різноманітні набори даних та середовища на етапах навчання, а також широке червоне тестування та стрес-тестування як безпековий бар’єр перед розгортанням. Проактивне нормативне спостереження також є обов’язковим. Деякі запропонували, щоб будівельники фундаментальних моделей мали обов’язок надавати “Звіти про вплив на суспільство”, подібні до звітів про вплив на навколишнє середовище (EIR), перед випуском нових моделей.

У TELUS Digital багато роботи полягає у розгортанні штучного інтелекту у великому масштабі для реальних підприємств та реальних користувачів. Як ідеї, такі як моделі світу, перетинаються з практичними проблемами, такими як прозорість, вплив на робочу силу та підтримання довіри клієнтів?

Щоб уточнити, TELUS Digital працює як безпосередньо з будівельниками фундаментальних моделей, так і з підприємствами, які розгортають моделі штучного інтелекту. Наша сфера діяльності – від початку до кінця:

Питання про практичні проблеми пов’язане з попереднім питанням про довіру. Давайте розглянемо питання довіри робочої сили. Коли штучний інтелект, який використовує моделі світу, стає все більш поширеним, виконавці повинні бути прозорими зі своїми працівниками, підрядниками та клієнтами. Потрібна чітка комунікація про те, що моделі добре роблять, як їх навчали, які дані були використані для навчання, які бар’єри були встановлені та де відбувається людське спостереження. Лідери підприємств повинні показати поточній робочій силі цінність нових моделей, наприклад, виконання всіх рутинних робіт у роботі. І їм потрібно показати шляхи переходу для працівників, які можуть переходити на нові появляючіся робочі місця, оскільки попередні робочі місця все більше виконуються штучним інтелектом, який використовує моделі світу. Робочі білі комірці займаються цим у реальному часі, і багато ручних робіт будуть вплинуті у найближчі роки, коли автоматизація, яка використовує моделі світу, розгортається.

Є зростаючий розрив між тим, що дослідники штучного інтелекту розуміють, та тим, як це сприймає громадськість. Як організації можуть спілкувати про досягнення, такі як моделі світу, щоб будувати довіру, не перебільшуючи їхніх можливостей?

Знову ж таки, це залежить від прозорості щодо обмежень моделей та того, у чому вони хороші. Комунікація про те, як моделі були навчені для мінімізації потенційних упереджень. Які людські бар’єри встановлені. Деякі реальні демонстрації можливостей моделі та випадків використання, поєднані з довгостроковими дослідженнями, можуть багато зробити для збільшення загальної публічної та робочої довіри.

Нарешті, яке одне поширене неправильне уявлення про моделі світу штучного інтелекту, чи то надмірно оптимістичне, чи надмірно обережне, ви вважаєте, що потрібно виправити прямо зараз?

До обмеженої міри, у якій громадськість інформована про моделі світу, одне неправильне уявлення полягає в тому, що моделі світу потребують розуміння всіх фізики та науки, щоб бути ефективними. Моделі світу будуть розгортатися раніше, ніж можна було б очікувати, оскільки окремі випадки використання можуть бути звужені. Автономний транспортний засіб потребує лише розуміння динаміки руху та пов’язаної з ним фізики, а також того, як поточні умови (наприклад, перебування біля початкової школи, або наявність поблизу SUV з високими силуетами) впливають на їхнє бачення та прийняття рішень. Автономний транспортний засіб не потребує фізики, яка підтримує те, як працює випічка суфле, щоб функціонувати.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати TELUS Digital.