Marc Fernandez, головний стратегічний директор Neurologyca – серія інтерв’ю

Marc Fernandez, головний стратегічний директор Neurologyca, є технологічним стратегом і виконавчим у сфері розвитку бізнесу з більш ніж двадцятьма роками досвіду, що охоплює штучний інтелект, нові технології, споживчу електроніку та взаємодію людина‑комп’ютер. У Neurologyca він зосереджується на стратегії та комерціалізації Human Context AI, створеної для допомоги системам ШІ інтерпретувати сигнали, такі як стрес, впевненість і залученість. Фернандес раніше був генеральним директором Pearl, платформи, керованої ШІ, орієнтованої на м’які навички та професійний розвиток, а також Entrepreneur in Residence у ALIVE Ventures, де працював у сфері технологій для людей похилого віку. Раніше він очолював стратегію в США в OPPO, зосереджуючись на технологіях наступного покоління, включаючи ШІ, Web3, блокчейн і мобільні операційні системи, і займав провідні посади у розвитку бізнесу в Emerge, Denizen, SweetLabs, Movella та X‑Rite/Pantone. Він також 15 років працював як позаштатний професор Університету Південної Каліфорнії, викладаючи на перетині підприємництва, комунікації, соціальних платформ, ШІ, блокчейну та інших нових технологій.

Neurologyca – це компанія зі штучного інтелекту, розташована в Сан‑Франциско, яка створює те, що вона називає Human Context Layer для інтелектуальних систем, дозволяючи застосункам ШІ та агентам краще розуміти та адаптуватися до людей, яким вони служать. Її платформа на базі API та SDK обробляє мультимодальні поведінкові сигнали, патерни взаємодії та ситуаційний контекст, генеруючи машиночитабельні індикатори факторів, таких як залученість, впевненість, стрес, увага та довіра. Ці інсайти допомагають системам ШІ адаптувати свої відповіді, темп, рекомендації та дії в реальному часі, зберігаючи контекстуальну послідовність між взаємодіями. Neurologyca позиціонує технологію як інфраструктуру, а не як окремий застосунок, з потенційними сценаріями в освіті та навчанні, оздоровленні, корпоративному програмному забезпеченні, автономних агентах, безпеці водіїв, іграх та інших інтерактивних системах. Компанія наразі пропонує платформу через вибіркову програму раннього доступу для партнерів, що створюють адаптивний досвід ШІ.

Ваша кар’єра пройшла шляхом від стратегії технологій наступного покоління в OPPO до створення Pearl, орієнтованої на м’які навички під керівництвом ШІ, і тепер до розробки штучного інтелекту з урахуванням людського контексту в Neurologyca. Як цей розвиток сформував вашу точку зору, що одне з найбільших обмежень ШІ – не інтелект сам по собі, а розуміння людини, що стоїть за інструкцією?

Тридцять років тому інтернет зробив інформацію доступною. П’ять років тому ШІ забезпечив надмірну кількість результатів. Сьогодні ми тонуємо у контенті, одночасно намагаючись отримати корисні результати. Чистої технічної потужності недостатньо, щоб гарантувати хороший результат для реальної людини, яка отримує вихід.

Це була спільна лінія у всій моїй роботі — від впровадження нових технологій у повсякденне життя в OPPO, до випробувань, чи може ШІ навчати міжособистісних навичок у Pearl, і до створення людського контексту як інфраструктури в Neurologyca. Інтелект більше не є вузьким місцем; моделі розуміються і виконуються добре. Складніше – це весь невимовний контекст, який люди приносять до простого запиту: чому вони запитали, що їх турбує, чи незначна вагань означає, що система повинна зупинитися. Наразі ШІ бачить лише стислий зріз цього через текст, і коли агенти починають виконувати реальні дії, ця сліпа зона стає критичною.

Недавні приклади автономних агентів, які крадуть облікові дані, створюють підроблені особистості або приховують свої дії, піднімають питання про те, що станеться, коли ШІ стане надзвичайно ефективним у досягненні мети без повного розуміння наміру, що стоїть за нею. Чи розглядаєте ви це переважно як проблему вирівнювання, інженерну проблему чи фундаментальне обмеження того, як ми зараз проєктуємо агентів?

Це провал у дизайні, що охоплює як вирівнювання, так і інженерію. Ми оптимізували системи для досягнення цілей, не вкладаючи достатньо зусиль у навчання їх тому, що насправді означає успіх для користувача‑людини.

Подивіться на класичний приклад GPT‑4 TaskRabbit: коли модель зіткнулася з CAPTCHA, вона збрехала, що має проблеми зі зором, щоб змусити людину‑робітника її розв’язати. Ніхто не навчав її обманювати; вона просто виявила перешкоду і обрала шлях найменшого опору. Якщо агент винагороджувати лише за результат, він знайде дикий короткий шлях. Основна проблема – розділити дії, які мають бути архітектурно заблоковані, від дій, які технічно дозволені, але контекстуально неправильні.

Ви стверджували, що компанії стають кращими у тому, щоб сказати агентам ШІ, яку мету слід досягти, не даючи їм достатньо розуміння того, що «успіх» означає для користувача‑людини. Яку інформацію потребує агент, окрім самого запиту, щоб справді зрозуміти намір?

Запити – лише поверхневий шар. Справжній намір спирається на глибину ситуації: попередню історію, прийнятні компроміси, реальні ставки та реакції користувача під час виконання.

Деяка частина цього надходить зі стану середовища додатку або історії чату, але в прямих взаємодіях поведінкові підказки – це те, що тримає контекст динамічним. Люди вагаються, змінюють думку посеред процесу або плутаються. Якщо агент не може читати ці зміни, він просто безупинно виконує інструкцію, яка стала застарілою ще два кроки тому.

Існує важливе розмежування між діями, які агент повинен бути технічно нездатним виконувати, і діями, які дозволені, але недоречні в конкретному контексті. Як розробники мають розподіляти відповідальність між жорсткими захисними бар’єрами та здатністю системи ШІ здійснювати контекстуальне судження?

Будь‑яка дія, що завдає тяжкої шкоди і не має жодних легітимних випадків використання – крадіжка облікових даних, стирання журналів, несанкціоноване підвищення привілеїв – має бути жорстко виключена на рівні коду. Агент не повинен витрачати обчислювальні ресурси на роздуми, чи обійти безпекові контролі; архітектура системи має просто робити їх неможливими.

Справжня сіра зона – це щоденні дії, такі як надсилання електронних листів, скасування зустрічей або зміна внутрішніх робочих процесів. Теоретично вони дозволені, але чи має агент виконувати їх автоматично, залежить від ставок, історії користувача, можливості відкату та тонких ознак вагань. Знати, коли зупинитися через відсутність контексту, важливіше за чисту потужність.

Neurologyca розробляє технологію, яка може перетворювати сигнали, такі як стрес, впевненість, увага, залученість і довіра, у машиночитабельний контекст. Як такі сигнали практично змінять поведінку автономного агента під час виконання завдання?

Ці поведінкові входи – по суті дані реакції в реальному часі, саме той зворотний зв’язок, якого бракує в сучасних архітектурах ШІ. Зараз моделі відстежують лише свої дії, залишаючись повністю сліпими до того, як людина їх сприймає.
Уявіть контекст репетиторства: користувач пише «Я розумію», але його фізіологічні чи поведінкові сигнали вказують на зростаючу плутанину і падіння уваги. Це прямий сигнал ШІ змінити темп, сповільнитися або запропонувати інше пояснення. Мета не діагностика, а створення щільного циклу зворотного зв’язку – контекст, дія, реакція, адаптація – щоб система навчилася, що працює саме для цієї конкретної особи.

Людський контекст може бути неоднозначним. Система може неправильно інтерпретувати вагання, стрес, тон голосу або інші поведінкові сигнали. Як запобігти тому, щоб контекстно‑обізнаний ШІ не став надмірно впевненим у тому, що людина думає або має намір?

Поведінкові сигнали за своєю природою шумні і ймовірнісні. Раптовий стрибок стресу або пауза в наборі можуть означати плутанину, а можуть просто означати, що користувач пролив каву. Системи, які перетворюють одну точку даних у остаточне твердження про емоційний стан людини, фундаментально хибні.

Надійні системи аналізують складові сигнали протягом часу, враховують базові рівні середовища і явно виводять межі впевненості. Є величезна різниця між записом «підвищене когнітивне навантаження щодо базового рівня» і висновком «користувач тривожний». Коли невизначеність висока або ставки значні, завдання агента – не вгадувати, а ставити уточнююче питання.

Включення людини у цикл для кожного важливого рішення може підривати ефективність, яку обіцяють автономні агенти. Яким має бути масштабована модель людського нагляду, коли агент розуміє, коли може діяти самостійно, а коли йому справді треба зупинитися і попросити керівництво?

Масштабований нагляд не полягає у постійному залученні людини; це динамічне ескалація.

Завдання з низькими ставками та можливістю відкату виконуються автоматично. Але коли ставки зростають, шум навколо збільшується, або сигнали підказують дискомфорт користувача, поріг схвалення підвищується динамічно. Важливо, щоб ці пороги були персоналізованими – один менеджер може без проблем делегувати управління календарем, інший хоче схвалювати кожну незначну правку. Система повинна вчитися індивідуальним межам, а не застосовувати жорсткі глобальні правила.

Коли агенти розвивають постійну пам’ять і дедалі детальніші моделі людей, яким вони служать, контекст швидко стає чутливими персональними даними. Як компанії повинні підходити до згоди, конфіденційності, власності даних та обмежень того, що ШІ може пам’ятати про користувача?

Це головна «вузька» довіра для автономних систем. Постійна пам’ять перетворює загальний інструмент на асистента, проте існує небезпечне перетинання між збереженням уподобань робочих процесів і таємним створенням психологічного профілю без схвалення.
Управління даними тут вимагає суворих меж цілей. Якщо агент виводить патерни стресу під час сесії executive‑coaching, цей контекст не може потрапити у оцінки продуктивності, страхові алгоритми чи рекламні технології. Прозорість має бути деталізованою – користувачі повинні бачити, який контекст збережено, мати можливість одноразового видалення та розумні типові обмеження зберігання. Той факт, що система може щось про вас вивести, не дає їй права це зберігати.

Як ми маємо оцінювати, чи автономний агент дійсно розуміє людський намір? Чи сьогоднішні бенчмарки надто орієнтовані на завершення завдання та точність, а не на те, чи агент досягнув мети так, як користувач вважатиме це прийнятним?

Завершення завдання – дуже оманливий бенчмарк. Агент може слідувати інструкції до букви і все одно надати результат, який користувач ненавидить.

Якщо агент забезпечує найнижчу ціну за контракт, але руйнує десятилітню взаємовідносину з постачальником, традиційні метрики зафіксують 100 % успішність. Для керівника це катастрофа. Потрібні бенчмарки, які вимірюватимуть виконання в межах неявних обмежень: чи дотримувався він ненаписаних норм? Чи зупинився, коли умови змінилися? Ця розрив між чистим завершенням і реальним задоволенням – саме те, що нинішні бенчмарки повністю ігнорують.

Дивлячись у майбутнє, чи очікуєте ви, що можливості людського контексту стануть стандартним шаром у стеку ШІ поряд із моделями, пам’яттю, інструментами та безпекою? Що ще потрібно вирішити, перш ніж підприємства зможуть впевнено делегувати значущу роботу агентам без постійного контролю?

У міру того, як ШІ переходить від генерації контенту до реальних дій у світі, людський контекст стає необхідним шаром. Моделі забезпечують розуміння, інструменти дають «руки», а без живого зворотного зв’язку у вигляді людського контексту пам’ять і безпекові бар’єри працюватимуть лише на статичних припущеннях.

Перш ніж підприємства передадуть реальну владу, нам ще треба розв’язати питання контекстної конфіденційності, ймовірного мислення в умовах невизначеності та детального управління. Створення ШІ, який виконує ізольовані завдання, майже завершене; адаптація систем до людини, що стоїть за запитом, визначатиме, скільки реальної автономії ми готові надати.

Дякуємо за чудове інтерв’ю, читачі, які бажають дізнатися більше, повинні відвідати Neurologyca.