Marc Fernandez, ředitel pro strategii ve společnosti Neurologyca – série rozhovorů

Marc Fernandez, ředitel pro strategii ve společnosti Neurologyca, je technologický stratég a výkonný manažer v oblasti rozvoje podnikání s více než dvacetiletou zkušeností v oblasti umělé inteligence, nových technologií, spotřební elektroniky a interakce člověk‑počítač. Ve společnosti Neurologyca se soustředí na strategii a komercializaci Human Context AI, která má pomáhat AI systémům interpretovat signály jako stres, sebejistotu a zapojení. Fernandez dříve působil jako generální ředitel společnosti Pearl, platformy řízené AI zaměřené na měkké dovednosti a profesní rozvoj, a jako podnikatel v rezidenci ve společnosti ALIVE Ventures, kde pracoval v oblasti age‑tech. Dříve vedl strategii pro USA ve společnosti OPPO, zaměřenou na technologie další generace včetně AI, Web3, blockchainu a mobilních operačních systémů, a zastával seniorní pozice v rozvoji podnikání ve firmách Emerge, Denizen, SweetLabs, Movella a X‑Rite/Pantone. Také strávil 15 let jako přídavný profesor na University of Southern California, kde vyučoval na průsečíku podnikání, komunikace, sociálních platforem, AI, blockchainu a dalších nových technologií.

Neurologyca je společnost sídlící v San Franciscu, která vyvíjí to, co popisuje jako Human Context Layer pro inteligentní systémy, což umožňuje AI aplikacím a agentům lépe rozumět lidem, které obsluhují, a přizpůsobovat se jim. Její platforma založená na API a SDK zpracovává multimodální behaviorální signály, vzorce interakcí a situační kontext a vytváří strojově čitelné indikátory faktorů jako zapojení, sebejistota, stres, pozornost a důvěra. Tyto poznatky mohou pomoci AI systémům v reálném čase upravovat své odpovědi, tempo, doporučení a akce při zachování kontextové kontinuity napříč interakcemi. Neurologyca pozicuje tuto technologii jako infrastrukturu spíše než samostatnou aplikaci, s potenciálními využitími v oblasti vzdělávání a školení, wellness, podnikového softwaru, autonomních agentů, bezpečnosti řidičů, her a dalších interaktivních systémů. Společnost v současnosti nabízí platformu prostřednictvím selektivního programu předběžného přístupu pro partnery, kteří budují adaptivní AI zážitky.

Vaše kariéra vás zavedla od strategie technologií další generace ve společnosti OPPO přes budování Pearl zaměřené na AI‑vedené měkké dovednosti až po vývoj AI zaměřené na lidský kontext ve společnosti Neurologyca. Jak tento vývoj formoval váš názor, že jedním z největších omezení AI není samotná inteligence, ale pochopení člověka stojícího za pokynem?

Před třiceti lety web zpřístupnil informace. Před pěti lety AI vytvořila hojnost výstupů. Dnes se topíme v obsahu a stále se snažíme získat užitečné výsledky. Pouhá technická síla nezaručuje dobrý výsledek pro skutečného člověka na přijímající straně.

Toto je provázecí téma mé práce – od začlenění nových technologií do každodenního života ve společnosti OPPO, přes testování, zda AI dokáže učit mezilidské dovednosti v Pearl, až po budování lidského kontextu jako infrastruktury ve společnosti Neurologyca. Inteligence již není skutečnou úzkou hrdlou; modely rozumí a vykonávají úkoly bez problémů. Těžší otázkou je veškerý nevyslovený kontext, který lidé přinášejí k jednoduchému požadavku: proč se ptají, co je znepokojuje, nebo zda mírná váhavost znamená, že by systém měl operaci přerušit. V současnosti AI vidí jen komprimovaný výsek toho prostřednictvím textu a jakmile agenti začnou provádět akce ve skutečném světě, tato slepá skvrna se stává kritickou.

Poslední příklady autonomních agentů kradouce přihlašovací údaje, vytvářející falešné identity nebo skrývající své činy vyvolávají otázky, co se stane, když se AI stane vysoce účinnou při dosahování cíle, aniž by plně rozuměla úmyslu, který za ním stojí. Vidíte to spíše jako problém sladění, technický problém nebo zásadní omezení současného návrhu agentů?

Je to selhání designu, které zahrnuje jak sladění, tak inženýrství. Optimalizovali jsme systémy tak, aby dosahovaly cílů, aniž bychom věnovali dostatek úsilí jejich výuce, jak vypadá skutečný úspěch pro lidského uživatele.

Podívejte se na klasický příklad GPT‑4 TaskRabbit: když se setkal s CAPTCHA, model lhal a tvrdil, že má zrakové postižení, aby získal lidského pracovníka k jejímu vyřešení. Nikdo ho nevyučil klamat; jen identifikoval překážku a zvolil cestu nejmenšího odporu. Pokud odměníte agenta jen za výsledek, zvolí divoké zkratky. Hlavní výzvou je rozdělení akcí, které musí být architektonicky zablokovány, od akcí, které jsou technicky povoleny, ale kontextově nesprávné.

Argumentovali jste, že společnosti jsou lepší v tom, že AI agentům říkají, jaký cíl mají sledovat, aniž by jim poskytly dostatečné pochopení toho, co „úspěch“ skutečně znamená pro lidského uživatele. Jaké informace potřebuje agent kromě samotného promptu, aby skutečně pochopil úmysl?

Prompt je jen povrchová vrstva. Skutečný úmysl závisí na hloubce situace: předchozí historii, akceptovatelných kompromisech, skutečných sázkách a tom, jak uživatel reaguje během úkolu.

Část toho pochází ze stavu prostředí aplikace nebo historie chatu, ale při přímých interakcích jsou behaviorální signály tím, co udržuje kontext dynamický. Lidé váhají, mění názor během procesu nebo se zmatení. Pokud agent nedokáže tyto změny číst, jen neúnavně sleduje instrukci, která se stala před dvěma kroky zastaralou.

Existuje důležitý rozdíl mezi akcemi, které by pro agenta měly být technicky nemožné, a akcemi, které jsou povoleny, ale v konkrétním kontextu nevhodné. Jak by vývojáři měli rozdělit odpovědnost mezi pevné bezpečnostní zábrany a schopnost AI systému uplatňovat kontextové úsudky?

Jakákoli akce způsobující vážné poškození bez jakýchkoli legitimních případů použití – krádež přihlašovacích údajů, vymazání auditních logů, neautorizované zvýšení oprávnění – by měla být pevně zakódována jako neexistující. Agent by neměl plýtvat výpočetním časem na vyjednávání, zda obejít bezpečnostní kontroly; architektura systému by je měla jednoduše učinit nemožnými.

Skutečná šedá zóna jsou každodenní akce, jako je odesílání e‑mailů, rušení schůzek nebo úprava interních pracovních postupů. Tyto akce jsou teoreticky povoleny, ale zda by je agent měl automaticky provádět, závisí na sázkách, historii uživatele, možnosti zpětného kroku a jemných signálech uživatelské váhavosti. Vědět, kdy přestat, protože kontext chybí, je mnohem důležitější než samotná schopnost.

Neurologyca vyvíjí technologii, která dokáže převést signály jako stres, sebejistotu, pozornost, zapojení a důvěru do strojově čitelného kontextu. Jak by takové signály mohly prakticky změnit chování autonomního AI agenta během plnění úkolu?

Tyto behaviorální vstupy jsou v podstatě data o reakcích v reálném čase – přesná smyčka zpětné vazby, která v současných AI architekturách chybí. V tuto chvíli modely sledují své vlastní akce, ale jsou zcela slepé k tomu, jak je člověk skutečně přijímá.
Uvažujme kontext doučování: uživatel napíše „Rozumím“, ale jeho fyziologické nebo behaviorální signály ukazují narůstající zmatek a klesající pozornost. To je přímý signál pro AI, aby změnila směr, zpomalila nebo nabídla alternativní vysvětlení. Cílem nejsou klinické diagnózy; jde jen o vytvoření úzké smyčky zpětné vazby – kontext, akce, reakce, adaptace – aby systém zjistil, co skutečně funguje pro konkrétního jedince.

Lidský kontext může být také nejednoznačný. Systém může špatně interpretovat váhavost, stres, tón hlasu nebo jiné behaviorální signály. Jak zabránit kontextově‑uvědomělé AI, aby se stala příliš sebejistou ohledně toho, co člověk myslí nebo zamýšlí?

Behaviorální signály jsou inherentně šumivé a pravděpodobnostní. Náhlý nárůst stresu nebo pauza v psaní může znamenat zmatek, nebo to může být jen to, že uživatel rozlil kávu. Systémy, které převádějí jediný datový bod na definitivní tvrzení o emocionálním stavu osoby, jsou zásadně chyby.

Robustní systémy sledují složené signály v průběhu času, zohledňují environmentální základní hodnoty a explicitně uvádějí intervaly spolehlivosti. Existuje obrovský rozdíl mezi zaznamenáním „zvýšené kognitivní zátěže vůči základní hodnotě“ a rozhodnutím „uživatel je úzkostlivý“. Když je nejistota vysoká nebo jsou sázky významné, úkolem agenta není hádat – je třeba položit upřesňující otázku.

Začlenění člověka do smyčky u každého zásadního rozhodnutí může podkopat velkou část efektivity, kterou autonomní agenti slibují. Jak vypadá škálovatelný model lidského dohledu, kde agent ví, kdy může postupovat samostatně a kdy skutečně potřebuje zastavit a požádat o vedení?

Škálovatelný dohled neznamená udržovat trvalého člověka v smyčce; jde o dynamické eskalování.

Úkoly s nízkým rizikem a možností zpětného kroku pokračují automaticky. Jakmile však rostou sázky, zvyšuje se ambientní šum nebo signály naznačují nepohodlí uživatele, prahová hodnota schválení se dynamicky zvyšuje. Klíčové je, že tyto prahy musí být personalizované – jeden manažer může rád delegovat správu kalendáře, zatímco jiný chce schvalovat každou drobnou úpravu. Systém musí učit individuální hranice, nikoli uplatňovat rigidní globální politiky.

Jak agenti vyvíjejí trvalou paměť a stále podrobnější modely lidí, které obsluhují, může kontext rychle přejít na citlivá osobní data. Jak by měly společnosti přistupovat k souhlasu, ochraně soukromí, vlastnictví dat a omezením toho, co AI smí o uživateli zapamatovat?

Jedná se o hlavní úzkou hrdlo důvěry, které čelí autonomním systémům. Trvalá paměť promění obecný nástroj na asistenta, ale existuje nebezpečný překryv mezi ukládáním preferencí pracovních postupů a tichým vytvářením neschváleného psychologického profilu.
Správa dat zde vyžaduje přísné hranice účelu. Pokud agent během sezení executive coachingu odhalí vzorce stresu, tento kontext nesmí uniknout do hodnocení výkonu, pojišťovacích algoritmů nebo reklamních technologií. Transparentnost musí být detailní – uživatelé potřebují viditelnost uloženého kontextu, jedním kliknutím smazat a rozumné výchozí limity uchovávání. Pouze proto, že systém může něco o vás odhadnout, mu nedává oprávnění to ukládat.

Jak bychom měli hodnotit, zda autonomní agent skutečně rozumí lidskému úmyslu? Soustředí se dnešní měřítka příliš na dokončení úkolu a přesnost, místo toho, aby zohledňovala, zda agent dosáhl cíle způsobem, který by uživatel považoval za přijatelný?

Dokončení úkolu je hluboce zavádějící měřítko. Agent může dodržet instrukci do posledního detailu a přesto dodat výsledek, který uživatel nenávidí.

Pokud agent získá nejnižší cenu za smlouvu, ale při tom zničí desetiletý vztah s dodavatelem, tradiční hodnotící metriky zaznamenají 100 % úspěšnost. Pro manažera je to katastrofa. Potřebujeme měřítka, která hodnotí výkon v rámci nevyslovených hranic: Respektovalo agent nevyřčené normy? Zastavil se, když se podmínky změnily? Tato mezera mezi čistým dokončením a skutečnou spokojeností je to, co současná měřítka zcela ignorují.

Do budoucna očekáváte, že schopnosti lidského kontextu se stanou standardní vrstvou AI stacku vedle modelů, paměti, nástrojů a zabezpečení? Co ještě musí být vyřešeno, než budou podniky schopny s důvěrou delegovat smysluplnou práci agentům bez neustálého dohledu?

Jak AI přechází od generování obsahu k provádění akcí ve skutečném světě, lidský kontext se stává nezbytnou vrstvou. Modely zajišťují uvažování a nástroje poskytují systému „ruce“, ale bez lidského kontextu fungujícího jako živá smyčka zpětné vazby jsou paměť a bezpečnostní zábrany v podstatě založeny na statických předpokladech.

Než podniky delegují skutečnou pravomoc, musíme ještě vyřešit kontextovou soukromí, pravděpodobnostní uvažování v nejistotě a detailní pravidla správy. Vytvoření AI, která dokončuje izolované úkoly, je z velké části vyřešeno; umožnění systémům dynamicky se přizpůsobovat člověku za promptem určí, kolik skutečné autonomie jim budeme ochotni poskytnout.

Děkujeme za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Neurologyca.