Rozhovory

Oran Moyal, spoluzakladatel a technický ředitel společnosti Ocean Security – rozhovor

Antoine Tardif
Přidejte Unite.AI mezi své preferované zdroje na Google
Oran Moyal, Co-Founder and CTO of Ocean Security
Klíčové bodyStav nativní pro AI je spíše organizační než technický, protože mění způsob, jakým…
Zobrazit více
  • Stav nativní pro AI je spíše organizační než technický, protože mění způsob, jakým každý tým zpracovává práci.
  • Zrychlení jednotlivých úkolů selhává, když předávání a schvalování zůstávají skutečnými úzkými místy mezi kroky.
  • Agenti potřebují vynucená oprávnění a nezávislé ověřování, protože samotné instrukce nejsou bezpečnostními kontrolami.

Oran Moyal je spoluzakladatelem a technickým ředitelem společnosti Ocean Security, kde vyvíjí agentní AI pro vyšetřování sofistikovaných e-mailových hrozeb. Jeho zkušenosti zahrnují výzkum a vývoj v oblasti kybernetické bezpečnosti, ofenzivní sociální inženýrství i zabezpečení podnikových systémů. V roce 2024 spoluzaložil společnost Ocean se Shayem Shwartzlem. Vycházeli přitom ze svých zkušeností s analýzou toho, jak útočníci zneužívají důvěryhodnou komunikaci a jak mohou bezpečnostní systémy reagovat na stále cílenější hrozby.

Ocean Security vyvíjí platformu pro zabezpečení e-mailů založenou na agentní AI, která má vyšetřovat cílený phishing, kompromitaci firemních e-mailů a finanční podvody. Její specializovaní agenti AI analyzují kontext komunikace i záměry odesílatele a pomáhají bezpečnostním týmům odhalovat hrozby v interakcích, které na první pohled vypadají jako legitimní obchodní komunikace. V tomto rozhovoru Moyal hovoří o tom, čím se vyznačuje organizace nativní pro AI, jak přepracovat pracovní postupy s ohledem na agenty a proč jsou pro účinnou automatizaci nadále zásadní jasné požadavky, nezávislé ověřování, důsledně vynucovaná oprávnění a lidský úsudek.

Než jste v roce 2024 spoluzaložil společnost Ocean, řadu let jste působil v oblasti výzkumu a vývoje kybernetické bezpečnosti, mimo jiné v Izraelských obranných silách a ve společnostech VisibleRisk / Microsoft Security. Které zkušenosti vás přivedly k založení společnosti Ocean a jak nástup AI od samého počátku ovlivnil vaši představu o tom, jak by měla firma vypadat?

Cílená spear-phishingová kampaň dříve vyžadovala specializovaný tým a týdny ručního výzkumu a příprav. Když se objevila generativní AI, uvědomili jsme si, že každý zaměstnanec každé firmy je nyní vystaven ničivému phishingovému útoku na úrovni, jakou mívají útoky státních aktérů. Ze dne na den umožnilo předplatné za 20 dolarů každému útočníkovi disponovat schopnostmi na úrovni státních aktérů.

Shay i já máme rozsáhlé zkušenosti s ofenzivním sociálním inženýrstvím a oba jsme vybudovali a rozvíjeli společnosti zaměřené na podnikovou bezpečnost, takže jsme věděli, že starší nástroje nedokážou držet krok. Vyhledávají porušení pravidel a anomálie, ale tyto útoky se odehrávají v běžné firemní komunikaci: ve skutečných e-mailových vláknech, prostřednictvím důvěryhodných účtů a legitimních služeb. Nic nevypadá podezřele. Proto jsme v roce 2024 založili společnost Ocean, abychom firmám pomohli přizpůsobit se této nové hrozbě pomocí zabezpečení e-mailů založeného na AI, které v reálném čase analyzuje kontext a záměry odesílatele podobně jako lidský vyšetřovatel, a to ještě předtím, než dojde ke kompromitaci.

Mnoho organizací se označuje za „AI-nativní“ jen proto, že přijaly nástroje AI nebo automatizovaly některé procesy. Co podle vás zásadně odlišuje skutečně AI-nativní organizaci od té, která pouze začlenila AI do stávajícího provozu?

Mnoho firem se označuje za AI-nativní, protože si pořídily nástroje AI. To je ale jen zavádění technologií. Být AI-nativní znamená změnit způsob, jakým firma zvládá každodenní práci a řeší úzká místa.

Začíná to tím, jak vedení reaguje na úzké místo. Tradiční reflex velí: „Tohle zabere příliš mnoho času, najměme někoho, kdo se o to postará.“ Organizace nativní pro AI se nejprve ptá: „Jak může AI urychlit celou tuto oblast?“ Když si tuto otázku položí každý tým, začne celá firma fungovat jinak.

Skutečná transformace směrem k AI-nativní organizaci je organizační, nikoli technická. Když urychlíte práci jednoho oddělení, úzké místo se jen přesune do dalšího a firma nakonec postupuje tempem své nejpomalejší části. AI-nativní organizace se mění jako celek, takže informace proudí rychleji, zpětná vazba přichází v kratších cyklech a týmy spolupracují jako jeden propojený systém.

V tomto modelu se mění hodnota, kterou lidé přinášejí. Jak AI přebírá stále větší část práce, vzácnými dovednostmi se stávají schopnost jasně určovat směr, vymezovat záměr a uplatňovat úsudek. Lidé a agenti pracují bok po boku. AI zajišťuje stále větší část realizace a lidé rozhodují, co stojí za to vytvářet a proč.

Cílem je, aby každý tým se stejnými zdroji zvládl více, pracoval rychleji a lépe spolupracoval, aniž by utrpěla kvalita.

Tvrdíte, že přínosy AI pro produktivitu mohou rychle zmizet, pokud jsou základní pracovní postupy neefektivní. Jaká provozní úzká místa firmám nejčastěji brání plně využít přínosy AI a jak by k přepracování těchto pracovních postupů měli přistupovat vedoucí pracovníci?

Urychlení jednotlivých úkolů automaticky neznamená rychlejší fungování celé organizace. Pokud procesy, závislosti a komunikace mezi týmy zůstanou stejné, většina produktivity, kterou AI přinese, se cestou ztratí.

Nejčastější úzká místa nejsou technického rázu. Jde o nejasné požadavky, které vedou k opakovanému předělávání práce, pomalé předávání úkolů mezi týmy a práci čekající na schválení. AI jednotlivé kroky urychlí, ale čas se ztrácí mezi nimi.

Vedoucí pracovníci by měli začít měřením toho, kam se skutečně ztrácí čas, protože skutečné úzké místo často leží jinde, než se všichni domnívají. Poté by měli přepracovat pracovní postup od začátku do konce a napravit předávání práce, vymezení požadavků a cykly zpětné vazby, místo aby se zaměřili pouze na jednotlivé úkoly. Nakonec by měli každou iniciativu v oblasti AI propojit s klíčovými ukazateli výkonnosti, za které již týmy odpovídají.

Nejdůležitější je, aby vedoucí pracovníci změnili přístup. Automatizace a zrychlování práce by se měly stát výchozím postupem. Týmy by neměly přijímat stávající procesy jako neměnné, ale měly by průběžně zpochybňovat zavedené způsoby práce, aby mohly postupovat rychleji a zvyšovat svůj přínos, aniž by ohrozily kvalitu.

Jedním ze zásad, které zdůrazňujete, je důležitost jasně definovaných požadavků před zavedením agentů AI do pracovního procesu. Jak by měly organizace přehodnotit způsob, jakým vymezují úkoly, sdělují očekávání a stanovují kritéria úspěchu, když mají agenti AI na starosti významnou část práce?

Když agenti AI odvádějí velkou část práce, organizace musí přehodnotit, jak úkoly zadávají a vymezují. Vágní zadání agenta nezastaví. Začne hádat a každý chybný odhad vede k dalším opravám.

Rozděluji si to do tří oblastí:

Jasné úkoly, cíle a kontext. Agent musí rozumět tomu, co je třeba udělat, proč je to důležité a v jakém kontextu úkol vznikl. Ještě před zahájením práce by se měl umět zeptat na vše, co není jasné, aby se nejasnosti vyřešily hned, a ne až v polovině práce.

Vlastní kontrola. Kritéria úspěchu je třeba stanovit předem tak, aby si je agent dokázal ověřit sám. Například při vývoji softwaru by měl agent umět spustit kód, otestovat, zda funguje podle očekávání, a potvrdit, že úspěšně prošel testy, ještě než ho někdo zkontroluje.

Lidé jako poslední stupeň. Lidé by měli dostat výsledek, který agent už několikrát upravil podle dohodnutých kritérií. Jejich úkolem je uplatnit vlastní úsudek, nikoli opravovat základní chyby.

Čím přesnější je zadání, tím méně času musí lidé věnovat každému výsledku.

Prosazujete, aby agenti AI mohli ověřit vlastní práci ještě předtím, než se dostane k lidským kontrolorům. Jak v praxi vypadá účinný proces ověřování řízený AI a jak mohou organizace zajistit, aby automatizované kontroly kvality jen neposilovaly tytéž chyby, k nimž došlo při samotném provádění úkolu?

Účinný proces ověřování testuje práci tak, jak se bude skutečně používat. Agent by měl spustit reálný systém od začátku do konce, potvrdit, že výsledek odpovídá kritériím úspěchu, a opravit vše, co nefunguje, ještě než se k výsledku dostane člověk.

Aby se při ověřování neopakovaly vlastní chyby agenta, je třeba dodržovat několik zásad:

Oddělte kritéria od provádění úkolu. Lidé by měli ještě před zahájením práce určit, jak vypadá úspěšný výsledek. Pokud agent sám rozhoduje o tom, co znamená „hotovo“, bude známkovat vlastní domácí úkol.

Stanovte pevné mantinely. Ne každá kontrola by měla záviset na úsudku agenta. Některé kontroly musí tvořit pevně dané, deterministické testy ověřující konkrétní parametry, normy a zásady. Ty agentovi jasně vymezí hranice, které nelze obejít pouhým zdůvodňováním.

Zapojte nezávislého kontrolora. Druhý agent, který má k dispozici nový kontext a není nijak spojen s původním postupem, odhalí chyby, které první agent přehlédl.

Ukažte důkazy, nejen verdikt. Výsledky testů, snímky obrazovky a záznamy lidem umožní vidět, co se stalo, místo aby jen důvěřovali tomu, že kontrola dopadla „úspěšně“.

Lidská pozornost se pak zaměří tam, kde je riziko nejvyšší. Cílem není lidi z procesu vyřadit, ale zajistit, aby svůj čas věnovali úsudku, nikoli mechanickým kontrolám.

Tradiční organizace se často opírají o několik úrovní řízení, schvalování a předávání práce mezi týmy. Jak provozní model založený na AI mění spolupráci technických, produktových, bezpečnostních a obchodních týmů a co se děje s tradičními rolemi a odpovědnostmi, když agenti přebírají stále větší část práce?

AI umožňuje každému člověku i každému týmu odvést více práce. Pokud ale předávání úkolů, schvalování a koordinace zůstanou beze změny, tato práce navíc se jen hromadí a čeká na další krok. Organizace se nezrychlí. Vzniknou nové překážky. Provozní model založený na AI musí změnit způsob spolupráce mezi týmy, nejen způsob práce jednotlivých týmů.

Začíná to tím, jak se šíří informace. Větší část by měla proudit prostřednictvím automatizace, aby se schůzky mohly věnovat rozhodování namísto předávání novinek. Když se poznatky z praxe dostávají přímo k produktovému týmu, rozhodování je rychlejší a přesnější, což následně vede k jasnějším zadáním a lepší realizaci.

Stejně je třeba přehodnotit schvalování. To je nejtěžší část, protože znamená změnit to, co organizace považuje za běžné. Schvalování je stále důležité, ale ke všem změnám by se nemělo přistupovat stejně. Například zařazení posouzení rizik do konkrétního schvalovacího procesu může omezit ruční schvalování práce s nízkým rizikem a zároveň zachovat lidskou kontrolu tam, kde na ní záleží. Je to jen jeden ze způsobů, jak proces urychlit, aniž by se organizace vzdala kontroly.

Mění se také vymezení jednotlivých rolí. Jak agenti přebírají stále větší část samotného provádění práce, lidé přestávají odpovídat za jednotlivé úkoly a začínají odpovídat za výsledky. Musí chápat celý kontext, zpochybňovat předpoklady a překračovat hranice svých tradičních rolí. Uspějí ty organizace, které změní způsob spolupráce mezi lidmi, nejen ty, které zavedou nejvíce AI.

Ocean sám využívá specializované agenty AI k vyšetřování sofistikovaných e-mailových hrozeb. Jak vaše zkušenosti s vývojem agentní AI pro kybernetickou bezpečnost ovlivnily způsob, jakým nasazujete AI uvnitř firmy, a lze zkušenosti z vývoje autonomních bezpečnostních systémů uplatnit i při řízení organizace založené na AI?

Vývoj autonomních agentů pro zabezpečení e-mailu ovlivnil dva způsoby, jak interně využíváme AI.

Prvním poučením je, že výkon agentů odpovídá pouze tomu, jak dobře rozumějí souvislostem. Bezpečnostní agent se rozhoduje lépe, když rozumí organizaci, kterou chrání. Totéž platí i uvnitř organizace. Abychom dosahovali dobrých výsledků, musíme agentům poskytnout skutečné porozumění tomu, jak organizace funguje, k čemu slouží jednotlivé úkoly a jak souvisejí s širším kontextem.

Druhým poučením je, že agenti potřebují průběžné vyhodnocování. V produkčním provozu neustále sledujeme, jak si naši agenti vedou, v čem selhávají a jaké nástroje nebo data jim chybějí. Stejný přístup uplatňujeme i uvnitř organizace. Potřebujeme vyhrazené prostředí, kde můžeme agenty testovat, trénovat a získávat k nim zpětnou vazbu. Bez něj je těžké poznat, zda se agent zlepšuje a co dalšího potřebuje.

Provozovat organizaci založenou na AI se podobá budování autonomního bezpečnostního systému: poskytnout agentům hluboký kontext, průběžně vyhodnocovat jejich výkon a zapojovat lidi tam, kde záleží na úsudku.

S tím, jak organizace svěřují agentům AI větší autonomii, vyvstávají otázky odpovědnosti, zabezpečení a nezamýšlených důsledků. Jak by měly firmy s ohledem na vaše zkušenosti v oblasti kybernetické bezpečnosti nastavit mantinely, které agentům umožní jednat samostatně, aniž by ohrozily zabezpečení nebo oslabily smysluplný lidský dohled?

Autonomie je směr, kterým se agenti ubírají, a organizace by k ní měly směřovat postupně. Začněte tam, kde jsou dopady dobře známé, ověřte přínos a potom rozsah rozšiřujte.

Skutečné mantinely nejsou pouhé pokyny. Říct agentovi „tohle nedělej“ není bezpečnostní opatření. Mantinely je třeba vynucovat: přísně omezit, k čemu má agent přístup, ověřovat, že se nedostane mimo vymezený rozsah, a průběžně sledovat jeho činnost, aby se blokovaly kroky, s nimiž nikdo nepočítal. Stejně jako ostatní části systému je třeba je pravidelně testovat a ověřovat.

Odpovědnost začíná u provozovatele. Osoba, která agenta provozuje, určuje jeho hranice: co může dělat samostatně, k čemu potřebuje schválení a kam nesmí. Vezměme si agenta, který reaguje na e-mailové hrozby. Podezřelé zprávy dokáže rychle a spolehlivě izolovat samostatně. U kroků s širším dopadem, jako je zablokování odesílatele v celé organizaci, může provozovatel zpočátku vyžadovat kontrolu. Jak agent získává zkušenosti a prokazuje své schopnosti, lze tyto hranice s jistotou rozšiřovat. Právě jasně stanovené mantinely umožňují větší autonomii.

Je to o to důležitější, že útočníci stále častěji cílí na agenty AI. Firma chce postupovat rychleji, bezpečnostní týmy však stále nemají jasný návod, jak agenty chránit. Základem proto musí být vynucovaná oprávnění a nepřetržité monitorování.

Mnoho firem měří míru využívání AI podle ušetřeného času, automatizovaných úkolů nebo produktivity zaměstnanců. Které ukazatele podle vás skutečně vypovídají o tom, zda provozní model založený na AI přináší udržitelnou obchodní hodnotu, zejména pokud započítáme náklady na přepracování, kvalitu a koordinaci?

Ušetřený čas je důležitým ukazatelem a často jde o první zřejmý signál, že AI přináší hodnotu. Plný dopad se však projeví, až když tento ukazatel spojíme s metrikami, které ukazují, jak organizace s ušetřeným časem naloží a zda přínosy přetrvají i z dlouhodobého hlediska.

Kvalita. Rychlejší práce je lepší jen tehdy, pokud se kvalita udrží nebo zlepší. Sledujte, kolik práce je třeba přepracovat, kolik vzniká vad a jak často je nutné výsledky po dodání opravovat. Když se současně zlepší rychlost i kvalita, jsou přínosy skutečné a trvalé.

Rozšiřování podnikání. Skutečná hodnota organizace založené na AI spočívá v tom, co jí ušetřený čas umožní. Měříme, kolik nových schopností a iniciativ dokážeme rozvíjet, aniž bychom navyšovali počet zaměstnanců.

Rychlost od začátku do konce. Doba, kterou agent potřebuje k vývoji nové funkce, je jen jednou částí celkového obrazu. Skutečným měřítkem je celý proces včetně každého předání, od chvíle, kdy se rozhodneme dát něčemu přednost, až po okamžik, kdy je daná věc dostupná v produktu. To ukazuje, jak rychle skutečně fungujeme, a odhaluje náklady na koordinaci, které metriky jednotlivých úkolů nezachytí. V oblasti bezpečnosti je rychlost od začátku do konce zásadní. Útočníci už agenty AI používají, takže doba potřebná k odhalení hrozby a reakci na ni se musí stále zkracovat.

Ušetřený čas ukazuje, že AI funguje. Tyto metriky ukazují, zda vytváří pro firmu dlouhodobou hodnotu.

Uvedl jste, že menší a agilnější technologické firmy mohou získat výraznou konkurenční výhodu, pokud přebudují své provozní modely s využitím AI. Jaké výhody mají startupy založené na AI oproti zavedeným firmám a jak se podle vás bude v příštích třech až pěti letech měnit struktura úspěšných technologických společností?

Startupy založené na AI mají strukturální výhodu. Od samého začátku mohou budovat pracovní postupy, technologie i týmy kolem agentů AI, zatímco zavedené firmy se musí potýkat s desítkami let starou zastaralou infrastrukturou a složitou organizační strukturou. Větší rozdíl nespočívá v technologiích. Ke stejným nástrojům AI má přístup každý. Výhodu mají firmy, které dokážou změnit způsob své práce, aniž by nejprve musely rozplétat vrstvy schvalování, předávání úkolů a pevně daných rolí.

Věřím, že během příštích tří až pěti let úspěšné technologické společnosti překročí rámec základní automatizace pomocí AI a přejdou k provozním modelům založeným na agentech, v nichž specializovaní agenti AI vykonávají celé pracovní postupy. Lidské týmy nezmizí, lidé však budou méně času trávit ručním plněním úkolů a více času poskytováním kontextu, nastavováním mantinelů a řízením výsledků. Výsledkem budou štíhlejší organizace, které se dokážou rychleji rozšiřovat, pracovat efektivněji a konkurovat společnostem mnohonásobně větším, než jsou samy.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o agentním zabezpečení e-mailu, by měli navštívit Ocean Security.

Antoine je vizionářský lídr a zakládající partner Unite.AI, kterého pohání neochvějné nadšení pro utváření a podporu budoucnosti umělé inteligence a robotiky. Jako podnikatel, který založil několik společností, věří, že AI promění společnost stejně zásadně jako elektřina, a často s nadšením hovoří o potenciálu převratných technologií a obecné umělé inteligence (AGI).

Jako futurista se věnuje zkoumání toho, jak tyto inovace budou utvářet náš svět. Je také zakladatelem Securities.io, platformy zaměřené na investice do špičkových technologií, které nově definují budoucnost a proměňují celá odvětví.