Wywiady

Oran Moyal, współzałożyciel i dyrektor ds. technicznych Ocean Security – cykl wywiadów

Antoine Tardif
Dodaj Unite.AI do preferowanych źródeł w Google
Oran Moyal, Co-Founder and CTO of Ocean Security
Kluczowe punktyStatus rodzimy dla AI jest kwestią organizacyjną, a nie techniczną, ponieważ zmienia…
Zobacz więcej
  • Status rodzimy dla AI jest kwestią organizacyjną, a nie techniczną, ponieważ zmienia sposób, w jaki każdy zespół wykonuje pracę.
  • Przyspieszanie pojedynczych zadań zawodzi, gdy przekazywanie pracy i zatwierdzenia pozostają rzeczywistymi wąskimi gardłami między krokami.
  • Agenci potrzebują wymuszonych uprawnień i niezależnej walidacji, ponieważ same instrukcje nie są mechanizmami kontroli bezpieczeństwa.

Oran Moyal jest współzałożycielem i dyrektorem ds. technicznych Ocean Security, gdzie rozwija agentową sztuczną inteligencję do badania zaawansowanych zagrożeń e-mailowych. Jego doświadczenie obejmuje badania i rozwój w dziedzinie cyberbezpieczeństwa, ofensywną inżynierię społeczną oraz bezpieczeństwo korporacyjne. W 2024 roku wraz z Shayem Shwartz założył Ocean, wykorzystując wspólne doświadczenie w analizowaniu tego, jak napastnicy wykorzystują zaufaną komunikację i jak systemy bezpieczeństwa mogą reagować na coraz bardziej ukierunkowane zagrożenia.

Ocean Security tworzy platformę agentowej ochrony poczty elektronicznej, zaprojektowaną do badania ukierunkowanych ataków phishingowych, oszustw polegających na przejęciu firmowej poczty elektronicznej oraz oszustw finansowych. Wyspecjalizowani agenci AI analizują kontekst komunikacji i intencje nadawcy, pomagając zespołom ds. bezpieczeństwa wykrywać zagrożenia w pozornie legalnej korespondencji biznesowej. W tym wywiadzie Moyal opowiada o tym, co sprawia, że organizacja jest natywna dla AI, jak przebudowywać przepływy pracy z myślą o agentach oraz dlaczego jasne wymagania, niezależna walidacja, egzekwowanie uprawnień i ludzki osąd nadal mają kluczowe znaczenie dla skutecznej automatyzacji.

Zanim w 2024 roku współzałożył pan Ocean, przez lata pracował pan w obszarze badań i rozwoju w dziedzinie cyberbezpieczeństwa, między innymi w Siłach Obronnych Izraela oraz w VisibleRisk / Microsoft Security. Jakie doświadczenia skłoniły pana do założenia Ocean i jak pojawienie się AI wpłynęło od samego początku na pana wizję firmy?

Przygotowanie ukierunkowanej kampanii spear phishingowej wymagało wcześniej zaangażowania specjalnego zespołu oraz tygodni ręcznego gromadzenia informacji i przygotowań. Gdy pojawiła się generatywna AI, zdaliśmy sobie sprawę, że każdy pracownik każdej firmy jest dziś narażony na wyniszczający atak phishingowy na poziomie państwowym. Z dnia na dzień subskrypcja za 20 USD zapewniła każdemu napastnikowi możliwości na poziomie państwowym.

Shay i ja mamy duże doświadczenie w inżynierii społecznej po stronie ofensywnej, a obaj zakładaliśmy i rozwijaliśmy firmy zajmujące się bezpieczeństwem korporacyjnym, więc wiedzieliśmy, że starsze narzędzia nie nadążą. Wykrywają naruszenia reguł i anomalie, ale te ataki kryją się w zwykłej komunikacji biznesowej: prawdziwych wątkach, zaufanych kontach i legalnych usługach. Nic nie wygląda podejrzanie. Dlatego w 2024 roku założyliśmy Ocean, by pomóc firmom przystosować się do tego nowego zagrożenia dzięki opartej na AI ochronie poczty elektronicznej, która analizuje kontekst i intencje nadawcy w czasie rzeczywistym, podobnie jak zrobiłby to ludzki analityk, zanim dojdzie do naruszenia bezpieczeństwa.

Wiele organizacji określa się mianem „natywnych dla AI” tylko dlatego, że wdrożyły narzędzia AI lub zautomatyzowały niektóre procesy. Co, pana zdaniem, zasadniczo odróżnia prawdziwie natywną dla AI organizację od takiej, która jedynie zintegrowała AI z dotychczasową działalnością?

Wiele firm nazywa się natywnymi dla AI, bo kupiły narzędzia AI. To adopcja technologii. Natywność AI zmienia sposób, w jaki firma wykonuje codzienną pracę i radzi sobie z wąskimi gardłami.

Wszystko zaczyna się od tego, jak liderzy reagują na wąskie gardło. Tradycyjna, odruchowa reakcja brzmi: „To zajmuje zbyt dużo czasu; zatrudnijmy kogoś, kto się tym zajmie”. Organizacja natywna dla AI najpierw pyta: „Jak AI może przyspieszyć działanie całego tego obszaru?”. Powtarzaj to pytanie w każdym zespole, a cała firma zacznie działać inaczej.

Prawdziwa transformacja w kierunku natywności AI ma charakter organizacyjny, a nie techniczny. Jeśli przyspieszy się pracę jednego działu, wąskie gardło po prostu przeniesie się do następnego, a tempo pracy firmy zacznie wyznaczać jej najwolniej działający obszar. Organizacje natywne dla AI zmieniają się wspólnie, dzięki czemu informacje przepływają szybciej, pętle informacji zwrotnej się skracają, a zespoły pracują jako jeden połączony system.

W tym modelu zmienia się wartość wnoszona przez ludzi. W miarę jak AI przejmuje coraz więcej zadań, deficytowymi umiejętnościami stają się wyznaczanie jasnego kierunku, określanie intencji i stosowanie osądu. Ludzie i agenci pracują ramię w ramię. AI zajmuje się coraz większą częścią realizacji, a ludzie decydują, co warto tworzyć i dlaczego.

Celem jest, by każdy zespół, korzystając z tych samych zasobów, osiągał więcej, działał szybciej i lepiej współpracował, nie obniżając jakości.

Twierdził pan, że wzrost produktywności dzięki AI może szybko zniknąć, jeśli podstawowe przepływy pracy są nieefektywne. Jakie najczęstsze wąskie gardła operacyjne uniemożliwiają firmom pełne wykorzystanie korzyści płynących z AI i jak liderzy powinni podchodzić do przebudowy tych przepływów?

Samo przyspieszenie poszczególnych zadań nie oznacza automatycznie przyspieszenia działania całej organizacji. Jeśli procesy, zależności i komunikacja między zespołami pozostaną bez zmian, większość wzrostu produktywności, jaki zapewnia AI, zostanie utracona po drodze.

Najczęstsze wąskie gardła nie mają charakteru technicznego. Są nimi niejasne wymagania, które prowadzą do wielokrotnego przerabiania pracy, powolne przekazywanie zadań między zespołami oraz praca czekająca na zatwierdzenie. AI przyspiesza każdy etap, ale czas traci się między nimi.

Liderzy powinni zacząć od zmierzenia, na co faktycznie poświęcany jest czas, ponieważ prawdziwe wąskie gardło często nie znajduje się tam, gdzie wszyscy sądzą. Następnie powinni przeprojektować przepływ pracy od początku do końca, usprawniając przekazywanie zadań, definicje i pętle informacji zwrotnej, zamiast skupiać się wyłącznie na poszczególnych zadaniach. Na koniec powinni powiązać każde działanie związane z AI ze wskaźnikami KPI, za które zespoły już odpowiadają.

Co najważniejsze, liderzy muszą zmienić sposób myślenia. Automatyzacja i przyspieszanie pracy powinny stać się domyślnym podejściem. Zamiast akceptować istniejące procesy, zespoły powinny stale kwestionować przyjęte sposoby działania, by pracować szybciej i zwiększać swój wpływ bez obniżania jakości.

Jedną z zasad, które Pan podkreśla, jest znaczenie jasno określonych wymagań przed wprowadzeniem agentów AI do przepływu pracy. Jak organizacje powinny na nowo przemyśleć sposób definiowania zadań, komunikowania oczekiwań i ustalania kryteriów sukcesu, gdy agenci AI odpowiadają za realizację znacznej części pracy?

Gdy agenci AI wykonują dużą część pracy, organizacje muszą na nowo przemyśleć sposób komunikowania i definiowania zadań. Niejasna prośba nie powstrzyma agenta. Zacznie zgadywać, a każde błędne przypuszczenie będzie prowadzić do dodatkowej pracy.

Myślę o tym w trzech wymiarach:

Jasno określone zadania, cele i kontekst. Agent musi rozumieć, co należy zrobić, dlaczego jest to ważne i w jakim kontekście ma działać. Zanim rozpocznie pracę, powinien móc dopytać o wszystko, co niejasne, tak aby rozwiać wątpliwości od razu, zamiast odkrywać braki w połowie realizacji zadania.

Samodzielna weryfikacja. Kryteria sukcesu należy ustalić z wyprzedzeniem w taki sposób, by agent mógł samodzielnie sprawdzić, czy je spełnia. Na przykład w przypadku oprogramowania agent powinien móc uruchomić kod, przetestować, czy działa zgodnie z założeniami, i potwierdzić, że testy zakończyły się pomyślnie, zanim ktokolwiek go zweryfikuje.

Ludzie jako ostatni etap. Ludzie powinni otrzymywać rezultat, który agent dopracował już w kilku iteracjach, kierując się uzgodnionymi kryteriami. Ich rolą jest kierowanie się własną oceną, a nie poprawianie podstawowych błędów.

Im precyzyjniej zdefiniowane zadanie, tym mniej czasu człowieka wymaga każdy rezultat.

Opowiada się Pan za tym, by agenci AI weryfikowali własną pracę, zanim trafi ona do oceny recenzentów. Jak w praktyce wygląda skuteczny proces weryfikacji oparty na AI i jak organizacje mogą zadbać o to, by zautomatyzowane kontrole jakości nie utrwalały jedynie tych samych błędów, które popełniono podczas realizacji zadania?

Skuteczny proces weryfikacji polega na testowaniu pracy w taki sposób, w jaki będzie faktycznie wykorzystywana. Agent powinien przeprowadzić testy w rzeczywistym systemie od początku do końca, sprawdzić, czy rezultat spełnia kryteria sukcesu, i poprawić wszystko, co nie działa, zanim praca trafi do człowieka.

Aby weryfikacja nie powielała błędów samego agenta, należy pamiętać o kilku zasadach:

Oddziel kryteria od realizacji zadania. Ludzie powinni określić, na czym polega sukces, zanim rozpocznie się praca. Jeśli agent sam zdecyduje, co oznacza „ukończenie”, będzie oceniać własną pracę.

Ustal nieprzekraczalne ograniczenia. Nie każda kontrola powinna zależeć od oceny agenta. Niektóre muszą opierać się na niezmiennych, deterministycznych testach, które sprawdzają konkretne parametry, normy i zasady. Wyznaczają one agentowi jasne granice, których nie może obejść za pomocą własnego rozumowania.

Skorzystaj z niezależnego recenzenta. Drugi agent, dysponujący świeżym kontekstem i niezaangażowany w pierwotne podejście, wychwyci błędy, które umknęły pierwszemu.

Pokaż dowody, a nie tylko werdykt. Wyniki testów, zrzuty ekranu i nagrania pozwalają ludziom zobaczyć, co się wydarzyło, zamiast po prostu ufać informacji o „zaliczeniu”.

Uwagę ludzi można wtedy skupić na obszarach największego ryzyka. Celem nie jest wyeliminowanie ludzi z procesu, lecz zadbanie o to, by poświęcali czas na ocenę, a nie na mechaniczne kontrole.

Tradycyjne organizacje często opierają się na wielu szczeblach zarządzania, procedurach zatwierdzania i przekazywaniu zadań między zespołami. Jak model operacyjny oparty na AI zmienia współpracę zespołów inżynieryjnych, produktowych, bezpieczeństwa i biznesowych? Co dzieje się z tradycyjnymi rolami i zakresami odpowiedzialności, gdy agenci przejmują coraz większą część realizacji zadań?

AI pozwala każdemu pracownikowi i każdemu zespołowi osiągać więcej. Jeśli jednak przekazywanie zadań, zatwierdzanie i koordynacja pozostaną bez zmian, dodatkowe wyniki będą po prostu czekać na kolejny etap. Organizacja nie zacznie działać szybciej. Pojawią się nowe wąskie gardła. Model operacyjny oparty na AI wymaga przeprojektowania sposobu współpracy zespołów, a nie tylko sposobu pracy poszczególnych zespołów.

Zmiany należy zacząć od tego, jak przepływają informacje. Więcej z nich powinno być przekazywanych w sposób zautomatyzowany, aby spotkania można było poświęcać na podejmowanie decyzji, a nie na przekazywanie aktualności. Gdy informacje z terenu trafiają bezpośrednio do zespołu produktowego, decyzje zapadają szybciej i są trafniejsze, co przekłada się na jaśniejsze definicje i sprawniejszą realizację.

Procedury zatwierdzania również trzeba przemyśleć na nowo. To najtrudniejsza część, ponieważ oznacza zmianę tego, co organizacja uznaje za normę. Zatwierdzanie nadal jest ważne, ale nie należy traktować każdej zmiany w ten sam sposób. Na przykład uwzględnienie oceny ryzyka w konkretnym procesie zatwierdzania może ograniczyć ręczne zatwierdzanie zadań niskiego ryzyka, a jednocześnie zachować weryfikację przez człowieka tam, gdzie jest ona istotna. To tylko jeden ze sposobów na przyspieszenie procesu bez utraty kontroli.

Zmieniają się również role. W miarę jak agenci przejmują coraz więcej zadań wykonawczych, ludzie przestają odpowiadać za same zadania, a zaczynają odpowiadać za ich wyniki. Muszą rozumieć pełny kontekst, kwestionować założenia i wykraczać poza tradycyjnie wyznaczone granice swoich ról. Zwyciężą te organizacje, które przeprojektują sposób współpracy ludzi, a nie tylko te, które wdrożą najwięcej AI.

Sama firma Ocean wykorzystuje wyspecjalizowanych agentów AI do badania zaawansowanych zagrożeń związanych z pocztą elektroniczną. Jak doświadczenie zdobyte podczas rozwijania autonomicznych systemów AI na potrzeby cyberbezpieczeństwa wpłynęło na sposób, w jaki wdraża Pan AI wewnętrznie? Czy z budowy autonomicznych systemów bezpieczeństwa płyną wnioski, które można zastosować w zarządzaniu organizacją opartą na AI?

Budowanie autonomicznych agentów do zabezpieczania poczty elektronicznej wpłynęło na dwa sposoby, w jakie korzystamy z AI wewnętrznie.

Pierwsza lekcja jest taka, że skuteczność agentów zależy od tego, jak dobrze rozumieją kontekst. Agent do spraw bezpieczeństwa podejmuje lepsze decyzje, gdy rozumie organizację, którą chroni. To samo dotyczy pracy wewnątrz firmy. Aby agenci przynosili dobre rezultaty, musimy zapewnić im rzetelne zrozumienie tego, jak działa organizacja, czemu służy każde zadanie i jak wpisuje się ono w szerszy obraz.

Druga lekcja jest taka, że agentów trzeba stale oceniać. W środowisku produkcyjnym nieustannie sprawdzamy, jak działają nasi agenci, w czym zawodzą i jakich narzędzi lub danych im brakuje. W pracy wewnętrznej stosujemy to samo podejście. Potrzebujemy wyznaczonego miejsca, w którym można testować i szkolić agentów oraz zbierać informacje zwrotne na ich temat. Bez tego trudno stwierdzić, czy agent robi postępy i czego potrzebuje w następnej kolejności.

Prowadzenie organizacji opartej na AI przypomina budowanie autonomicznego systemu bezpieczeństwa: zapewniaj agentom szeroki kontekst, stale oceniaj ich działanie i angażuj ludzi tam, gdzie liczy się osąd.

W miarę jak organizacje przyznają agentom AI coraz większą autonomię, pojawiają się obawy dotyczące odpowiedzialności, bezpieczeństwa i niezamierzonych konsekwencji. Jak, czerpiąc z doświadczenia w cyberbezpieczeństwie, firmy powinny ustanawiać zabezpieczenia, które pozwolą agentom działać niezależnie, nie narażając bezpieczeństwa ani nie pozbawiając ludzi realnego nadzoru?

Agenci zmierzają w stronę autonomii, a organizacje powinny dochodzić do niej krok po kroku. Zacznij od obszarów, w których skutki są dobrze znane, udowodnij wartość takiego rozwiązania, a następnie rozszerz jego zastosowanie.

Prawdziwe zabezpieczenia to nie instrukcje. Powiedzenie agentowi „tego nie rób” nie jest środkiem kontroli bezpieczeństwa. Zabezpieczenia trzeba egzekwować: ściśle ograniczać dostęp agenta, weryfikować, czy nie może dotrzeć do niczego poza wyznaczonym zakresem, oraz stale monitorować jego działanie, aby blokować nieprzewidziane działania. Jak każdą inną część systemu, należy je regularnie testować i weryfikować.

Odpowiedzialność zaczyna się od operatora. Osoba obsługująca agenta wyznacza jego granice: określa, co agent może zrobić samodzielnie, co wymaga zatwierdzenia i dokąd nie może się posunąć. Weźmy agenta, który reaguje na zagrożenia w poczcie elektronicznej. Potrafi samodzielnie, szybko i niezawodnie poddawać kwarantannie podejrzane wiadomości. W przypadku działań o szerszym zasięgu, takich jak zablokowanie nadawcy w całej organizacji, operator może początkowo wymagać weryfikacji. W miarę jak agent zdobywa doświadczenie, można z większą pewnością poszerzać zakres jego uprawnień. Jasno określone zabezpieczenia umożliwiają zwiększanie autonomii.

To jeszcze ważniejsze, ponieważ napastnicy coraz częściej biorą na cel agentów AI. Firma chce działać szybciej, ale zespoły bezpieczeństwa wciąż nie mają jasnych wytycznych, jak chronić agentów. Dlatego podstawą muszą być egzekwowane uprawnienia i stały monitoring.

Wiele firm mierzy wdrożenie AI na podstawie zaoszczędzonego czasu, zautomatyzowanych zadań lub wydajności pracowników. Jakie wskaźniki, Twoim zdaniem, rzeczywiście pokazują, czy model działania oparty na AI przynosi trwałą wartość biznesową, zwłaszcza gdy uwzględni się koszty poprawek, jakość i koordynację?

Zaoszczędzony czas to ważny wskaźnik i często pierwszy wyraźny sygnał, że AI przynosi wartość. Jego pełny wpływ widać jednak dopiero w zestawieniu ze wskaźnikami pokazującymi, jak organizacja wykorzystuje ten czas i czy korzyści utrzymują się w dłuższej perspektywie.

Jakość. Szybciej znaczy lepiej tylko wtedy, gdy jakość się utrzymuje lub poprawia. Śledź poprawki, błędy oraz to, jak często trzeba korygować wyniki po ich dostarczeniu. Gdy jednocześnie rośnie szybkość i jakość, korzyści są realne i trwałe.

Rozwój działalności. Prawdziwa wartość organizacji opartej na AI polega na tym, co umożliwia zaoszczędzony czas. Mierzymy, ile nowych możliwości i inicjatyw podejmujemy bez zwiększania zatrudnienia.

Szybkość realizacji całego procesu. Czas potrzebny agentowi na opracowanie funkcji to tylko część obrazu. Rzeczywistą miarą jest cały proces, łącznie z każdym przekazaniem zadania, od chwili, gdy decydujemy się nadać czemuś priorytet, do momentu, gdy dana funkcja zostaje udostępniona w produkcie. To pokazuje, jak szybko faktycznie działamy, i pozwala dostrzec koszty koordynacji, których nie ujmują wskaźniki dotyczące pojedynczych zadań. W obszarze bezpieczeństwa szybkość realizacji całego procesu ma kluczowe znaczenie. Napastnicy już korzystają z agentów AI, dlatego czas potrzebny na wykrycie zagrożenia i reakcję na nie musi się stale skracać.

Zaoszczędzony czas pokazuje, że AI działa. Te wskaźniki pokazują, czy pomaga budować trwałą wartość dla firmy.

Powiedziałeś, że mniejsze i zwinniejsze firmy technologiczne mogą zyskać istotną przewagę konkurencyjną, przeprojektowując swoje działania wokół AI. Jakie przewagi mają startupy oparte na AI nad uznanymi graczami na rynku i jak, Twoim zdaniem, będzie ewoluować struktura odnoszących sukcesy firm technologicznych w ciągu najbliższych trzech do pięciu lat?

Startupy oparte na AI mają przewagę strukturalną. Od samego początku mogą budować przepływy pracy, technologie i zespoły wokół agentów AI, podczas gdy uznani gracze muszą mierzyć się z dziesięcioleciami przestarzałej infrastruktury i złożonością organizacyjną. Największa różnica nie dotyczy technologii. Wszyscy mają dostęp do tych samych narzędzi AI. Przewagę zyskują firmy, które potrafią przeprojektować sposób działania bez konieczności wcześniejszego rozplątywania wielopoziomowych procedur zatwierdzania, przekazywania zadań i sztywnych ról.

W ciągu najbliższych trzech do pięciu lat, jak sądzę, odnoszące sukcesy firmy technologiczne wyjdą poza podstawową automatyzację opartą na AI i przejdą na agentowe modele operacyjne, w których wyspecjalizowani agenci AI realizują całe przepływy pracy. Zespoły złożone z ludzi nie znikną, ale ludzie będą poświęcać mniej czasu na ręczne wykonywanie zadań, a więcej na dostarczanie kontekstu, wyznaczanie granic i ukierunkowywanie wyników. W rezultacie powstaną mniejsze organizacje, które będą mogły szybciej zwiększać skalę działalności, działać wydajniej i konkurować z firmami wielokrotnie większymi od siebie.

Dziękujemy za świetny wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej o bezpieczeństwie poczty elektronicznej opartym na agentach, powinni odwiedzić Ocean Security.

Antoine jest wizjonerskim liderem i partnerem założycielem Unite.AI. Kieruje nim niezachwiana pasja do kształtowania i rozwijania przyszłości sztucznej inteligencji i robotyki. Jako przedsiębiorca, który założył wiele firm, wierzy, że AI zmieni społeczeństwo równie głęboko jak elektryczność, i często z entuzjazmem mówi o potencjale przełomowych technologii oraz ogólnej sztucznej inteligencji (AGI).

Jako futurolog poświęca się badaniu tego, jak te innowacje ukształtują nasz świat. Jest także założycielem Securities.io, platformy skupionej na inwestowaniu w najnowocześniejsze technologie, które na nowo definiują przyszłość i przekształcają całe branże.