Nowa era podszywania się pod kadry kierownicze nie będzie już dotyczyć osób

Przez ostatnie kilka lat, największym zagrożeniem cyfrowym dla marek była impersonacja kadry kierowniczej, często wykonywana za pomocą sfałszowanych adresów e-mail lub fałszywych kont na mediach społecznościowych. Dziś mamy do czynienia z o wiele bardziej złożonym i przekonywującym wrogiem: agentami AI.

Wzrost autonomicznych agentów napędzanych przez duże modele językowe (LLM), zaprojektowanych do pracy z minimalnym lub żadnym udziałem człowieka, otworzył nowe możliwości, które przypominają ekscytację widoczną w erze wczesnego web2 i aplikacji mobilnych.

Pomimo że prawdziwie autonomiczni agenci jeszcze nie przeszli od wizji do rzeczywistości, eksperci ostrzegają, że mogą zacząć poruszać się po sieciach korporacyjnych już w przyszłym roku. Ekscytacja i przyjęcie, które nastąpią, nieuchronnie wpadną w radar stale dostosowujących się cyberprzestępców, którzy widzą autonomiczne agenty jako nową granicę dla oszustw cyfrowych. Co się dzieje, gdy te agenci są podszywani? A co gorsza, gdy są osobami podszywającymi się?

Właśnie tak jak aplikacje mobilne kiedyś spotkały się z falą fałszywych wersji stworzonych do wyłudzania danych logowania lub instalowania złośliwego oprogramowania, agenci AI są teraz skazani na podobną falę kopiowania. Tym razem jednak ryzyko będzie trudniejsze do wykrycia, a szkody potencjalnie bardziej rozległe.

Od podszywania się pod kadry kierownicze do podszywania się pod agenty

AI już wprowadził nowe drogi oszustw i oszustw, charakteryzujących się klonowaniem głosu, które może odtworzyć wzorce mówienia kadry kierowniczej przy użyciu tylko kilku sekund nagrania, na przykład, a ostatnio doniesiono o dowodach na czasie rzeczywistym głosowych i wideo podszywania się. Wyobraź sobie teraz autonomicznego agenta, rzekomo reprezentującego Twoją firmę, angażującego się z klientami, inwestorami lub partnerami. Taki agent mógłby być osadzony na stronie internetowej, zintegrowany z czatem lub nawet wchodzić w interakcje za pośrednictwem poczty e-mail, oferując prawdopodobne, profesjonalne i całkowicie fałszywe interakcje.

Poprzednikiem kopiowanych agentów może być „jailbreak” modeli, za pomocą których zagrożeni aktorzy manipulują LLM, często za pomocą wstrzykiwania podpowiedzi lub wieloobrotowych technik, aby wyprodukować szkodliwe lub fałszywe dane wyjściowe. Ale to dopiero początek.

Zgodnie z danymi z PitchBook, firmy AI zebrały 131,5 miliarda dolarów w 2024 roku, co stanowiło ponad jedną trzecią wszystkich globalnych transakcji venture capital. Wyścig zbrojeń w AI, napędzany przez ambitnych założycieli, głodnych inwestorów i zainteresowanych rządów, szybko przyspieszy możliwości tej wschodzącej technologii, której uzasadnione przypadki użycia będą nadal wykorzystywane do niecnych celów.

AI generatywny ma i będzie nadal democratyzował tworzenie takich agentów. Podczas gdy platformy rywalizują o integrację ich, niewiele istnieje barier, aby zweryfikować ich autentyczność. Otwiera to drzwi do nowej klasy podszywania się: nie tylko ludzi, ale także oprogramowania.

Wezwanie do budzenia dla chętnych marek i ciekawskich konsumentów

Konsumentom i markom jednocześnie zaczyna brakować zrozumienia, co oznacza zaufanie do agenta. Ale zaufanie jest kluczem do każdej interakcji cyfrowej, a gdy jest ono złamane, konsekwencje mogą być katastrofalne.

Jak obserwowano w przypadku fałszywych filmów i klonowania głosu, fałszywi agenci mogą być wykorzystani do:

• Wnioskowania o płatności lub wrażliwe dane pod pretekstem ustanowionej lub innej godnej zaufania marki
• Przekierowania użytkowników na strony złośliwego oprogramowania za pośrednictwem wiadomości prywatnych na mediach społecznościowych lub płatnych reklam
• Niszczenia zaufania klientów i wywoływania szkód wizerunkowych na dużą skalę

Zgodnie z niedawnym raportem Federalnej Komisji Handlu, oszustwa podszywania się były odpowiedzialne za prawie 3 miliardy dolarów strat w samych Stanach Zjednoczonych – kwota, która ma wzrosnąć gwałtownie, gdy oszustwa AI stają się bardziej bezproblemowe i skalowalne.

Rozprzestrzenianie się fałszywych agentów: Reklamy, wyszukiwarki i media społeczne

Co jest szczególnie niebezpieczne, to sposób, w jaki agenci-kopie będą rozpowszechniani. Nie potrzebują one własnych stron internetowych ani domen, aby zyskać popularność. Źli aktorzy mogą, i robią to, używać wyników wyszukiwania i platform mediów społecznościowych do promowania szkodliwych klonów zaufanych marek, kadry kierowniczej lub produktów. Odniesienie sponsorowane w Google lub promowany post na Instagramie, na przykład, jest wystarczające, aby skierować nieświadomych użytkowników do fałszywego agenta lub portalu pomocy.

To ryzyko na poziomie ekosystemu, gdzie źli aktorzy przejmują legalny cyfrowy teren, aby ułatwić oszustwa, wymaga nowego podejścia do cyberbezpieczeństwa. Nie jest już wystarczające, aby zabezpieczyć swoją sieć, chmurę lub zabezpieczyć poświadczenia swoich pracowników. Obrzeże zagrożenia Twojej marki obejmuje teraz każdą sieć reklam, platformę wyszukiwania i zewnętrzne narzędzie, z którym wchodzą w interakcje Twoi klienci.

Działanie przed zbyt późno

Wkraczamy w świat, w którym granica między ludźmi a agentami staje się coraz bardziej rozmyta. Zagrożenie nie jest już tylko podszywaniem się pod ludzi, które obecnie znajduje się na wykładniczym wzroście dzięki dostępnym narzędziom AI, ale podszywaniem się pod cyfrowe osobowości.

Jak mogą się przygotować firmy?

1. Mapuj swoją cyfrową obecność: Wiedz, gdzie Twoi klienci wchodzą w interakcje z Twoją firmą i Twoimi agentami – niezależnie od tego, czy na Twojej stronie, za pośrednictwem API, czy za pośrednictwem stron trzecich – i aktywnie monitoruj te punkty wejścia pod kątem prób podszywania się.
2. Monitoruj wschodzące ekosystemy agentów: Gdy otwarte rynki i platformy agentów (jak Hugging Face Spaces) zyskują na popularności, bądź czujny wobec podobnych lub forków Twoich narzędzi pojawiających się gdzie indziej.
3. Skróć czas wykrycia (TTD) i czas usunięcia (TTR): Użyj rozwiązań, które pozwalają szybko identyfikować i usuwać podszywających się, szczególnie tych, którzy nadużywają płatnych reklam lub platform społecznościowych, jest kluczowe do ograniczania szkód.
4. Wyedukuj swoich użytkowników: Zbuduj przejrzystość w swoich doświadczeniach z agentami. Twoi użytkownicy powinni zrozumieć, gdzie i jak powinni oczekiwać interakcji z Twoimi narzędziami oraz jak rozpoznać czerwone flagi.
5. Ustanów protokoły autentyczności agentów: Pracuj nad kryptograficzną lub opartą na metadanych weryfikacją, która może potwierdzić pochodzenie i legalność agenta.

Rozwiązanie leży w zabezpieczeniu ekosystemu agentów AI, a nie w unikaniu go. Tak jak nauczyliśmy się weryfikować domeny, uwierzytelniać e-maile i sprawdzać aplikacje mobilne w poprzednich dekadach, teraz musimy rozszerzyć taki sam stopień czujności na świat agentów AI. Jeśli nie wyprzedzimy podszywania się pod agenty teraz, możemy wkrótce znaleźć się rozmawiającymi z znajomym wyglądającym asystentem, który pracuje dla drugiej strony.