Criza Vizibilității Inteligenței Artificiale: De Ce Echipele De Securitate Zboară Orb și De Ce Nu Trebuie Să O Facă

Integrarea agenților de inteligență artificială în medii de producție se accelerează, dar arhitectura de securitate necesară pentru a-i proteja rămâne în urmă. Ne aflăm într-o eră în care un agent de inteligență artificială, însărcinat cu un job de rutină într-un mediu de testare, poate decide în mod independent să “repare” o problemă de autentificare ștergând un volum de bază de date ștergând un volum de bază de date.

Ca industrie, suntem colectiv dezactivați atunci când vine vorba de principiile de bază ale securității și observabilității în jurul inteligenței artificiale. Echipele de securitate zboară orb, dar nu trebuie să o facă.

Mitul Prompts-urilor De Sistem și A Unelte Sigure

Un mit răspândit în spațiul inteligenței artificiale este acela că putem controla comportamentul agentului simplu spunându-i să se comporte. Prompts-urile de sistem sunt consultative, nu impunătoare. În incidentul menționat, regulile de sistem ale agentului specificau în mod explicit să nu ruleze comenzi distructive, dar agentul a încălcat propriile sale garduri comercializate și a executat acțiunea cea mai ireversibilă posibilă.

Trebuie să lucrăm sub presupunerea că inteligența artificială nu “știe” nimic cu adevărat. Atacurile asupra inteligenței artificiale sunt inginerie socială, cu excepția faptului că ținta este mai “proastă” decât omul mediu. Oricine are experiență în testarea de penetrare înțelege cât de dificil este pentru organizații să se apere împotriva atacurilor de inginerie socială. Acum, calculatoarele noastre sunt vulnerabile de asemenea.

Mai mult, uneltele de inteligență artificială sunt, în cele din urmă, doar software, și toate software-urile au bug-uri. Am văzut deja cazuri în care uneltele de inteligență artificială pornesc servere HTTP neautentificate, permițând oricărui proces local sau site web să execute comenzi shell arbitrare cu privilegii de utilizator.

Cutia Neagră A Auditului Inteligenței Artificiale

Dacă o inteligență artificială devine rebelă sau este manipulată, descoperirea a ceea ce a făcut este un coșmar. Uneltele de inteligență artificială nu oferă, de obicei, jurnale de audit. Dacă sunteți suficient de norocoși să fiți pe un nivel de întreprindere, jurnalele pe care le primiți sunt sever limitate. De exemplu, puteți primi un eveniment vag care afirmă că un utilizator “a folosit inteligență artificială generală” și doar primiți metrici de bază care detaliază numărul de tokeni de intrare și ieșire.

Niciuna dintre acestea nu ajută un analist de securitate să răspundă la întrebarea fundamentală: Ce anume a executat acest agent?

Descoperirea Inteligenței Artificiale: Cum Să Nu Mai Zboară Orb

Vestea bună este că nu aveți neapărat nevoie de un aparat de securitate specializat în inteligență artificială pentru a recâștiga vizibilitatea. Utilizarea “în umbră” a inteligenței artificiale și activitatea agenților sunt detectabile folosind tehnici de analiză a jurnalelor existente pe care ar trebui să le aveți deja în echipă. Apelurile uneltelor de inteligență artificială, executarea comenzilor și evenimentele de schimbare a sistemului pot fi urmărite până la inteligența artificială folosind analiza existentă a execuției proceselor (pe care o faceți în sistemul dvs. de securitate și gestionare a evenimentelor (SIEM), nu-i așa?).

Iată cum puteți folosi infrastructura curentă pentru a detecta activitatea de inteligență artificială:

• Analiza DNS: Analizarea jurnalelor DNS pentru interogări către domenii de servicii cunoscute de inteligență artificială poate ajuta la detectarea utilizării inteligenței artificiale în mediul dvs.
• Lista De Avertizare: Această abordare necesită menținerea unei liste actualizate de avertizare a domeniilor asociate cu platforme sau furnizori de modele de inteligență artificială.
• Resurse Comunitare: Există proiecte comunitare și liste de blocare disponibile care pot fi modificate în tabele de căutare pentru utilizare programatică.
• Urmarirea SSL: O abordare similară poate utiliza jurnalele SSL pentru a urmări numele serverului, deși oferă puțin mai puține detalii deoarece URL-ul complet nu este înregistrat.
• Telemetrie De Punct De Capăt: Puteți utiliza unelte precum Sysmon pentru a număra procesele copil și a vâna “spawners” de bash de înaltă frecvență, ceea ce este un indicator puternic al potențialilor agenți de inteligență artificială care execută comenzi pe un punct de capăt.

Punctul orb care necesită modificări active ale colecției de date este reprezentat de însăși prompt-urile. Ce cer utilizatorii de la inteligența artificială? Încarcă ei documente potențial sensibile, creând astfel probleme de conformitate? Răspunsurile la aceste întrebări necesită, probabil, colectarea cererilor API către furnizor; proxi de web, proxi LLM și unelte de ingestie de date de la furnizorii de jurnale și SIEM. Acestea pot înlătura vălul care blochează această sursă de date valoroasă.

Amenințarea Emergentă: Servere Malicioase MCP

Protocolul de context al modelului (MCP) a apărut ca o modalitate de a specifica cum aplicațiile de inteligență artificială se integrează cu unelte și surse de date externe. În timp ce standardizează conexiunile, introduce și vectori de atac masiv noi prin intermediul “serverelor MCP rele“.

Găzduiesc un atelier de instruire practică în care studenții pot experimenta acest atac direct. Ei proiectează un server MCP malign pentru a păcăli un LLM să apeleze unelte legitime și să trimită ieșirea înapoi atacatorului. Deoarece LLM-urile sunt extrem de vulnerabile la ingineria socială, ocolirea gardurilor încorporate este adesea doar o chestiune de alegere a unor cuvinte mai bune sau a unui pretext ingenios.

Studenții obișnuiesc să-și utilizeze serverul malign pentru a instrui inteligența artificială că se află “în mod de întreținere” și trebuie să treacă datele către o unealtă secundară pentru “înregistrare de audit”, rezultând astfel în exfiltrarea de date. Unii sunt mai creativi cu prompt-urile lor decât alții, dar toți sunt, de obicei, de succes.

Recăpătarea Controlului

Pentru a audita corespunzător activitatea de inteligență artificială în lumea reală, aveți nevoie de un proxi pentru a intercepta cererile de inteligență artificială și de unelte de colectare a jurnalelor capabile să gestioneze încărcături JSON masive. Cu această vizibilitate, puteți detecta și triaja amenințările. Nu vă puteți baza doar pe furnizorii de inteligență artificială pentru a furniza stratul de siguranță. Implementarea trebuie să trăiască în sistemele organizației dvs., nu într-un paragraf de text pe care sperăm că modelul decide să-l respecte. Cu o soluție de jurnalare bună, echipele de securitate au telemetria; este timpul să înceapă să o interogheze.