Incidentele AI devin crize operaționale. Trebuie să le tratăm în acest fel.

În ultimii ani, majoritatea organizațiilor au discutat despre risc și inteligență artificială în limbajul guvernanței.

Modelul este precis? Este corect? Datele sunt aprobate? Suntem în conformitate cu reglementările emergente? Acestea sunt întrebări importante, dar nu sunt singurele întrebări. Cea mai urgentă întrebare este ce se întâmplă atunci când ceva merge prost?

Ce se întâmplă atunci când un agent de inteligență artificială ia o acțiune pe care nu a fost destinat să o ia? Ce se întâmplă atunci când un model scurge date sensibile? Ce se întâmplă atunci când o răspuns halucinat creează expunere legală sau o decizie automată afectează un client, angajat, pacient sau partener într-un mod care nu poate fi ușor anulat?

Și, probabil, cel mai practic: unde merge organizația să coordoneze răspunsul? Acesta este schimbarea care are loc acum. Risc și inteligență artificială devine o problemă de reziliență operațională, nu doar o problemă de guvernanță.

Inteligența artificială se mută din experimentare în mașinăria de lucru a întreprinderii. Este încorporată în suportul clienților, dezvoltarea software, operațiunile financiare, fluxurile de lucru medicale, angajarea, procesarea cererilor, lanțurile de aprovizionare și automatizarea internă. Pe măsură ce inteligența artificială devine mai conectată la afaceri, eșecurile inteligenței artificiale devin incidente de afaceri.

Monitorul de incidente AI al OECD a urmărit 596 de incidente AI în ianuarie 2026, o creștere de 200% față de anul precedent. Eforturile precum Monitorul de incidente AI al OECD și baza de date a incidentelor AI documentează rezultate negative sau dăunătoare care implică sisteme de inteligență artificială, astfel încât industria să poată învăța din experiență, la fel cum au făcut aviația și securitatea cibernetică de ani de zile.

Această comparație este importantă. Industriile mature întreabă cum să prevină eșecul și cum să răspundă atunci când eșecul are loc oricum.

Incidentele AI nu se comportă ca bug-urile tradiționale de software

Un bug tradițional de software are, de obicei, o limită relativ clară. Ceva se strică, inginerii investighează și echipa reproduce problema, repară codul și lansează o soluție.

Cu toate acestea, incidentele de inteligență artificială sunt mai murdare. Ele pot fi probabilistice, intermitente și pot apărea din interacțiunea dintre un model, o solicitare, un sistem de recuperare, un plug-in, un agent, un utilizator și un proces de afaceri. Uneori, sistemul de inteligență artificială funcționează exact așa cum a fost proiectat, dar proiectarea este incompletă pentru mediul în care este utilizat. Acest lucru face ca răspunsul să fie mai dificil.

O halucinație într-un chatbot pentru consumatori este un fel de problemă. O halucinație într-un flux de lucru legal, financiar, clinic sau de resurse umane este altceva. Un output biasat în testare este grav. Un proces de decizie automată care rulează la scară în producție este cu totul altceva. Un asistent de inteligență artificială care redactează un e-mail este una, dar un agent care poate schimba permisiuni, emite rambursări, actualizează înregistrări, declanșează fluxuri de lucru sau execută cod este o categorie foarte diferită de risc.

Depozitul de risc de inteligență artificială al MIT capturează o gamă largă de riscuri de inteligență artificială, inclusiv informații false sau înșelătoare, eșecuri de confidențialitate și securitate, discriminare, utilizare abuzivă și probleme de siguranță a sistemului. OWASP Top 10 pentru aplicații LLM evidențiază, de asemenea, riscuri precum injecția de solicitare, divulgarea de informații sensibile, manipularea ieșirii și agenția excesivă. Acestea sunt moduri de eșec practice, mai degrabă decât preocupări tehnice abstracte.

Dacă un agent de inteligență artificială are prea multă autoritate, poate lua acțiuni pe care niciun om nu le-a intenționat. Dacă o injecție de solicitare reușește, sistemul poate divulga informații sau urma instrucțiuni ostile. Dacă datele sensibile se scurg printr-un model sau un sistem de recuperare, răspunsul are implicații legale, regulatorii, clienți și reputaționale. De aceea, limbajul guvernanței de inteligență artificială poate deveni uneori prea pasiv. Guvernanța ne spune ce ar trebui să fie adevărat. Răspunsul la incidente ne spune ce să facem atunci când realitatea se mișcă mai repede decât politica.

Răspunsul va fi transversal

Una dintre cele mai mari lecții din securitatea cibernetică este că incidentele rareori rămân în cadrul echipei de securitate. La început, un eveniment poate părea tehnic. Foarte repede, implică aspecte legale, de comunicare, de conducere, de conformitate, clienți, consilieri externi, asigurători, specialiști forensici și, uneori, consiliul de administrație.

Incidentele de inteligență artificială vor urma același model.

Imaginați-vă un model care expune informații sensibile ale clienților. Echipele de securitate și confidențialitate trebuie să înțeleagă ce s-a întâmplat. Departamentul juridic trebuie să evalueze obligațiile. Compartimentul de comunicare poate trebui să se pregătească pentru clienți, regulatori sau mass-media. Echipa de ingineri poate trebui să dezactiveze sau să revină la o versiune anterioară a sistemului. Conducerea afacerilor poate trebui să cântărească continuitatea în raport cu conținerea.

Sau imaginați-vă un agent de inteligență artificială care începe să ia acțiuni neintenționate în sistemele întreprinderii. Echipa tehnică poate să-l închidă, dar organizația trebuie să știe ce a făcut, cine a fost afectat, ce decizii au fost luate, dacă au fost declanșate obligații contractuale și cum va fi prevenit același eșec în viitor. Acest lucru nu poate fi rezolvat de echipa de inteligență artificială singură.

Organizațiile ar trebui să construiască mușchi memoriați transversali înainte de a avea nevoie de ei. Acest lucru înseamnă declanșatoare de escaladare clare, roluri clare, drepturi de decizie clare, căi de comunicare clare, documentație clară și practică.

Într-o criză, coordonarea este infrastructură, nu doar o abilitate moale.

Inteligența artificială care este investigată nu ar trebui să controleze răspunsul

Există o altă problemă cu care organizațiile trebuie să se gândească mult mai atent. Dacă sistemul de inteligență artificială care este investigat poate accesa aceleași comunicații, documente, fluxuri de lucru sau automatizări folosite pentru a coordona răspunsul, organizația are o problemă.

În securitatea cibernetică, acesta este un principiu familiar. Dacă ransomware-ul a compromis rețeaua corporativă, nu coordonați răspunsul pe sisteme pe care atacatorul le-ar putea citi, perturba sau manipula. Treceți în afara benzii. Separați incidentul de răspuns.

Aceeași logică se aplică și inteligenței artificiale.

Un sistem de inteligență artificială poate să nu fie malign în sensul uman, dar dacă poate vedea planul de răspuns, rezuma întâlnirea de răspuns, influența fluxul de lucru, recomanda următorul pas sau opera în același mediu folosit pentru a-l conține, atunci organizația nu a izolat cu adevărat răspunsul.

Acest lucru devine și mai important cu inteligența artificială agențială. Cadru de securitate AI al Google evidențiază riscuri precum injecția de solicitare, otrăvirea datelor și acțiunile necorespunzătoare și le asociază cu controale de-a lungul ciclului de viață al inteligenței artificiale. Acesta este cadrul corect. Pe măsură ce sistemele de inteligență artificială devin mai capabile să acționeze peste instrumente, date și fluxuri de lucru, organizațiile trebuie să gândească despre siguranța modelului și despre separarea operațională.

Gândiți-vă la acest lucru ca la investigarea unui incendiu. Nu ați dori ca sistemele de sprinklere să fie legate de același sistem defect.

Pregătiți-vă, practicați, răspundeți, raportați

Un cadru util pentru pregătirea pentru incidente de inteligență artificială este același care a maturizat în securitatea cibernetică: pregătiți-vă, practicați, răspundeți, raportați.

Pregătiți-vă înseamnă definirea tipurilor de incidente înainte de a se întâmpla, cum ar fi bias, halucinație, scurgere de date, derapaj de model, injecție de solicitare, acțiune agențială, utilizare neautorizată a instrumentelor și eșecul modelului terț. Fiecare necesită stakeholderi și decizii diferite.

Un bun ghid de incidente nu ar trebui să fie un document de 200 de pagini aflat într-un dosar. Nimeni nu deschide pagina 137 în timpul unei crize. Un bun ghid de incidente este bazat pe rol, accesibil și acționabil. Departamentul juridic știe ce trebuie să facă. Ingineria știe ce trebuie să facă. Comunicarea știe când să se implice. Consiliul de administrație știe când managementul va escalada.

Practica înseamnă a rula exerciții de masă. Nu o dată pe an ca o casetă, ci suficient de des pentru a construi mușchi memoriați. Prima dată când consiliul de administrație discută despre un incident de inteligență artificială nu ar trebui să fie în timpul unui incident real de inteligență artificială. Prima dată când departamentele juridice, de inginerie, confidențialitate, securitate și comunicare lucrează împreună pentru a aborda un eșec al inteligenței artificiale nu ar trebui să fie atunci când clienții cer already întrebări.

Răspundeți înseamnă coordonarea evenimentului live cu disciplină. Cine este în cameră? Care sunt faptele cunoscute? Care sunt faptele încă nesigure? Care au fost deciziile luate? Cine le-a aprobat? Ce s-a schimbat între ora 12 și ora 48?

Raportați înseamnă recunoașterea faptului că reglementarea inteligenței artificiale devine mai concretă. Actul UE privind inteligența artificială include obligații serioase de raportare a incidentelor pentru furnizorii anumitor sisteme de inteligență artificială cu risc ridicat. Detaliile vor varia în funcție de jurisdicție, industrie și caz de utilizare, dar direcția este clară. Incidentele de inteligență artificială vor necesita din ce în ce mai mult un registru defensiv al ceea ce s-a întâmplat, ce a fost cunoscut, ce acțiuni au fost întreprinse și când.

Inteligența artificială poate ajuta, dar nu poate înlocui judecata

Există o ispită să se creadă că răspunsul la incidentele de inteligență artificială ar trebui să fie complet automatizat. Cred că acesta este cadrul greșit.

Inteligența artificială poate ajuta enorm. Poate rezuma fapte. Poate identifica informații lipsă. Poate compara un incident cu modele anterioare. Poate redacta rapoarte post-incident. Poate ajuta la cartografierea obligațiilor regulatorii. Poate reduce sarcina administrativă atunci când oamenii sunt sub presiune.

Dar într-un incident grav, oamenii rămân indispensabili.

Cineva trebuie să decidă dacă faptele sunt suficiente. Cineva trebuie să cântărească impactul asupra clienților. Cineva trebuie să decidă dacă să oprească un sistem. Cineva trebuie să determine dacă organizația a depășit un prag de raportare. Cineva trebuie să comunice cu responsabilitate și empatie.

Rolul corect al inteligenței artificiale în răspunsul la incidente nu este să înlocuiască echipa de criză. Este să ofere echipei de criză un context mai bun, mai rapid.

Cadrul de gestionare a riscurilor de inteligență artificială al NIST este util pentru că încadrează gestionarea riscurilor de inteligență artificială în jurul a patru funcții: guvernanță, cartografiere, măsurare și gestionare. Pentru răspunsul la incidente, aș adăuga o extensie practică: repetiție.

Un plan care nu a fost testat nu este cu adevărat un plan. Este o teorie.

Consiliile de administrație au nevoie de un ghid, de asemenea

Riscul de inteligență artificială devine un subiect de nivelul consiliului de administrație, dar implicarea consiliului de administrație nu se poate opri la diapozitive de supraveghere. Consiliile de administrație trebuie să înțeleagă rolul lor înainte de a apărea o criză.

Când va fi informat consiliul de administrație? Care sunt deciziile care necesită inputul consiliului de administrație? Care sunt informațiile pe care managementul le va furniza? Cum vor fi evaluate materialitatea, impactul asupra clienților, expunerea legală, obligațiile regulatorii și perturbarea operațională?

Multe organizații au ghiduri de securitate, ghiduri de confidențialitate, ghiduri de comunicare și ghiduri juridice. Mult mai puține au un ghid pentru consiliul de administrație pentru incidente de inteligență artificială. Această lacună va deveni mai vizibilă pe măsură ce sistemele de inteligență artificială se mută în fluxuri de lucru regulate, generatoare de venituri și orientate către clienți. Rolul consiliului de administrație este să ajute organizația să ia decizii mai bune sub presiune, nu să devină mai tehnic.

Inteligența artificială de încredere necesită reziliență operațională

Există o mulțime de discuții despre inteligența artificială de încredere. Acesta este aspirația corectă, dar încrederea nu este creată de principii singure. Încrederea este creată atunci când organizațiile pot arăta cum se pregătesc, cum detectează probleme, cum răspund, cum comunică, cum documentează deciziile și cum se îmbunătățesc.

Securitatea cibernetică a trecut prin aceeași evoluție. Organizațiile au investit ani de zile în prevenire și ar trebui să continue să o facă. Dar organizațiile mature au învățat în cele din urmă că prevenirea nu este suficientă. Aveți nevoie și de reziliență. Inteligența artificială intră în aceeași fază.

Trebuie să construim modele mai sigure, controale mai puternice, evaluări mai bune, redresări mai bune, guvernanță mai bună, dar ar trebui să acceptăm și că incidentele vor apărea. Modelele vor eșua, agenții vor acționa în mod neașteptat, datele vor fi scurse, oamenii vor abuza de sisteme, furnizorii vor face greșeli și reglementările vor evolua.

Întrebarea este dacă organizația poate răspunde cu viteză, coordonare, judecată și responsabilitate atunci când apare un incident. Acesta este modul în care inteligența artificială trece de la experimentare la infrastructură de încredere și acesta este modul în care reziliența devine cultură.