Industria IA vrea să aibă încrederea noastră, dar mai întâi are nevoie de mecanisme de control mai bune

În securitate, nu așteptăm să se întâmple ceva rău ca să aflăm dacă măsurile de control funcționează. Le testăm. Le punem la încercare. Presupunem că, mai devreme sau mai târziu, cineva va găsi vulnerabilitatea pe care am trecut-o cu vederea.

Asta înseamnă noțiuni de bază despre securitate.

De ce ar trebui ca IA de frontieră să fie supusă unui alt standard?

Pe măsură ce sistemele de IA devin mai autonome și capătă un acces mai larg la sisteme din lumea reală, observăm un lucru care ar trebui să îngrijoreze pe oricine a lucrat în apărarea cibernetică: capabilitățile evoluează mai repede decât mecanismele de control.

Iar viteza nu este o scuză pentru o securitate mai slabă. Dimpotrivă, este motivul pentru care avem nevoie de o securitate mai puternică.

O evaluare recentă realizată de organizația non-profit Guidelight AI a analizat dovezile disponibile public privind practicile de control al IA la Anthropic, Google, Meta, OpenAI și xAI. Niciuna nu a obținut o notă generală mai mare de C+.

Asta nu înseamnă că aceste companii sunt iresponsabile. Nici nu înseamnă că nu aplică măsuri de control suplimentare în spatele ușilor închise.

Dar securitatea nu se bazează pe presupuneri. Dacă ni se cere să avem încredere în sisteme tot mai puternice, ar trebui să ne așteptăm la dovezi că mecanismele de control care le înconjoară pot face față aceluiași nivel de examinare pe care l-am cere oriunde altundeva.

Nu mai tratați eșecurile ca pe niște povești captivante

Când un agent IA se comportă în mod neașteptat, obține acces neintenționat sau scoate la iveală o vulnerabilitate, atenția se îndreaptă de obicei către ceea ce a făcut tehnologia.

E interesant.

Dar nu aceasta este întrebarea cea mai importantă.

Un specialist în securitate vrea să știe: A fost înregistrată activitatea? A observat cineva ce se întâmpla? Acțiunile periculoase erau supuse unor mecanisme de autorizare? Putea cineva să oprească sistemul? Exista un plan de izolare și îl testase cineva?

Aceste întrebări nu sunt specifice IA. Sunt întrebările pe care ni le punem de ani de zile în securitatea cibernetică.

Cu toate acestea, prevenirea și izolarea par să rămână puncte slabe în cadrul emergent de control al IA de frontieră. Dovezile publice privind acțiunile supuse unor mecanisme de autorizare, mecanismele de întrerupere și izolarea de urgență rămân limitate.

Acest lucru ar trebui să conteze mai mult decât noutatea incidentului. Când ceva nu funcționează, vreau să știu ce a cedat, ce a împiedicat situația să se agraveze și ce s-a schimbat ulterior.

Transparența este utilă. Învățarea este și mai importantă.

Adevărata problemă de securitate a IA este viteza

Nu cred că cea mai mare amenințare pe termen scurt este ca IA să inventeze brusc o categorie complet nouă de atacuri cibernetice. Problema mai mare este mult mai concretă. IA poate face ca atacurile pe care le cunoaștem deja să se desfășoare mult mai repede.

Cercetări care înainte durau ore pot fi realizate în câteva minute. Tehnicile de atac pot fi combinate mai repede. Vulnerabilitățile pot fi identificate și exploatate înainte ca un proces de securitate centrat pe oameni să ajungă măcar la primul apel de escaladare.

Este o problemă, deoarece o mare parte din infrastructura de securitate actuală încă pornește de la presupunerea că va exista timp pentru a răspunde.

Uneori, nu va exista.

Dacă un atac se desfășoară rapid, un proces de răspuns bazat pe tichete, ședințe, aprobări și escaladare manuală poate deveni depășit înainte ca cineva să ajungă la pasul al treilea.

Iar aici industria IA mai are de lucru.

Dacă laboratoarele de IA de frontieră se așteaptă ca întreprinderile să regândească vizibilitatea, gestionarea vulnerabilităților, arhitectura și răspunsul la incidente pentru era IA, ar trebui să ne arate că au făcut același lucru și în propriile organizații.

„Aveți încredere în noi” nu este un cadru de control

Mi-am petrecut cariera în domeniul testării securității, iar un principiu rămâne deosebit de valabil: intențiile nu dovedesc securitatea. Dovezile o fac.

• Testezi.
• Monitorizezi.
• Încerci să strici lucrurile.

Afli ce se întâmplă când mecanismele de control nu funcționează așa cum arată schema arhitecturii. Și te asiguri că cineva are autoritatea de a opri sistemul atunci când este necesar. IA de frontieră ar trebui să fie supusă aceluiași standard.

Asta înseamnă testarea adversarială a mecanismelor de control, dovezi măsurabile că acestea funcționează și atribuirea clară a autorității de a opri sistemele când ceva nu merge bine.

Înseamnă și regândirea izolării.

Laboratoarele de IA de frontieră nu pot improviza măsuri de izolare după ce un agent IA acționează în afara limitelor stabilite. Pe măsură ce antrenează și testează modele tot mai capabile, trebuie să își asume responsabilitatea pentru acțiunile pe care le pot întreprinde aceste sisteme. Asta presupune testare adversarială riguroasă, măsuri de protecție autorizate în prealabil, limite clare ale autorității agenților și metode verificate de intervenție sau de oprire a unui sistem înainte ca o defecțiune să se extindă.

Judecata umană rămâne importantă. Dar laboratoarele care dezvoltă aceste sisteme trebuie să stabilească limitele, să testeze dacă sunt respectate și să își asume răspunderea atunci când nu sunt.

Responsabilitatea lor nu constă doar în a demonstra ce poate face un agent. Ei trebuie să arate că agentul poate funcționa în siguranță, că comportamentul său poate fi controlat și că noile capabilități sporesc securitatea lumii, nu o diminuează.

Încrederea trebuie câștigată

Nu susțin că ar trebui să încetinim inovația în domeniul IA până aproape de stagnare. Susțin că securitatea trebuie să țină pasul cu aceasta. Dacă investim resurse uriașe pentru a spori capabilitățile IA, trebuie să manifestăm o urgență comparabilă în ceea ce privește asigurarea securității sale.

Însă, pe măsură ce laboratoarele de vârf accelerează antrenarea și testarea unor noi modele de IA cu capabilități cibernetice, trebuie să țină cont de cei care se ocupă de apărare. În primul rând, ajutându-i să detecteze amenințările și să le răspundă mai rapid. Mai important, împiedicând aceste sisteme să devină ele însele amenințări. Această responsabilitate presupune și acceptarea unei examinări externe.

Evaluarea independentă nu trebuie să devină ceva ce companiile acceptă doar atunci când le susține povestea pe care vor să o spună. Dacă sistemele de IA de frontieră sunt suficient de puternice pentru a schimba peisajul amenințărilor, controalele lor ar trebui să fie suficient de solide pentru a rezista unor evaluări independente riguroase.

Industria IA vrea să aibă încrederea noastră.

Ca specialist în securitate, sunt dispus să i-o acord. Dar, mai întâi, arătați-mi controalele.