Cine are dreptul să auditeze AI-ul de frontieră? Definiția lipsă din Acordul White House

În această săptămână, liderii Google, OpenAI, Anthropic, Meta, xAI și Nvidia au semnat Acordul White House privind Superinteligența. Companiile s-au angajat la patru niveluri de supraveghere pentru modelele de frontieră: controale interne, o echipă internă care le verifică, un auditor sau evaluator extern independent și un comitet de consiliu independent. Angajamentele sunt voluntare pentru moment, iar acordul spune că ar putea fi, în cele din urmă, transformate în lege.

Dintre cele patru niveluri, evaluarea externă are cea mai mare greutate. Este singurul nivel care plasează pe cineva din afara companiei în poziția de a spune dacă măsurile de siguranță funcționează. De asemenea, are cea mai puțină definiție. Acordul nu specifică cine se califică ca auditor independent, ce standard evaluează, cât acces primește sau cum rezistă independența atunci când un evaluator vinde și servicii companiei pe care o revizuiește. Fiecare companie își alege propriul auditor.

În aceste condiții, două companii pot anunța că au trecut o evaluare independentă și pot însemna lucruri foarte diferite. Închiderea acestei lacune va necesita răspunsuri la trei întrebări.

Ce ar trebui să decidă cine se califică

O definiție credibilă a unui auditor independent de AI trebuie să acopere cel puțin patru aspecte.

Independență. Un auditor nu ar trebui să revizuiască măsurile de siguranță pe care le-a ajutat să le proiecteze și nu ar trebui să vândă servicii de remediere sau consultanță aceleiași companii pe care o evaluează. Domeniile mature de audit monitorizează, de asemenea, dependența de onorarii. Când un client reprezintă o parte semnificativă din veniturile auditorului, acesta are un motiv să fie indulgent.

Competență potrivită pentru sarcină. „Auditul” acoperă mai multe activități diferite în AI. Testarea unui model pentru capabilități periculoase, cum ar fi ajutorul la un atac cibernetic sau la o armă biologică, necesită cercetători în învățare automată și experți de domeniu. Verificarea dacă măsurile de siguranță ale unei companii sunt bine concepute și funcționează în practică necesită auditori cu experiență în controale. Un auditor calificat pentru una nu este automat calificat pentru cealaltă, iar raportul de evaluare ar trebui să precizeze care a fost efectuată.

Acces și domeniu. Un auditor care vede doar documentația poate confirma că o măsură de siguranță există pe hârtie. Confirmarea că a funcționat necesită acces la sisteme, jurnale, înregistrări de aprobare și persoane pe o perioadă de timp. Modelele de frontieră se schimbă între rulările de antrenament și implementări, așa că auditorul are nevoie și de o regulă clară pentru când o schimbare necesită o nouă revizuire.

Supravegherea auditorului. Cineva trebuie să verifice pe cei care verifică. În piețele de audit stabilite, organismele de acreditare revizuiesc munca auditorilor și pot retrage statutul acestora când nu corespund standardelor. Acest mecanism de siguranță este cel care conferă concluziilor unei evaluări orice greutate.

Infrastructura care există deja

  Nimic din acestea nu trebuie inventat de la zero. ISO 42001, standardul internațional pentru sistemele de management AI, oferă organizațiilor un cadru pentru guvernarea AI, cu controale documentate, responsabili clari și îmbunătățire continuă. Standardul său însoțitor, ISO 42006, stabilește cerințele pentru organismele care auditează și certifică conform ISO 42001, inclusiv competența pe care auditorii trebuie să o demonstreze și regulile de imparțialitate pe care trebuie să le respecte. Deoarece organismele de certificare operează sub acreditare, o parte terță supraveghează auditorii înșiși.

Pe partea de testare tehnică, cadrele noi completează golurile. AIUC-1 certifică agenți AI specifici în implementări specifice, cu teste recurente de terță parte pentru probleme precum halucinații, spargeri de securitate și utilizarea nesigură a instrumentelor, și se bazează pe controalele ISO 42001.

Statelor li se testează, de asemenea, modelele pentru supravegherea directă a auditorilor. Connecticut a adoptat în acest an o lege care creează un program pilot, începând din iulie 2027, în cadrul căruia Departamentul de Protecție a Consumatorului al statului va aproba până la cinci organizații de verificare independente. Fiecare trebuie să încheie un acord supravegheat de stat care să definească domeniul său, metodele, obligațiile de raportare și guvernanța. Această structură răspunde la mai multe dintre întrebările deschise ale acordului: cine aprobă auditorii, la ce standarde sunt supuși și cine îi supraveghează.

Aceste elemente nu au fost create pentru evaluarea modelelor de frontieră și nu ar trebui prezentate ca un răspuns complet. Munca viitoare constă în a le conecta, astfel încât asigurarea sistemului de management, testarea tehnică a modelelor și supravegherea auditorilor să se îmbine sub o definiție credibilă de independență.

De ce regulile trebuie să vină prima

Angajamentele acordului sunt voluntare în prezent. Dacă devin lege, regulile privind cine poate servi ca auditor trebuie să fie în vigoare înainte ca mandatul să intre în efect, din trei motive.

În primul rând, practica timpurie devine precedent. Odată ce semnatarii încep să numească auditori și să publice rezultate, piața se va stabiliza pe definiții funcționale ale „independent” și „calificat”. Definițiile stabilite fără presiune externă tind să favorizeze comoditatea. Legiuitorii care vor interveni mai târziu vor găsi aceste definiții deja încorporate în contracte și așteptări.

În al doilea rând, capacitatea calificată necesită timp pentru a fi construită. Acreditarea organismelor de evaluare, instruirea evaluatorilor care înțeleg atât modelele de frontieră, cât și testarea controalelor, și dezvoltarea de metode comune necesită ani. O mandat care apare înainte ca această capacitate să existe va fi îndeplinit de oricine este disponibil.

În al treilea rând, o cerință fără o piață de evaluatori calificați în spate duce la simpla bifare a căsuțelor. Companiile vor respecta litera regulii, autoritățile de reglementare vor avea puține motive să conteste evaluările slabe, iar publicul va avea doar impresia unei supravegheri fără prea multă substanță.

Unii susțin că este prea devreme să se stabilească aceste reguli, deoarece știința evaluării modelelor de frontieră este încă la început. Este o preocupare justificată privind metodele de testare, care ar trebui să evolueze pe măsură ce evoluează și modelele. Întrebările ridicate aici se referă la evaluator: dacă este lipsit de conflicte, calificat pentru sarcină, are acces suficient și este supus supravegherii. Aceste întrebări au răspunsuri stabile, iar alte domenii de asigurare le răspund de decenii.

Ce pot organizațiile acum

Companiile care construiesc sau implementează IA avansată nu trebuie să aștepte un mandat. Atunci când aleg un evaluator, pot întreba ce alte servicii le oferă firma, ce calificări are echipa acesteia pentru tipul specific de evaluare, cât de mult acces include angajamentul și cine supraveghează activitatea firmei. Construirea unui sistem de gestionare a IA acum oferă, de asemenea, oricărui evaluator viitor ceva concret și documentat de evaluat.

Acordul stabilește o structură solidă pentru responsabilitatea în domeniul IA. Valoarea sa va depinde de cine ocupă rolul de evaluator și de la ce standarde este ținut, iar timpul pentru a defini acest lucru este înainte ca oricine să fie obligat să îl folosească.