Supravegherea Inteligenței Artificiale are trei puncte oarbe — și majoritatea companiilor nu urmăresc niciuna dintre ele

Majoritatea conversațiilor despre siguranța inteligenței artificiale din cadrul companiilor sunt îndreptate către un obiectiv greșit. Echipele petrec săptămâni întregi discutând despre ce model să utilizeze, apoi conectează acel model la e-mail, plăți, baza de date cu clienți și cod, fără a se opri să pună o întrebare mult mai simplă: când această entitate face ceva, cine o observă și poate cineva să o oprească?

Numerele spun că acest lucru este pe cale să devină scump. Gartner estimează că cel puțin 15% din deciziile de rutină vor fi luate în mod autonom de inteligența artificială până în 2028, față de aproape zero în 2024. În aceeași cercetare, avertizează că mai mult de 40% din proiectele de inteligență artificială agențială vor fi anulate până la sfârșitul anului 2027, și unul dintre motivele pe care le oferă este reprezentat de controalele de risc slabe. Citiți din nou. Proiectele nu mor pentru că modelele sunt rele. Ele mor pentru că nimeni nu a construit o modalitate de a le guverna.

Eu construiesc sisteme de guvernanță pentru inteligența artificială pentru a trăi, așa că văd aceleași lacune peste tot. Există trei astfel de lacune. Majoritatea companiilor nu urmăresc niciuna dintre ele corespunzător, iar multe nu urmăresc nimic.

Agenții sunt cei zgomotoși

Toată lumea se teme de agenții autonomi și are dreptate să se teamă. Dar majoritatea oamenilor se tem de partea greșită. Lucrul neliniștitor despre un agent nu este că raționează. Este că acționează. El nu propune rambursarea; o plătește. Nu redactează e-mailul; îl trimite. Dă unui model un set de instrumente și i-ai dat capacitatea de a ajunge la sisteme reale și de a le modifica.

Greșiți și eșecul nu va fi o propoziție neîndemânatică. Va fi bani ieșiți pe ușă sau o tabelă liniștită ștearsă dintr-o bază de date. Și există o muchie mai ascuțită. Injectarea de prompturi se află chiar în partea de sus a listei de riscuri OWASP pentru aplicații LLM, și pe bună dreptate: hrăniți un model cu textul greșit și poate fi convins să facă ceva ce nimeni nu a cerut. Când modelul poate doar vorbi, este o nuisance. Când modelul poate apela instrumente, este un atacator care ține cheile dvs. API.

Răspunsul standard este de a înregistra tot ceea ce face agentul și de a urmări urmele. Bine. Dar o urmă este o descriere a ceva care s-a întâmplat deja. Este imagini CCTV după ce casa de marcat a fost goală, utilă pentru anchetă, inutilă pentru a opri furtul.

Cel tăcut pe care nimeni nu îl menționează

A doua punctă oarbă nu ajunge niciodată pe o diapozitivă, pentru că este plictisitoare. Este apelul API obișnuit. Nu un agent, nu un cadru, doar un fragment de cod undeva într-un serviciu care asamblează un prompt și îl trimite către un model.

Majoritatea inteligenței artificiale din producție arată de fapt astfel, și este partea cea mai puțin guvernată a întregului stivuit, tocmai pentru că este atât de obișnuită. Este o cerere HTTP îngropată trei straturi adânc într-un serviciu, scrisă de un inginer care nu a auzit niciodată de politica dvs. de inteligență artificială și nu știe unde să o găsească. Același apel poate trimite datele unui client către un model terț, sau poate declanșa o acțiune în aval, și nimic nu verifică dacă ar trebui, și nimic independent nu scrie că a făcut-o.

Cel murdar este reprezentat de oameni

A treia punctă oarbă este reprezentată de oameni, ceea ce o face cea mai rea. Personalul dvs. a aflat cu luni în urmă că lipirea unei sarcini în ChatGPT sau Claude o finalizează mai repede, așa că o fac toată ziua, de obicei din conturi personale pe care nu le puteți vedea. Acest lucru nu este ipotetic. Analiza Cyberhaven privind utilizarea reală în locul de muncă a constatat că o parte semnificativă a angajaților au lipit date confidențiale ale companiei în ChatGPT, multe dintre ele prin conturi pe care compania nu le are în vedere.

Dacă doriți o poveste de avertizare, este Samsung. În 2023, a interzis inteligența artificială generativă internă după ce inginerii au lipit cod sursă proprietar în ChatGPT, de trei ori în mai puțin de o lună. Aceștia nu erau actori răi. Erau ingineri buni care încercau să depaneze mai repede. Acesta este întregul capcană: scurgerea pare identică cu productivitatea. Și vechile dvs. unelte de pierdere de date nu o vor prinde, pentru că este o copie lipită într-o filă de browser, nu un fișier care iese din clădire.

Ce funcționează cu adevărat

Aliniați-le pe toate trei și rezolvarea încetează să mai fie despre agenți în mod specific și se transformă într-o singură idee: guvernați ceea ce face orice inteligență artificială înainte să o facă, nu după. Câteva lucruri care contează cu adevărat, învățate mai ales pe cale grea.

Așezați-vă în fața acțiunii, nu în spatele ei. Acesta este întregul joc, și de aceea insist să spun că observabilitatea și guvernanța nu sunt același cuvânt. Un tablou de bord care vă spune că un agent a mutat 40.000 de lire sterline ieri este un raport de pierderi. Ceva care poate ține acea transfer pentru ca un om să o examineze înainte de a părăsi este un control. Dacă configurația dvs. poate spune doar ce s-a întâmplat, nu aveți supraveghere. Aveți doar o retrospectivă.

Folosiți un punct de control, nu unul pe fiecare instrument. Agenții, apelurile API și personalul care lipește într-un chatbot par a fi trei probleme separate, așa că companiile cumpără trei instrumente separate și se trezesc cu trei seturi de lacune între ele. Lucrurile rele trăiesc în lacune. Tot ceea ce face o inteligență artificială, indiferent de unde vine, ar trebui să treacă prin aceeași poartă.

Păstrați un jurnal pe care inteligența artificială nu îl poate rescrie. Dacă sistemul care face lucrul este și singurul care înregistrează că a făcut lucrul, nu aveți un înregistrare. Aveți un jurnal pe care îi este permis să îl editeze. Acesta este exact locul în care se îndreaptă regulile. Cerința de înregistrare a Actului UE privind inteligența artificială, Articolul 12, există astfel încât ceea ce a făcut un sistem cu risc ridicat să poată fi reconstruit de cineva altcineva decât sistemul. În practică, acest lucru înseamnă un jurnal ținut în afara lucrului care este înregistrat, unul care nu poate fi modificat liniștit după aceea.

Puneți un om pe apelurile mari, ireversibile. Nu pe toate, faceți asta și veți îneca oamenii în aprobări până când vor ștampila totul. Dar apelurile pe care nu le puteți retrage, mutarea banilor, exportul de date, ștergerea înregistrărilor, ar trebui să se oprească și să aștepte. Actul UE privind inteligența artificială face deja supravegherea umană obligatorie pentru sistemele cu risc ridicat, Articolul 14. Prinsa de care trebuie să vă amintiți este că supravegherea nu contează decât dacă persoana are timpul și contextul pentru a spune realmente nu. O aprobare pe care nimeni nu o citește este doar teatru.

Verificarea sinceră a intuiției

Niciuna dintre aceste trei nu este un caz marginal. Sunt modul obișnuit în care majoritatea companiilor rulează inteligența artificială în acest moment, liniștit, fără prea multă plasă de siguranță. Echipele care trec prin următorii ani fără un incident urât nu vor fi cele cu graficele cele mai frumoase. Vor fi cele care au decis de la început că tot ceea ce face inteligența lor artificială, agentul, apelul API, paragraful lipit, trece printr-o poartă înainte de a se întâmpla, nu după.

Dacă doriți un test rapid al configurației dvs., răspundeți la două întrebări cu sinceritate. Din aceste trei suprafețe, câte puteți vedea cu adevărat? Și din cele pe care le puteți vedea, câte puteți opri? Pentru multe companii, răspunsul sincer la a doua întrebare este zero. Acesta este numărul pe care trebuie să îl corectați mai întâi.