Atacul Advers Optic Poate Schimba Înțelesul Semnelor de Circulație

Cercetătorii din Statele Unite au dezvoltat un atac advers împotriva capacității sistemelor de învățare automată de a interpreta corect ceea ce văd – inclusiv articole de misiune critică, cum ar fi semnele de circulație – prin proiectarea de lumină structurată pe obiecte din lumea reală. Într-un experiment, abordarea a reușit să schimbe înțelesul unui semn de “STOP” într-un semn de limită de viteză de “30 mph”.

Perturbații pe un semn, create prin proiectarea de lumină structurată pe el, distorsionează modul în care este interpretat într-un sistem de învățare automată. Sursă: https://arxiv.org/pdf/2108.06247.pdf

Cercetarea, intitulată Atac Advers Optic, provine de la Universitatea Purdue din Indiana.

Un atac advers optic (OPAD), așa cum este propus în lucrare, utilizează iluminarea structurată pentru a altera aspectul obiectelor țintă și necesită doar un proiector de uz general, o cameră și un computer. Cercetătorii au reușit să efectueze atacuri atât de tip white-box, cât și de tip black-box, utilizând această tehnică.

Configurația OPAD și distorsiunile minim perceptibile (de către oameni) care sunt suficiente pentru a provoca o clasificare greșită.

Configurația pentru OPAD constă într-un proiector ViewSonic 3600 Lumens SVGA, o cameră Canon T6i și un laptop.

Atacuri Black Box și Țintite

Atacurile de tip white-box sunt scenarii improbabile în care un atacator ar putea avea acces direct la o procedură de modelare sau la guvernarea datelor de intrare. Atacurile de tip black-box, dimpotrivă, sunt de obicei formulate prin inferarea modului în care un sistem de învățare automată este compus sau, cel puțin, modul în care se comportă, creând “modele umbre” și dezvoltând atacuri adverse proiectate să funcționeze pe modelul original.

Aici vedem cantitatea de perturbație vizuală necesară pentru a păcăli clasificatorul.

În acest ultim caz, nu este necesar un acces special, deși astfel de atacuri sunt puternic ajutate de ubiquitatea bibliotecilor și bazelor de date de vedere computerizată deschise în cercetarea academică și comercială actuală.

Toate atacurile OPAD prezentate în lucrarea nouă sunt “atacuri țintite”, care își propun în mod specific să schimbe modul în care anumite obiecte sunt interpretate. Deși sistemul a fost demonstrat și capabil să realizeze atacuri abstracte generalizate, cercetătorii susțin că un atacator din lumea reală ar avea un obiectiv disruptiv mai specific.

Atacul OPAD este doar o versiune din lumea reală a principiului frecvent cercetat de injectare a zgomotului în imagini care vor fi utilizate în sistemele de vedere computerizată. Valoarea abordării constă în faptul că se poate proiecta pur și simplu “perturbația” pe obiectul țintă pentru a declanșa clasificarea greșită, în timp ce asigurarea faptului că “imagini troian” ajung în procesul de antrenare este mult mai dificil de realizat.

În cazul în care OPAD a putut impune înțelesul “vitezei de 30” al imaginii într-o bază de date pe un semn de “STOP”, imaginea de bază a fost obținută prin iluminarea uniformă a obiectului la o intensitate de 140/255. Apoi, a fost aplicată iluminarea compensată de proiector ca o atac de coborâre a gradientului.

Exemple de atacuri de clasificare greșită OPAD.

Cercetătorii observă că principala provocare a proiectului a fost să calibreze și să configureze mecanismul proiectorului astfel încât să obțină o “înșelăciune” curată, deoarece unghiurile, optica și mai multe alte factori sunt o provocare pentru exploatare.

În plus, abordarea este probabil să funcționeze doar noaptea. Dacă iluminarea evidentă ar putea dezvălui “hackingul” este și un factor; dacă un obiect, cum ar fi un semn, este deja iluminat, proiectorul trebuie să compenseze acea iluminare, iar cantitatea de perturbație reflectată trebuie să fie rezistentă la farurile automobilelor. Ar părea să fie un sistem care ar funcționa cel mai bine în medii urbane, unde iluminarea ambientală este probabil să fie mai stabilă.

Cercetarea construiește efectiv o iterație orientată spre ML a cercetării din 2004 a Universității Columbia privind schimbarea aspectului obiectelor prin proiectarea altor imagini pe ele – un experiment optic care lipsește de potențialul malign al OPAD.

La testare, OPAD a reușit să păcălească un clasificator în 31 din 64 de atacuri – un ritm de succes de 48%. Cercetătorii notează că rata de succes depinde foarte mult de tipul de obiect atacat. Suprafețele mottate sau curbe (cum ar fi, respectiv, un urs de pluș și o cană) nu pot oferi suficientă reflectivitate directă pentru a efectua atacul. Pe de altă parte, suprafețele intenționat reflectorizante, cum ar fi semnele de circulație, sunt medii ideale pentru o distorsionare OPAD.

Suprafețe de Atac Deschise

Toate atacurile au fost efectuate împotriva unui set specific de baze de date: baza de date de recunoaștere a semnelor de circulație germane (GTSRB, numită GTSRB-CNN în lucrarea nouă), care a fost utilizată pentru a antrena modelul pentru un scenariu de atac similar în 2018; baza de date ImageNet VGG16; și setul ImageNet Resnet-50.

Deci, sunt aceste atacuri “doar teoretice”, deoarece sunt îndreptate împotriva seturilor de date deschise și nu împotriva sistemelor proprietare, închise din vehiculele autonome? Ar fi, dacă principalele brațe de cercetare nu ar depinde de infrastructura deschisă, inclusiv algoritmi și baze de date, și în schimb ar lucra în secret pentru a produce seturi de date proprietare și algoritmi de recunoaștere opaci.

Dar, în general, nu este așa. Seturile de date de referință devin reperele împotriva cărora toate progresele (și prestigiul) devin măsurate, în timp ce sistemele de recunoaștere a imaginilor deschise, cum ar fi seria YOLO, depășesc, prin cooperare globală comună, orice sistem intern dezvoltat, închis, destinat să funcționeze pe principii similare.

Expunerea FOSS

Chiar și acolo unde datele dintr-un cadru de vedere computerizată vor fi înlocuite în cele din urmă cu date complet închise, greutățile “modelelor golite” sunt încă frecvent calibrate în primele etape de dezvoltare prin date FOSS care nu vor fi niciodată complet abandonate – ceea ce înseamnă că sistemele rezultate pot fi eventual țintite prin metode FOSS.

În plus, să te bazezi pe o abordare deschisă pentru sistemele CV de acest tip face posibil ca companiile private să se vail themselves, free, of branched innovations from other global research projects, adding a financial incentive to keep the architecture accessible. Thereafter they can attempt to close the system only at the point of commercialization, by which time an entire array of inferable FOSS metrics are deeply embedded in it.