Atacul adversar optic poate schimba sensul indicatoarelor de drum

Cercetătorii din SUA au dezvoltat un atac adversar împotriva capacității sistemelor de învățare automată de a interpreta corect ceea ce văd – inclusiv articole critice, cum ar fi indicatoarele de drum – prin proiectarea unei lumini structurate pe obiecte din lumea reală. Într-un experiment, abordarea a reușit să schimbe sensul unui semn de “STOP” într-un semn de limită de viteză de “30mph”.

Perturbații pe un semn, create prin proiectarea unei lumini specializate pe el, distorsionează modul în care este interpretat într-un sistem de învățare automată. Sursă: https://arxiv.org/pdf/2108.06247.pdf

Cercetarea, intitulată Atac adversar optic, provine de la Universitatea Purdue din Indiana.

Un atac adversar optic (OPAD), așa cum este propus în lucrare, utilizează iluminarea structurată pentru a altera aspectul obiectelor țintă și necesită doar un proiector de uz general, o cameră și un computer. Cercetătorii au reușit să efectueze atacuri atât în alb, cât și în cutie neagră, utilizând această tehnică.

Configurația OPAD și distorsiunile minim perceptibile (de către oameni) care sunt suficiente pentru a provoca o clasificare greșită.

Configurația pentru OPAD constă într-un proiector ViewSonic 3600 Lumens SVGA, o cameră Canon T6i și un laptop.

Atacuri în cutie neagră și țintite

Atacurile în alb sunt scenarii improbabile în care un atacator ar putea avea acces direct la o procedură de modelare sau la guvernanța datelor de intrare. Atacurile în cutie neagră, pe de altă parte, sunt de obicei formulate prin inferarea modului în care este compus un sistem de învățare automată sau, cel puțin, modul în care se comportă, creând “modele umbra” și dezvoltând atacuri adverse proiectate să funcționeze pe modelul original.

Aici vedem cantitatea de perturbație vizuală necesară pentru a păcăli clasificatorul.

În acest ultim caz, nu este necesar un acces special, deși astfel de atacuri sunt mult ajutate de ubiquitatea bibliotecilor de viziune computerizată și a bazelor de date deschise în cercetarea academică și comercială actuală.

Toate atacurile OPAD prezentate în lucrarea nouă sunt atacuri “țintite”, care își propun în mod specific să altereze modul în care anumite obiecte sunt interpretate. Deși sistemul a demonstrat, de asemenea, capacitatea de a atinge atacuri abstracte generalizate, cercetătorii susțin că un atacator din lumea reală ar avea un obiectiv disruptiv mai specific.

Atacul OPAD nu este decât o versiune din lumea reală a principiului frecvent cercetat de injectare a zgomotului în imagini care vor fi utilizate în sistemele de viziune computerizată. Valoarea abordării constă în faptul că se poate proiecta pur și simplu “perturbațiile” pe obiectul țintă pentru a declanșa clasificarea greșită, în timp ce asigurarea că imaginile “Troian” ajung în procesul de antrenare este mult mai greu de realizat.

În cazul în care OPAD a putut impune sensul “viteză 30” al unei imagini dintr-o bază de date pe un semn de “STOP”, imaginea de bază a fost obținută prin iluminarea uniformă a obiectului la o intensitate de 140/255. Apoi, s-a aplicat o iluminare compensată de proiector ca atac de coborâre a gradientului.

Exemple de atacuri de clasificare greșită OPAD.

Cercetătorii observă că principala provocare a proiectului a fost să calibreze și să configureze mecanismul proiectorului astfel încât să obțină o “înșelăciune” curată, deoarece unghiurile, optica și numeroși alți factori reprezintă o provocare pentru exploatare.

În plus, abordarea este probabil să funcționeze doar noaptea. Faptul că iluminarea evidentă ar putea dezvălui “hackingul” este, de asemenea, un factor; dacă un obiect, cum ar fi un semn, este deja iluminat, proiectorul trebuie să compenseze acea iluminare, iar cantitatea de perturbație reflectată trebuie, de asemenea, să fie rezistentă la farurile autovehiculelor. Se pare a fi un sistem care ar funcționa cel mai bine în medii urbane, unde iluminarea ambientală este probabil să fie mai stabilă.

Cercetarea construiește, în esență, o iterație orientată spre ML a cercetării din 2004 a Universității Columbia privind schimbarea aspectului obiectelor prin proiectarea altor imagini pe ele – un experiment optic care lipsește de potențialul malign al OPAD.

În testare, OPAD a reușit să păcălească un clasificator în 31 din 64 de atacuri – un ritm de succes de 48%. Cercetătorii notează că rata de succes depinde foarte mult de tipul de obiect atacat. Suprafețele mottate sau curbe (cum ar fi, respectiv, un urs de pluș și o cană) nu pot oferi suficientă reflectivitate directă pentru a efectua atacul. Pe de altă parte, suprafețele plate intenționat reflectorizante, cum ar fi semnele de drum, sunt medii ideale pentru o distorsionare OPAD.

Suprafețe de atac deschise

Toate atacurile au fost efectuate împotriva unui anumit set de baze de date: baza de date germană de recunoaștere a semnelor de circulație (GTSRB, numită GTSRB-CNN în lucrarea nouă), care a fost utilizată pentru a antrena modelul pentru un scenariu de atac similar în 2018; baza de date ImageNet VGG16; și setul ImageNet Resnet-50.

Așadar, sunt aceste atacuri “doar teoretice”, deoarece sunt îndreptate împotriva seturilor de date deschise și nu împotriva sistemelor proprietare din vehiculele autonome? Ar fi, dacă principalele ramuri de cercetare nu s-ar baza pe infrastructura deschisă, inclusiv algoritmi și seturi de date, și nu ar lucra în secret pentru a produce seturi de date și algoritmi de recunoaștere opaci.

Dar, în general, nu este așa. Seturile de date de referință devin reperele în raport cu care toate progresele (și stima/renumele) devin măsurate, în timp ce sistemele de recunoaștere a imaginilor deschise, cum ar fi seria YOLO, depășesc, prin cooperare globală obișnuită, orice sistem intern dezvoltat, destinat să funcționeze pe principii similare.

Expunerea FOSS

Chiar și atunci când datele dintr-un cadru de viziune computerizată vor fi înlocuite în cele din urmă cu date complet închise, greutățile modelului “gol” sunt încă frecvent calibrate în primele etape de dezvoltare prin date FOSS care nu vor fi niciodată complet eliminate – ceea ce înseamnă că sistemele rezultate pot fi potențial vizate de metode FOSS.

În plus, bazarea pe o abordare deschisă a sistemelor CV de acest tip face posibilă pentru companiile private să se folosească, gratuit, de inovațiile ramificate din alte proiecte de cercetare globale, adăugând un stimulent financiar pentru a păstra arhitectura accesibilă. Ulterior, acestea pot încerca să închidă sistemul doar la punctul de comercializare, moment în care o întreagă gamă de metrice FOSS inferabile sunt profund încorporate în el.