התקפת אדוורסריאל אופטית יכולה לשנות את משמעותם של שלטי דרך

חוקרים בארצות הברית פיתחו התקפת אדוורסריאל נגד היכולת של מערכות למידת מכונה לפרש בצורה נכונה את מה שהן רואות – כולל פריטים בעלי חשיבות משימתית כגון שלטי דרך – על ידי הקרנת אור מוסדר על עצמים בעולם האמיתי. בניסוי אחד, הגישה הצליחה לגרום לשינוי משמעותו של שלט “עצור” לשלט “מהירות 30 מייל לשעה”.

פרטורבציות על שלט, שנוצרו על ידי הקרנת אור מוסדר עליו, מעוותות את האופן בו הוא מפורש במערכת למידת מכונה. מקור: https://arxiv.org/pdf/2108.06247.pdf

המחקר נקרא התקפת אדוורסריאל אופטית, והוא מגיע מאוניברסיטת פרדו באינדיאנה.

התקפת OPAD (Optical Adversarial Attack), כפי שהוצעה במאמר, משתמשת בתאורה מובנית כדי לשנות את המראה של עצמים, ודורשת רק מקרן תמונות, מצלמה ומחשב. החוקרים הצליחו לבצע בהצלחה התקפות לבנות ושחורות באמצעות שיטה זו.

הקמת OPAD, והעיוותים המינימליים (המורגשים על ידי בני אדם) המספיקים כדי לגרום לשגיאת סיווג.

הקמת OPAD כוללת מקרן תמונות ViewSonic 3600 Lumens SVGA, מצלמה Canon T6i, ומחשב נייד.

התקפות שחורות ומכוונות

התקפות לבנות הן תרחישים בלתי סבירים, שבהם תוקף עשוי להיות בעל גישה ישירה לנוהל האימון או לניהול נתוני הקלט. התקפות שחורות, לעומת זאת, מורכבות בדרך כלל על ידי היקשרות לאופן שבו מערכת למידת מכונה מרכיבה, או לפחות איך היא מתנהגת, ופיתוח “מודלים מוצללים” ופיתוח התקפות אדוורסריאל שמיועדות לעבוד על המודל המקורי.

כאן אנו רואים את כמות הפרטורבציה הנדרשת כדי לרמות את המסווג.

במקרה האחרון, אין צורך בגישה מיוחדת, אם כי התקפות כאלו מסייעות באופן משמעותי על ידי הנגישות של ספריות ראייה ממוחשבת פתוחות ובסיסי נתונים במחקר אקדמי ומסחרי נוכחי.

כל ההתקפות OPAD המתוארות במאמר החדש הן התקפות “מכוונות”, שמחפשות לשנות את האופן בו עצמים מסוימים מפורשים. אם כי המערכת הוכחה כמסוגלת לבצע התקפות מופשטות וכלליות, החוקרים טוענים כי תוקף בעולם האמיתי יהיה בעל מטרה מסוימת ושונה.

התקפת OPAD היא פשוט גרסה של עולם אמיתי של עקרון הזרקת רעש לתמונות שישמשו במערכות ראייה ממוחשבת. הערך של הגישה הוא שניתן להקרין את הפרטורבציות על העצם המיועד בקלות, כדי לגרום לשגיאת סיווג, בעוד שוודאי קשה יותר להבטיח שתמונות “סוס טרויאני” יגיעו לתהליך האימון.

במקרה שבו OPAD הצליחה להטיל את המשמעות המקודדת של תמונת “מהירות 30” במאגר נתונים על שלט “עצור”, תמונת הבסיס הושגה על ידי תאורה אחידה של העצם בעוצמה 140/255. אז הוחלה תאורה מותאמת למקרן כהתקפת ירידה בגרדיאנט.

דוגמאות להתקפות מיסווג שגויות של OPAD.

החוקרים מצביעים על כך שהאתגר העיקרי של הפרויקט היה לכייל ולהקים את מנגנון המקרן כך שישיג “רמאות” נקייה, מאחר שזוויות, אופטיקה וגורמים רבים אחרים הם אתגר לניצול.

בנוסף, הגישה סבירה לעבוד רק בלילה. האם התאורה הבולטת תגלה את “ההאק” הוא גם גורם; אם עצם כגון שלט כבר מואר, המקרן צריך לפצות על תאורה זו, וכמות הפרטורבציה המוחזרת גם צריכה להיות עמידה בפני אורות רכב. נראה שזהו מערכת שתעבוד הכי טוב בסביבות עירוניות, שבהן תאורת הסביבה סבירה להיות יותר יציבה.

המחקר בנה בפועל איטרציה של מערכת למידת מכונה, המבוססת על מחקר של אוניברסיטת קולומביה מ-2004, שחקר את שינוי המראה של עצמים על ידי הקרנת תמונות אחרות עליהם – ניסוי אופטי שחסר את הפוטנציאל הזדוני של OPAD.

בבדיקות, OPAD הצליחה לרמות את המסווג ב-31 מתוך 64 התקפות – שיעור הצלחה של 48%. החוקרים מצביעים על כך ששיעור ההצלחה תלוי במידה רבה בסוג העצם שנתקף. שטחים מנומרים או מעוקמים (כגון, בהתאמה, דובי וכוס) לא יכולים לספק מספיק רפלקטיביות ישירה כדי לבצע את ההתקפה. מצד שני, שטחים שטוחים ומחוספסים בכוונה, כגון שלטי דרך, הם סביבות אידיאליות לעיוות OPAD.

פני שטח תקיפה פתוחים

כל ההתקפות בוצעו נגד קבוצה ספציפית של בסיסי נתונים: בסיס הנתונים הגרמני לזיהוי שלטי דרך (GTSRB, הנקרא GTSRB-CNN במאמר החדש), ששימש לאימון המודל לתרחיש התקפה דומה ב-2018; בסיס הנתונים ImageNet VGG16; ובסיס הנתונים ImageNet Resnet-50.

האם התקפות אלו “רק תאורטיות”, שכן הן מכוונות לבסיסי נתונים פתוחים, ולא למערכות סגורות ברכבים אוטונומיים? הן היו, אם זרועות המחקר העיקריות לא היו מסתמכות על התשתית הפתוחה, כולל אלגוריתמים ובסיסי נתונים, ובמקום זאת עבדו בסוד ליצירת בסיסי נתונים סגורים ואלגוריתמים אטומים.

אך בכלל, זה לא כך שזה עובד. בסיסי נתונים מובילים הופכים להיות הבסיס לכל התקדמות (ותהילה) שמודדים, בעוד שמערכות זיהוי תמונות פתוחות כגון סדרת YOLO מתקדמות, באמצעות שיתוף פעולה גלובלי, מעבר לכל מערכת פנימית שמפותחת לפעול על עקרונות דומים.

חשיפת FOSS

אפילו שבהמשך הנתונים במערכת ראייה ממוחשבת יוחלפו בנתונים סגורים, משקלי המודלים “הריקים” עדיין מכוילים בשלבים הראשונים של הפיתוח על ידי נתונים FOSS שלא יימחקו לעולם – מה שאומר שהמערכות התוצאתיות עשויות להיות מותקפות על ידי שיטות FOSS.

בנוסף, הסתמכות על גישה פתוחה למערכות ראייה ממוחשבת מסוג זה מאפשרת לחברות פרטיות ליהנות, בחינם, מחדשנויות מפיצול מיזמים גלובליים אחרים, ומוסיפה תמריץ כלכלי לשמור על הארכיטקטורה נגישה. לאחר מכן הן יכולות לנסות לסגור את המערכת רק בנקודת המסחור, בשלב שבו מערך שלם של מדדים FOSS מוטמעים עמוקות בתוכה.