אבטחת סייבר
מתקפת יריבות אופטית יכולה לשנות את המשמעות של תמרורים
חוקרים בארה"ב פיתחו מתקפה נגד היכולת של מערכות למידת מכונה לפרש נכון את מה שהם רואים - כולל פריטים קריטיים למשימה כמו תמרורים - על ידי הארת אור מעוצב על אובייקטים בעולם האמיתי. בניסוי אחד, הגישה הצליחה לגרום למשמעות של תמרור 'עצור' בצד הדרך להפוך לתמרור הגבלת מהירות '30 קמ"ש'.
הפרעות על שלט, שנוצרו על ידי הזרקת אור מעוצב עליו, מעוותות את האופן שבו הוא מתפרש במערכת למידת מכונה. מקור: https://arxiv.org/pdf/2108.06247.pdf
השמיים מחקר זכאי מתקפת יריב אופטית, ומגיע מאוניברסיטת פרדו באינדיאנה.
התקפה נגדית אופטית (OPAD), כפי שהוצעה על ידי העיתון, משתמשת בתאורה מובנית כדי לשנות את המראה של אובייקטי מטרה, ודורשת רק מקרן סחורות, מצלמה ומחשב. החוקרים הצליחו לבצע בהצלחה הן התקפות הקופסה הלבנה והן הקופסה השחורה באמצעות טכניקה זו.
מערך ה-OPAD והעיוותים הנתפסים באופן מינימלי (על ידי אנשים) שמתאימים כדי לגרום לסיווג שגוי.
ההגדרה של OPAD מורכבת ממקרן ViewSonic 3600 Lumens SVGA, מצלמת Canon T6i ומחשב נייד.
קופסה שחורה והתקפות ממוקדות
התקפות של קופסה לבנה הן תרחישים לא סבירים שבהם לתוקף עשויה להיות גישה ישירה לנוהל מודל אימון או לניהול נתוני הקלט. התקפות הקופסה השחורה, לעומת זאת, מנוסחות בדרך כלל על ידי הסקה של איך מורכבת למידת מכונה, או לפחות איך היא מתנהגת, יצירת מודלים של 'צללים' ופיתוח התקפות יריבות שנועדו לעבוד על המודל המקורי.
כאן אנו רואים את כמות ההפרעות החזותיות הנחוצות כדי להטעות את הסיווגאה.
במקרה האחרון, אין צורך בגישה מיוחדת, אם כי התקפות כאלה נעזרות רבות על ידי נוכחותן של ספריות ראייה ממוחשבת בקוד פתוח ומסדי נתונים במחקר אקדמי ומסחרי עדכני.
כל התקפות OPAD המתוארות במאמר החדש הן התקפות 'ממוקדות', המבקשות באופן ספציפי לשנות את אופן הפירוש של אובייקטים מסוימים. למרות שהמערכת הוכחה גם מסוגלת להשיג התקפות מופשטות מוכללות, החוקרים טוענים שלתוקף בעולם האמיתי תהיה מטרה משבשת ספציפית יותר.
מתקפת OPAD היא פשוט גרסה אמיתית של העיקרון הנחקר תדיר של הזרקת רעש לתמונות שישמשו במערכות ראייה ממוחשבת. הערך של הגישה הוא שאפשר פשוט 'להשליך' את ההפרעות על אובייקט היעד כדי להפעיל את הסיווג השגוי, בעוד שהבטחת שתמונות 'סוס טרויאני' יגיעו לתהליך האימון היא די קשה יותר לביצוע.
במקרה שבו OPAD הצליח לכפות את המשמעות הגובבת של תמונת 'מהירות 30' במערך נתונים על שלט 'STOP', תמונת קו הבסיס התקבלה על ידי הארת האובייקט בצורה אחידה בעוצמה של 140/255. לאחר מכן הוחלה תאורה בפיצוי מקרן כמוקרנת התקפת ירידה בשיפוע.
דוגמאות להתקפות סיווג שגוי של OPAD.
החוקרים מבחינים כי האתגר העיקרי של הפרויקט היה לכייל ולהגדיר את מנגנון המקרן כך שישיג 'הונאה' נקייה, שכן זוויות, אופטיקה ועוד כמה גורמים מהווים אתגר לניצול.
בנוסף, סביר להניח שהגישה תעבוד רק בלילה. האם ההארה הברורה תגלה את ה'פריצה' היא גם גורם; אם חפץ כמו שלט כבר מואר, המקרן חייב לפצות על תאורה זו, וגם כמות ההפרעות המוחזרות צריכה להיות עמידה בפני פנסים. נראה שזו מערכת שתעבוד בצורה הטובה ביותר בסביבות עירוניות, שבהן סביר להניח שהתאורה הסביבתית תהיה יציבה יותר.
המחקר בונה למעשה איטרציה מכוונת ML של אוניברסיטת קולומביה מחקר 2004 לשנות את המראה של אובייקטים על ידי השלכת תמונות אחרות עליהם - ניסוי מבוסס אופטיקה שחסר את הפוטנציאל הממאיר של OPAD.
בבדיקה, OPAD הצליח לרמות מסווג עבור 31 מתוך 64 התקפות - אחוז הצלחה של 48%. החוקרים מציינים ששיעור ההצלחה תלוי מאוד בסוג החפץ המותקף. משטחים מנומרים או מעוקלים (כגון, בהתאמה, דובון וספל) אינם יכולים לספק מספיק רפלקטיביות ישירה כדי לבצע את ההתקפה. מצד שני, משטחים שטוחים המשקפים בכוונה כמו תמרורים הם סביבות אידיאליות לעיוות OPAD.
משטחי תקיפה בקוד פתוח
כל ההתקפות בוצעו נגד קבוצה מסוימת של מסדי נתונים: מסד הנתונים הגרמני לזיהוי תמרורים (GTSRB, שנקרא GTSRB-CNN בעיתון החדש), ששימש להכשרת הדגם עבור א תרחיש תקיפה דומה ב-2018; ה-ImageNet VGG16 מערך נתונים; וה-ImageNet Resnet-50 להגדיר.
אז האם ההתקפות הללו הן "תיאורטיות בלבד", מכיוון שהן מכוונות למערך נתונים של קוד פתוח, ולא למערכות הקנייניות והסגורות ברכבים אוטונומיים? הם היו, אם זרועות המחקר הגדולות לא היו מסתמכות על המבנה האקולוגי של הקוד הפתוח, כולל אלגוריתמים ומערכי נתונים, ובמקום זאת עמלו בסתר כדי לייצר מערכי נתונים בקוד סגור ואלגוריתמי זיהוי אטומים.
אבל באופן כללי זה לא עובד ככה. מערכי נתונים מובילים הופכים לאמות המידה שלפיהן נמדדת כל ההתקדמות (והערכה/שבחים), בעוד שמערכות זיהוי תמונות בקוד פתוח כמו סדרת YOLO מתקדמת, באמצעות שיתוף פעולה גלובלי משותף, של כל מערכת סגורה מפותחת פנימית שנועדה לפעול על פי עקרונות דומים. .
חשיפת FOSS
גם כאשר הנתונים במסגרת ראייה ממוחשבת יוחלפו בסופו של דבר בנתונים סגורים לחלוטין, המשקולות של המודלים 'המרוקנים' עדיין מכוילים לעתים קרובות בשלבי הפיתוח המוקדמים על ידי נתוני FOSS שלעולם לא יוסרו לחלוטין - מה שאומר ש המערכות המתקבלות יכולות להיות ממוקדות על ידי שיטות FOSS.
בנוסף, ההסתמכות על גישת קוד פתוח למערכות קורות חיים מסוג זה מאפשרת לחברות פרטיות להיעזר, ללא חידושים מסועפים מפרויקטי מחקר גלובליים אחרים, ולהוסיף תמריץ פיננסי לשמור על הארכיטקטורה נגישה. לאחר מכן הם יכולים לנסות לסגור את המערכת רק בנקודת המסחור, עד אז מערך שלם של מדדי FOSS בלתי ניתנים להסיק מוטבע בה עמוק.
