AI מגלה פעילות סודית הנחשפת על ידי קירות ריקים

שיתוף פעולה במחקר, כולל תורמים מ-NVIDIA ו-MIT, פיתח שיטת למידת מכונה שיכולה לזהות אנשים מוסתרים פשוטו כמשמעו על ידי תצפית באור העקיף על קיר סמוך, אפילו כאשר האנשים אינם קרובים למקורות האור. השיטה היא בדיוק קרוב ל-94% כאשר מנסה לזהות את מספר האנשים המוסתרים, וגם יכולה לזהות את הפעילות הספציפית של אדם מוסתר על ידי הגברה מאסיבית של החזרי אור שאינם נראים לעין האנושית ולשיטות תקניות של הגברת תמונה.

הפרעות קטנות של אור, מוגברות על ידי השיטה החדשה, המשתמשת ברשתות עצביות מרוכזות כדי לזהות אזורים של שינוי. Source: https://www.youtube.com/watch?v=K4PapXyX-bI

המאמר החדש paper נקרא מה שאתה יכול ללמוד על ידי הסתכלות על קיר ריק, עם תרומות מ-NVIDIA ו-MIT, כמו גם המכון הטכנולוגי של ישראל.

גישות קודמות ל’ראייה מעבר לקירות’ הסתמכו על מקורות אור ניתנים לשליטה, או ידע קודם של מקורות ידועים של הסתרה, בעוד שהטכניקה החדשה יכולה להתאים לכל חדר חדש, ללא צורך באיכון מחדש. שתי רשתות עצביות מרוכזות שמזהות אנשים מוסתרים השתמשו בנתונים שהתקבלו מ-20 סצנות בלבד.

הפרויקט מיועד למצבים בעלי סיכון גבוה, משימות ביטחון ביקורתיות, פעולות חיפוש והצלה, משימות מעקב אכיפת חוק, תרחישי תגובת חירום, לגילוי נפילות בין קשישים, וכאמצעי לגילוי הולכי רגל מוסתרים עבור כלי רכב אוטונומיים.

הערכה פסיבית

כפי שקורה לעיתים קרובות בפרויקטים של ראייה ממוחשבת, המשימה המרכזית הייתה לזהות, לסווג ולהפעיל שינויים במצב הנראה בזרם תמונה. הידבקות השינויים מובילה לדפוסים חתומה שיכולים לשמש לזיהוי מספר אנשים או לגילוי פעילות של אדם אחד או יותר.

העבודה פותחת את האפשרות של הערכה סצנה פסיבית לחלוטין, ללא צורך להשתמש במשטחים מחזירים, אותות Wi-Fi, מכ”ם, קול או כל ‘נסיבות מיוחדות’ הנדרשות במאמצים אחרים של מחקר בשנים האחרונות שביקשו לקבוע נוכחות אדם מוסתרת בסביבה מסוכנת או ביקורתית.

תרחיש איסוף נתונים מדגמי של סוג זה ששימש למחקר החדש. הנושאים ממוקמים בקפידה כדי לא להטיל צללים או לחסום אורות ישירות, ואין משטחים מחזירים או ‘ווקטורים מותרים’ אחרים. Source: https://arxiv.org/pdf/2108.13027.pdf

באופן יעיל, האור הסביבתי עבור התרחיש הטיפוסי שנתון ליישום יכול להציף כל הפרעות קטנות שנגרמות על ידי אור מוחזר מאנשים מוסתרים במקום אחר בסצנה. החוקרים מחשבים שהתרומה של הפרעת האור של האנשים תהיה פחות מ-1% מהאור הנראה הכולל.

הסרת תאורה סטטית

כדי לחלץ תנועה מתוך תמונת הקיר הסטטית, יש לחשב את הממוצע הזמני של הווידאו ולהסיר אותו מכל פריים. הדפוסים התוצאתיים של תנועה הם בדרך כלל מתחת לסף הרעש של אפילו ציוד וידאו של איכות טובה, ובעצם הרבה מהתנועה מתרחשת בתוך מרחב פיקסלים שלילי.

כדי לתקנה, החוקרים מורידים את הווידאו בפקטור של 16 ומעלים את התוצאה בפקטור של 50, תוך הוספת רמת בסיס אפור בינוני כדי לזהות את נוכחותם של פיקסלים שליליים (שלא יכולים להיחשב על ידי רעש בסיסי של חיישן וידאו).

ההבדל בין הקיר הנראה לאדם, וההפרעה המוחזרת של אנשים מוסתרים. מכיוון שאיכות התמונה היא עניין מרכזי במחקר זה, יש להתייחס לווידאו הרשמי בסוף המאמר לתמונה באיכות גבוהה יותר.

חלון ההזדמנות לתפוס תנועה הוא עדין מאוד, ויכול להיות מושפע אפילו על ידי פליטות האור בתדירות של 60 Hz. לכן, גם הפרעה הטבעית זו צריכה להיבדק ולהימחק מהסרטון לפני שתנועה נגרמת על ידי אדם.

לבסוף, המערכת מייצרת גרפים של מרחב-זמן המסמנים מספר מסוים של תושבים בחדר:

גרפים של מרחב-זמן המייצגים מספר שונה של אנשים מוסתרים בחדר.

פעילויות אנושיות שונות תובילנה גם הן להפרעות חתומה שיכולות להיסווג ולהיכר לאחר מכן:

גרפים של מרחב-זמן לאינאקטיביות, הליכה, כריעה, הנפת ידיים וקפיצה.

כדי לייצר זרימת עבודה אוטומטית של למידת מכונה לזיהוי אנשים מוסתרים, שימשו סרטים מגוונים מ-20 תרחישים מתאימים לאימון שתי רשתות עצביות הפועלות על קונפיגורציות דומות – אחת לספור את מספר האנשים בסצנה, והשנייה לזהות כל תנועה המתרחשת.

בדיקה

החוקרים בדקו את המערכת המאומנת בעשרה סביבות אמיתיות לא נראות שתוכננו לשחזר את המגבלות הצפויות ליישום סופי. המערכת הצליחה להשיג עד 94.4% דיוק (על 256 פריימים – בדרך כלל רק מעל 8 שניות של וידאו) בסיווג מספר האנשים המוסתרים, ועד 93.7% דיוק (תחת אותם תנאים) בסיווג פעילויות. אם כי דיוק יורד עם פחות מסגרות מקור, זה לא ירידה ליניארית, ואפילו 64 פריימים ישיגו 79.4% דיוק להערכת ‘מספר אנשים’ (נגד כמעט 95% לארבע פעמים מספר הפריימים).

אם כי השיטה עמידה בפני שינויים בתאורה הנגרמים על ידי מזג האוויר, היא מתקשה בסצנה המוארת על ידי טלוויזיה, או בנסיבות שבהן האנשים לובשים בגדים מונוטוניים באותו צבע כמו הקיר המחזיר.

פרטים נוספים על המחקר, כולל סרטונים באיכות גבוהה יותר של ההפרעות, ניתן לראות בווידאו הרשמי להלן.