חוקרים יוצרים הולוגרמות תלת-ממדיות בזמן אמת המופעלות על ידי AI בסמארטפונים

סמארטפונים יוכלו בקרוב ליצור הולוגרמות תלת מימד פוטוריאליסטיות, בין היתר הודות לכך מודל AI שפותח על ידי חוקרים ב-MIT. מערכת AI פותח על ידי צוות MIT קובע את הדרך הטובה ביותר ליצור הולוגרמות מסדרה של תמונות קלט.

חוקרים מ-MIT עיצבו לאחרונה מודלים של בינה מלאכותית המאפשרים יצירת הולוגרמות תלת מימד פוטוריאליסטיות. לטכנולוגיה יכולות להיות יישומים עבור אוזניות VR ו-AR, ואת ההולוגרמות ניתן אפילו להפיק על ידי סמארטפון.

בניגוד לתצוגות 3D ו-VR מסורתיות, שפשוט מייצרות אשליה של עומק ואשר עלולות לגרום לבחילות וכאבי ראש, תצוגות הולוגרפיות יכולות להיראות על ידי אנשים מבלי לגרום למאמץ בעיניים. מחסום דרכים מרכזי לקראת יצירת מדיה הולוגרפית הוא הטיפול בנתונים הדרושים ליצירת ההולוגרף בפועל. כל הולוגרמה מורכבת מכמות עצומה של נתונים, הדרושים ליצירת ה"עומק" שיש להולוגרמה. בגלל זה, יצירת הולוגרפית דורשת בדרך כלל כמות עצומה של כוח מחשוב. על מנת להפוך את הטכנולוגיה ההולוגרפית למעשית יותר, צוות MIT החיל רשתות עצביות קונבולוציוניות עמוקות על הבעיה, ויצר רשת המסוגלת ליצור במהירות הולוגרמות על סמך תמונות קלט.

הגישה האופיינית ליצירת הולוגרמות יצרה בעצם נתחים רבים של הולוגרמות ולאחר מכן השתמשה בהדמיות פיזיקה כדי לשלב את הנתחים לייצוג שלם של אובייקט או תמונה. זה שונה מהגישה האופיינית המשמשת ליצירת הולוגרמות. בשיטה המסורתית פורסים תמונות זה מזה ומשמשות סדרה של טבלאות חיפוש לחיבור חלקי ההולוגרמה יחד, שכן טבלאות הבדיקה מסמנות את הגבולות של נתחי ההולוגרמה השונים. התהליך של הגדרת גבולות של נתחים הולוגרפיים עם טבלאות מראה הוא די גוזל זמן וכוח עיבוד.

לפי ספקטרום IEEE, צוות MIT עיצב שיטה נוספת להפקת הולוגרמות. באמצעות הכוח של רשתות למידה עמוקה, הם הצליחו לחתוך תמונות לנתחים שניתן להתאים מחדש להולוגרמות באמצעות הרבה פחות "פרוסות". הטכניקות החדשות מנצלות את היכולת של רשתות עצביות קונבולוציוניות לנתח תמונות ולהפריד תמונות לנתחים נפרדים. שיטה חדשה זו של ניתוח וחתיכת תמונות מפחיתה מאוד את מספר הפעולות הכוללות שמערכת צריכה לבצע.

על מנת לעצב את המחולל ההולוגרפי המופעל על ידי AI, צוות המחקר החל בבניית מסד נתונים המורכב מכ-4000 תמונות שנוצרו על ידי מחשב, עם הולוגרמה תלת-ממדית מתאימה להקצאה לכל אחת מהתמונות הללו. הרשת העצבית המהפכנית אומנה על מערך הנתונים הזה, ולמדה כיצד כל אחת מהתמונות הייתה קשורה להולוגרמה שלה והדרך הטובה ביותר להשתמש בתכונות כדי ליצור את ההולוגרמות. כאשר מערכת הבינה המלאכותית סופקה לנתונים בלתי נראים עם מידע עומק, היא יכלה ליצור הולוגרמות חדשות מנתונים אלה. מידע העומק מסופק באמצעות שימוש בחיישני לידאר של תצוגות מרובות מצלמות ומעובד כתמונה שנוצרה על ידי מחשב. לחלק מהאייפונים החדשים יש את הרכיבים האלה, כלומר הם עשויים ליצור את ההולוגרמות אם הם מקושרים לסוג התצוגה הנכון.

מערכת ההולוגרמה החדשה מונעת בינה מלאכותית זקוקה להרבה פחות זיכרון מהשיטות הקלאסיות. המערכת יכולה ליצור הולוגרמות תלת מימדיות ב-3 פריימים לשנייה בצבע מלא ברזולוציה של 60 x 1920 תוך שימוש בסביבות 1080 קילובייט של זיכרון תוך כדי ריצה על GPU יחיד זמין. החוקרים הצליחו להריץ את המערכות שלהם על אייפון 620 תוך הפקת הולוגרמה אחת בשנייה, בעוד ש-Google Edge TPU המערכת יכלה להציג 11 הולוגרמות בשנייה. זה מצביע על כך שניתן להתאים את המערכת לסמארטפונים, מכשירי AR ומכשירי VR בכלל. למערכת יכולים להיות גם יישומים להדפסת תלת מימד נפחית או בעיצוב מיקרוסקופים הולוגרפיים.

בעתיד, שיפורים בטכנולוגיה יוכלו להציג חומרה ותוכנה למעקב אחר עיניים, שיאפשרו להולוגרמות להתרחב באופן דינמי ברזולוציה כאשר המשתמש מסתכל על מקומות מסוימים.