חוקרים יוצרים הולוגרמות תלת-ממדיות בזמן אמת באמצעות AI בטלפונים חכמים

טלפונים חכמים עשויים בקרוב לייצר הולוגרמות תלת-ממדיות פוטוריאליסטיות, הודות בחלקן ל מודל AI שפותח על ידי חוקרים ב-MIT. המערכת ה-AI שפותחה על ידי צוות MIT קובעת את הדרך הטובה ביותר ליצור הולוגרמות מסדרה של תמונות קלט.

חוקרים מ-MIT עיצבו לאחרונה מודלים AI שמאפשרים יצירה של הולוגרמות תלת-ממדיות פוטוריאליסטיות. הטכנולוגיה יכולה להיות מותאמת למשקפי VR ו-AR, וההולוגרמות אפילו יכולות להיות מיוצרות על ידי טלפון חכם.

בניגוד לתצוגות 3D ו-VR מסורתיות, שרק מייצרות אשליה של עומק ושיכולות לגרום לבחילה וכאבי ראש, תצוגות הולוגרפיות יכולות להיראות על ידי אנשים ללא גרימת עייפות עיניים. מכשול עיקרי בדרך ליצירת מדיה הולוגרפית הוא טיפול בנתונים הדרושים ליצירת ההולוגרמה. כל הולוגרמה מורכבת מכמות עצומה של נתונים, הנדרשים ליצירת “עומק” של ההולוגרמה. בגלל זה, יצירת הולוגרמות בדרך כלל דורשת כוח חישוב עצום. על מנת להפוך את הטכנולוגיה ההולוגרפית ליותר מעשית, צוות MIT החיל רשתות עצביות עמוקות על הבעיה, ויצר רשת המסוגלת ליצור הולוגרמות במהירות על בסיס תמונות קלט.

הגישה הטיפוסית ליצירת הולוגרמות בעצם יוצרת הרבה חלקים של הולוגרמות ואז משתמשת בסימולציות פיזיקליות כדי לאחד את החלקים לתמונה מלאה של אובייקט או תמונה. זה שונה מהגישה הטיפוסית שבה משתמשים ליצירת הולוגרמות. בשיטה המסורתית, תמונות מחותכות לחלקים וטבלאות חיפוש משמשות כדי לחבר את חלקי ההולוגרמות, כאשר טבלאות החיפוש מסמנות את הגבולות של חלקי ההולוגרמות. תהליך הגדרת גבולות חלקי הולוגרמות עם טבלאות חיפוש הוא תהליך איטי ודורש הרבה כוח עיבוד.

על פי IEEE Spectrum, צוות MIT עיצב שיטה אחרת ליצירת הולוגרמות. באמצעות כוחן של רשתות עצביות עמוקות, הם הצליחו לחתוך תמונות לחלקים שיכולים להיאסף מחדש להולוגרמות באמצעות מספר “חתכים” קטן בהרבה. השיטה החדשה נוצלת את היכולת של רשתות עצביות מרוכזות לנתח תמונות ולהפריד אותן לחלקים נפרדים. שיטה זו של ניתוח וחיתוך תמונות מפחיתה באופן משמעותי את מספר הפעולות הכולל שמערכת צריכה לבצע.

כדי לעצב את המייצר ההולוגרפי ה-AI, צוות המחקר התחיל בבניית מאגר נתונים הכולל כ-4000 תמונות ממוחשבות, עם הולוגרמה תלת-ממדית מתאימה לכל אחת מהן. רשת העצבים המרוכזת אומנה על מאגר נתונים זה, ולמדה כיצד כל אחת מהתמונות קשורה להולוגרמה שלה ואת הדרך הטובה ביותר להשתמש במאפיינים כדי ליצור את ההולוגרמות. כאשר מערכת ה-AI קיבלה נתונים בלתי נראים עם מידע עומק, היא יכלה ליצור הולוגרמות חדשות מנתונים אלה. מידע העומק מסופק דרך שימוש בחיישני לידאר או תצוגות רב-מצלמות ומוצג כתמונה ממוחשבת. חלק מהאייפונים החדשים האלה, מה שאומר שהם יכולים פוטנציאלית ליצור הולוגרמות אם הם מחוברים לסוג הנכון של תצוגה.

המערכת החדשה של הולוגרמות AI דורשת הרבה פחות זיכרון מהשיטות הקלאסיות. המערכת יכולה ליצור הולוגרמות תלת-ממדיות ב-60 פריימים לשנייה בצבע מלא עם רזולוציה של 1920 x 1080 באמצעות כ-620 קילובייט של זיכרון בעת ריצה על כרטיס מסוג GPU זמין. החוקרים הצליחו לרוץ את המערכות שלהם על iPhone 11, ולייצר כ-הולוגרמה אחת בשנייה, בעוד שב-Google Edge TPU, המערכת יכולה לעבד 2 הולוגרמות בשנייה. זה מרמז שהמערכת יכולה להתאים לטלפונים חכמים, התקני AR ו-VR בכלל. המערכת יכולה גם להיות מותאמת להדפסה תלת-ממדית וולומטרית או בעיצוב של מיקרוסקופים הולוגרפיים.

בעתיד, שיפורים בטכנולוגיה יכולים להכניס חומרה ותוכנה לעקיבה אחר תנועות עיניים, מה שיאפשר להולוגרמות להתאים באופן דינאמי את רמת הרזולוציה כאשר המשתמש מסתכל על מקומות מסוימים.