רובוטיקה
לימוד רובוטים על כלים עם שדות קרינה עצבית (NeRF)
מחקר חדש מאוניברסיטת מישיגן מציע דרך לרובוטים להבין את המנגנונים של כלים, ואובייקטים מפורקים אחרים בעולם האמיתי, על ידי יצירת שדות קרינה עצבית אובייקטים (NeRF) המדגימים את האופן שבו חפצים אלו נעים, ועשויים לאפשר לרובוט ליצור איתם אינטראקציה ולהשתמש בהם ללא הגדרה מוקדמת ייעודית מייגעת.
על ידי שימוש בהפניות מקור ידועות עבור התנועתיות הפנימית של כלים (או כל אובייקט עם התייחסות מתאימה), NARF22 יכול לסנתז קירוב פוטוריאליסטי של הכלי וטווח התנועה וסוג הפעולה שלו. מקור: https://progress.eecs.umich.edu/projects/narf/
רובוטים שנדרשים לעשות יותר מאשר להימנע מהולכי רגל או לבצע שגרות מתוכנתות מראש (שעבורם כנראה תויגו מערכי נתונים שאינם ניתנים לשימוש חוזר בהוצאות מסוימות) זקוקים לסוג כזה של יכולת הסתגלות אם הם רוצים לעבוד עם אותם חומרים חפצים שכולנו צריכים להתמודד איתם.
עד כה, היו מספר מכשולים להחדיר למערכות רובוטיות סוג זה של צדדיות. אלה כוללים את מיעוט מערכי הנתונים הישימים, שרבים מהם כוללים מספר מוגבל מאוד של אובייקטים; ההוצאה העצומה הכרוכה ביצירת מודלים פוטו-ריאליסטיים מבוססי-רשת תלת-ממדיים שיכולים לעזור לרובוטים ללמוד אינסטרומנטליות בהקשר של העולם האמיתי; והאיכות הלא-פוטוריאליסטית של מערכי נתונים כאלה שעשויים להתאים למעשה לאתגר, מה שגורם לאובייקטים להופיע מנותקים ממה שהרובוט תופס בעולם שסביבו, ולאמן אותו לחפש אובייקט דמוי קריקטורה שלעולם לא יופיע בו. מְצִיאוּת.
כדי להתייחס לכך, החוקרים ממישיגן, אשר מאמר מכונה NARF22: שדות קרינה מפרקים עצביים לעיבוד מודע לתצורה, פיתחו צינור דו-שלבי ליצירת אובייקטים מפרקים מבוססי NeRF בעלי מראה 'עולם אמיתי', ואשר משלבים את התנועה והמגבלות הנובעות מכך של כל אובייקט מפרקי מסוים.
למרות שזה נראה מורכב יותר, שני השלבים החיוניים של צינור NARF22 כוללים עיבוד של חלקים סטטיים של כלים תנועתיים, ולאחר מכן חיבור של אלמנטים אלה למערך נתונים שני המיודע לגבי פרמטרי התנועה שיש לחלקים אלה, ביחס זה לזה. מקור: https://arxiv.org/pdf/2210.01166.pdf
המערכת נקראת שדה קרינה עצבי מפרקי - או NARF22, כדי להבדיל אותו מפרויקט אחר בעל שם דומה.
NARF22
קביעה אם אובייקט לא ידוע הוא בעל פוטנציאל ביטוי דורש כמות כמעט בלתי נתפסת של ידע מוקדם בסגנון אנושי. לדוגמה, אם מעולם לא ראיתם מגירה סגורה לפני כן, ייתכן שמדובר בכל סוג אחר של חיפוי דקורטיבי - רק לפני שפתחתם את המגירה אתם מפנימים את ה'מגירה' כאובייקט מפרקי בעל ציר תנועה יחיד. (קדימה ואחורה).
לכן NARF22 לא נועד כמערכת חקרנית לאיסוף דברים ולראות אם יש להם חלקים נעים שניתן לפעול בהם - התנהגות כמעט סימית שתכלול מספר תרחישים שעלולים להיות הרות אסון. במקום זאת, המסגרת מבוססת על ידע זמין ב פורמט תיאור רובוט אוניברסלי (URDF) - פורמט מבוסס XML המבוסס על קוד פתוח, ישים באופן נרחב ומתאים למשימה. קובץ URDF יכיל את הפרמטרים השימושיים של תנועה באובייקט, כמו גם תיאורים והיבטים מסומנים אחרים של חלקי האובייקט.
בצינורות קונבנציונליים, יש צורך לתאר בעצם את יכולות הניסוח של אובייקט, ולתייג את הערכים המשותפים הרלוונטיים. זו לא משימה זולה או קלה להרחבה. במקום זאת, זרימת העבודה של NaRF22 מעבדת את הרכיבים הבודדים של האובייקט לפני 'הרכבה' של כל רכיב סטטי לייצוג מבוסס NeRF מפרקי, עם ידע על פרמטרי התנועה המסופקים על ידי URDF.
בשלב השני של התהליך נוצר renderer חדש לגמרי המשלב את כל החלקים. למרות שייתכן שיהיה קל יותר פשוט לשרשר את החלקים הבודדים בשלב מוקדם יותר ולדלג על השלב הבא, החוקרים מבחינים כי לדגם הסופי - שהוכשר על NVIDIA RTX 3080 GPU תחת מעבד AMD 5600X - יש דרישות חישוביות נמוכות יותר במהלך התפלגות גב מאשר אסיפה כה פתאומית ומוקדמת מדי.
בנוסף, מודל השלב השני פועל במהירות כפולה מזו של מכלול משורשר, 'מאולץ אכזרי', וכל יישומים משניים שייתכן ויצטרכו להשתמש במידע על חלקים סטטיים של המודל לא יזדקקו לגישה משלהם למידע URDF, מכיוון זה כבר שולב בעיבוד השלב הסופי.
נתונים וניסויים
החוקרים ערכו מספר ניסויים לבדיקת NARF22: אחד להערכת עיבוד איכותי עבור התצורה והפוזה של כל אובייקט; מבחן כמותי כדי להשוות את התוצאות שניתנו לנקודות מבט דומות שראו רובוטים בעולם האמיתי; והדגמה של הערכת התצורה ואתגר חידוד של 6 DOF (עומק שדה) שהשתמש ב-NARF22 לביצוע אופטימיזציה מבוססת גרדיאנט.
נתוני ההדרכה נלקחו מה- כלי התקדמות מערך נתונים ממאמר קודם של כמה מחברי העבודה הנוכחיים. Progress Tools מכיל כ-640 תמונות RGB-D (כלומר, כולל מידע עומק, חיוני לראיית רובוטיקה) ברזולוציה של 480×XNUMX. הסצנות שבהן נעשה שימוש כללו שמונה כלים ידניים, מחולקים לחלקים המרכיבים אותם, עם דגמי רשת ומידע על התכונות הקינמטיות של האובייקטים (כלומר, האופן שבו הם מתוכננים לנוע, והפרמטרים של תנועה זו).
מערך הנתונים של Progress Tools כולל ארבעה כלים מפרקים. התמונות למעלה הן עיבודים מבוססי NeRF מ-NARF22.
עבור ניסוי זה, דגם סופי שניתן להגדרה הוכשר באמצעות צבת קווים בלבד, צבת עם אף ארוך ומהדק (ראה תמונה למעלה). נתוני האימון הכילו תצורה אחת של המהדק, ואחת עבור כל אחד מהצבת.
היישום של NARF22 מבוסס על FastNeRF, כאשר פרמטרי הקלט השתנו כדי להתרכז בתנוחה משורשרת ומקודדת מרחבית של הכלים. FastNeRF משתמש בפרצפטרון רב-שכבתי (MLP) בשילוב עם מנגנון דגימה מסוג voxelized (voxels הם בעצם פיקסלים, אך עם קואורדינטות תלת-ממדיות מלאות, כך שהם יכולים לפעול במרחב תלת-ממדי).
לצורך המבחן האיכותי, החוקרים מבחינים כי ישנם מספר חלקים חסומים של המהדק (כלומר, עמוד השדרה המרכזי, שלא ניתן לדעת או לנחש על ידי התבוננות באובייקט, אלא רק על ידי אינטראקציה איתו, וכי המערכת מתקשה ליצור זאת. גיאומטריה 'לא ידועה'.
עיבודים איכותיים של כלים.
לעומת זאת, הצבת הצליחה להכליל היטב לתצורות חדשניות (כלומר להרחבות ותזוזות של חלקיהן שנמצאות במסגרת הפרמטרים של URDF, אך לא מטופלות במפורש בחומר ההדרכה של המודל.
החוקרים מבחינים, עם זאת, שגיאות תיוג עבור הפלייר הובילו לירידה באיכות העיבוד של העצות המפורטות מאוד של הכלים, והשפיעה לרעה על העיבודים - בעיה הקשורה לדאגות רחבות בהרבה סביב לוגיסטיקה, תקציב ודיוק במחשב. מגזר מחקר החזון, ולא כל ליקוי פרוצדורלי בצנרת NARF22.
תוצאות מבדיקת דיוק הרינדור.
עבור מבחני הערכת התצורה, החוקרים ביצעו חידוד פוזות ואומדן תצורה מתוך תנוחה 'נוקשה' ראשונית, תוך הימנעות מכל אחד מהמטמון או מעקפים מאיצים אחרים שבהם השתמש FastNeRF עצמו.
לאחר מכן, הם אימנו 17 סצנות מסודרות היטב ממערך המבחן של כלי התקדמות (שהוחזקו בצד במהלך האימון), תוך הפעלת 150 חזרות של אופטימיזציה של ירידה בשיפוע תחת כלי האופטימיזציה של Adam. הליך זה שחזר את הערכת התצורה "באופן קיצוני", לדברי החוקרים.
תוצאות מבדיקת הערכת התצורה.
פורסם לראשונה ב-5 באוקטובר 2022.
