NVIDIA Cosmos: מאפשר תבונה מלאכותית פיזית עם סימולציות

פיתוח מערכות תבונה מלאכותית פיזית, כגון רובוטים בקרקעות מפעלים וכלי רכב אוטונומיים ברחובות, תלוי במידה רבה במאגרי נתונים גדולים ואיכותיים לצורך אימון. האיסוף של נתונים מהעולם האמיתי הוא יקר, צורך זמן רב, ולעיתים קרובות מוגבל לחברות טכנולוגיה גדולות. NVIDIA’s Cosmos פותר את האתגר הזה על ידי שימוש בסימולציות פיזיקה מתקדמות כדי ליצור נתונים סינתטיים ריאליסטיים בקנה מידה. זה מאפשר למהנדסים לאמן מודלים של תבונה מלאכותית ללא העלות והעיכוב הקשורים לאיסוף נתונים מהעולם האמיתי. מאמר זה דן באופן שבו Cosmos משפר את הגישה לנתוני אימון חיוניים ומאיץ את פיתוחה של תבונה מלאכותית בטוחה ואמינה ליישומים בעולם האמיתי.

הבנת תבונה מלאכותית פיזית

תבונה מלאכותית פיזית מתייחסת למערכות תבונה מלאכותית שיכולות לתפוס, להבין ולפעול בתוך העולם הפיזי. בניגוד לתבונה מלאכותית מסורתית, שעשויה לנתח טקסט או תמונות, תבונה מלאכותית פיזית חייבת להתמודד עם מורכבויות של העולם האמיתי כגון יחסים מרחביים, כוחות פיזיים וסביבות דינאמיות. לדוגמה, רכב אוטונומי צריך לזהות הולכי רגל, לחזות את תנועותיהם, ולשנות את נתיבו בזמן אמת, תוך התחשבות בגורמים כגון מזג אוויר ותנאי כביש. באופן דומה, רובוט במחסן חייב לנווט מכשולים ולתפעל אובייקטים בדיוק.
פיתוח תבונה מלאכותית פיזית הוא אתגרי משום שהוא דורש כמויות עצומות של נתונים כדי לאמן מודלים על סצנאריות שונות בעולם האמיתי. איסוף נתונים אלו, הן אם מדובר בשעות של צילומי נהיגה או הדגמות משימות רובוטיות, יכול להיות צורך זמן רב ויקר. בנוסף, בדיקת תבונה מלאכותית בעולם האמיתי יכולה להיות מסוכנת, שכן טעויות יכולות להוביל לתאונות. NVIDIA Cosmos פותר את האתגרים הללו על ידי שימוש בסימולציות המבוססות פיזיקה כדי ליצור נתונים סינתטיים ריאליסטיים.

מהם מודלים יסודיים של עולם?

בלב NVIDIA Cosmos קיימת אוסף של מודלים של תבונה מלאכותית הנקראים מודלים יסודיים של עולם (WFMs). מודלים אלו תוכננו במיוחד כדי לחקות סביבות וירטואליות שדומות מאוד לעולם הפיזי. על ידי יצירת סרטונים או סצנאריות המודעות לפיזיקה, WFMs מדמים כיצד אובייקטים מתנהגים על בסיס יחסים מרחביים וחוקים פיזיים. למשל, WFM יכול לסמולט רכב נוסע דרך סופת גשם, מראה כיצד המים משפיעים על האחיזה או כיצד הפנסים הקדמיים מוחזרים מפני השטח הרטוב.
WFMs הם חיוניים לתבונה מלאכותית פיזית משום שהם מספקים מרחב בטוח וניתן לשליטה לאימון ובדיקה של מערכות תבונה מלאכותית. במקום לאסוף נתונים מהעולם האמיתי, מפתחים יכולים להשתמש ב-WFMs כדי ליצור נתונים סינתטיים – סימולציות ריאליסטיות של סביבות ואינטראקציות. גישה זו לא רק מקטינה עלויות אלא גם מאיצה את תהליך הפיתוח ומאפשרת בדיקה של סצנאריות מורכבות ונדירות (כגון מצבי תנועה לא רגילים) ללא הסיכונים הקשורים לבדיקה בעולם האמיתי. WFMs הם מודלים כלליים שיכולים להיות מסוגננים מחדש ליישומים ספציפיים, בדומה לאיך מודלים של שפה גדולים מותאמים למשימות כגון תרגום או צ’אטבוטים.

חשיפת NVIDIA Cosmos

NVIDIA Cosmos היא פלטפורמה שתוכננה כדי לאפשר למפתחים לבנות ולהתאים אישית WFMs ליישומים של תבונה מלאכותית פיזית, במיוחד ברכבים אוטונומיים (AVs) ורובוטיקה. Cosmos משלב מודלים גנרטיביים מתקדמים, כלים לעיבוד נתונים ותכונות בטיחות כדי לפתח מערכות תבונה מלאכותית שיכולות ליחס עם העולם הפיזי. הפלטפורמה היא קוד פתוח, עם מודלים זמינים תחת רישיונות מרשים.
רכיבים מרכזיים של הפלטפורמה כוללים:

• מודלים יסודיים גנרטיביים של עולם (WFMs): מודלים מוכשרים מראש שמדמים סביבות פיזיות ואינטראקציות.
• טוקניזרים מתקדמים: כלים המדחיסים ומעבדים נתונים בצורה יעילה לאימון מהיר יותר של מודלים.
• צינור לעיבוד נתונים מואץ: מערכת לטיפול במאגרי נתונים גדולים, המופעלת על ידי תשתית החישוב של NVIDIA.

חידוש מרכזי של Cosmos הוא מודל ההיגיון שלו לתבונה מלאכותית פיזית. מודל זה מאפשר למפתחים ליצור ולשנות עולמות וירטואליים. הם יכולים להתאים סימולציות לצרכים ספציפיים, כגון בדיקת יכולתו של רובוט לאחוז אובייקטים או הערכת תגובתו של רכב אוטונומי למכשול פתאומי.

תכונות מרכזיות של NVIDIA Cosmos

NVIDIA Cosmos מספק מרכיבים שונים לפתרון אתגרים ספציפיים בפיתוח תבונה מלאכותית פיזית:

• Cosmos Transfer WFMs: מודלים אלו לוקחים קלטי וידאו מובנים, כגון מפות חלוקה, מפות עומק, או סריקות לידאר, ומייצרים פלטי וידאו פוטוריאליסטיים שניתנים לשליטה. יכולת זו שימושית במיוחד ליצירת נתונים סינתטיים לאימון תבונה מלאכותית תפיסתית, כגון מערכות המסייעות לרכבים אוטונומיים לזהות אובייקטים או לרובוטים להכיר את סביבתם.
• Cosmos Predict WFMs: מודלים של Cosmos Predict מייצרים מצבי עולם וירטואליים על בסיס קלטים רב-מודאליים, כולל טקסט, תמונות, ווידאו. הם יכולים לחזות סצנאריות עתידיות, כגון כיצד סצנה עשויה להתפתח במהלך הזמן, ולתמוך ביצירת רצפי קטעים מורכבים. מפתחים יכולים להתאים מודלים אלו באמצעות מאגר הנתונים של NVIDIA לתבונה מלאכותית פיזית כדי לפגוש את צרכיהם, כגון חיזוי תנועות הולכי רגל או פעולות רובוטיות.
• Cosmos Reason WFM: המודל Cosmos Reason הוא WFM מותאם לחלוטין עם מודעות מרחבית-זמנית. יכולת ההיגיון שלו מאפשרת לו להבין הן יחסים מרחביים והן כיצד הם משתנים במהלך הזמן. המודל משתמש בהיגיון שרשרתי מחשבות כדי לנתח נתוני וידאו ולחזות תוצאות, כגון האם אדם יעבור לרחוב, או האם קופסה תיפול ממדף.

יישומים ומקרי שימוש

NVIDIA Cosmos כבר הוא בעל השפעה משמעותית על התעשייה, עם חברות מובילות רבות המאמצות את הפלטפורמה לפרויקטים של תבונה מלאכותית פיזית. מאמצים אלו מדגימים את הגמישות וההשפעה המעשית של Cosmos בתחומים שונים:

• 1X: משתמשים ב-Cosmos לרובוטיקה מתקדמת כדי לשפר את יכולתם לפתח רובוטים המונעים על ידי תבונה מלאכותית.
• Agility Robotics: מרחיבים את השותפות עם NVIDIA כדי להשתמש ב-Cosmos למערכות רובוטיות אנושיות.
• Figure AI: מנצלים Cosmos כדי לקדם רובוטיקה אנושית, במתן דגש על תבונה מלאכותית המסוגלת לבצע משימות מורכבות.
• Foretellix: מיישמים Cosmos בסימולציה של רכבים אוטונומיים כדי ליצור מגוון רחב של תרחישי בדיקה.
• Skild AI: משתמשים ב-Cosmos כדי לפתח פתרונות המונעים על ידי תבונה מלאכותית ליישומים שונים.
• Uber: משלבים Cosmos בפיתוח רכבים אוטונומיים כדי לשפר נתוני אימון למערכות נהיגה עצמאית.
• Oxa: משתמשים ב-Cosmos כדי לאיץ אוטומציה תעשייתית של תנועה.
• Virtual Incision: חוקרים את Cosmos לרובוטיקה כירורגית כדי לשפר דיוק בתחום הבריאות.

מקרי שימוש אלו מדגימים כיצד Cosmos יכול לענות על מגוון רחב של צרכים, מתחבורה ועד לבריאות, על ידי ספקת נתונים סינתטיים לאימון מערכות תבונה מלאכותית פיזית.

משמעויות עתידיות

שיחרורו של NVIDIA Cosmos הוא חשוב לפיתוח מערכות תבונה מלאכותית פיזית. על ידי הצעת פלטפורמה קוד פתוח עם כלים ומודלים חזקים, NVIDIA הופך את פיתוח תבונה מלאכותית פיזית לנגיש יותר למגוון רחב של מפתחים וארגונים. זה יכול להוביל לקידומים משמעותיים בתחומים שונים.
בתחבורה אוטונומית, נתוני אימון משופרים וסימולציות יכולים להוביל לרכבים אוטונומיים בטוחים ואמינים יותר. ברובוטיקה, פיתוח מהיר יותר של רובוטים המסוגלים לבצע משימות מורכבות יכול לשנות תעשיות כגון ייצור, לוגיסטיקה, ובריאות. בבריאות, טכנולוגיות כגון רובוטיקה כירורגית, כפי שנחקר על ידי Virtual Incision, יכולות לשפר את הדיוק ואת התוצאות של הליכים רפואיים.

המסקנה

NVIDIA Cosmos ממלא תפקיד חיוני בפיתוח תבונה מלאכותית פיזית. פלטפורמה זו מאפשרת למפתחים ליצור נתונים סינתטיים באיכות גבוהה על ידי ספקת מודלים יסודיים של עולם (WFMs) מוכשרים מראש ליצירת סימולציות ריאליסטיות. עם גישה קוד פתוח, תכונות מתקדמות, ואמצעי בטיחות אתיים, Cosmos מאפשר פיתוח תבונה מלאכותית מהיר ויעיל יותר. הפלטפורמה כבר גורמת לקידומים מרכזיים בתעשיות כגון תחבורה, רובוטיקה, ובריאות, על ידי ספקת נתונים סינתטיים לבניית מערכות תבונה מלאכותית המתקשרות עם העולם הפיזי.