מפתחים יוצרים תוכנה קוד פתוח כדי לעזור לחוקרי AI להפחית את טביעת הפחמן

קבוצה של חוקרי AI בינלאומיים ומדעני נתונים שיתפו פעולה כדי לעצב תוכנה המסוגלת להעריך את טביעת הפחמן של פעולות חישוב. חבילת התוכנה הקוד פתוח, הנקראת CodeCarbo, תוכננה על ידי קונסורציום של חברות AI ומדע נתונים. התקווה היא שהתוכנה תאפשר ותעודד מתכנתים להפוך את קודם ליעיל יותר ולהפחית את כמות ה-CO2 המופקת על ידי שימוש במשאבי חישוב.

הפחתת טביעת הפחמן

על פי ITP, חבילת התוכנה CodeCarbon החדשה פותחה על ידי צוות של קבוצות מחקר AI בהובלת חברת המחקר AI Mila, לצד Comet.ml, Haverford College בפנסילבניה, ו-GAMMA. לא רק שהתוכנה מעריכה את כמות ה-CO2 המופקת על ידי שימוש במשאבי חישוב, אלא שהיא גם מספקת למתכנתים ייעוץ להפחתת טביעת הפחמן שלהם.
אימון מודלים של AI כפי שהוסבר על ידי ArsTechnica, חוקרים מאוניברסיטת מסצ’וסטס אמהרסט העריכו את העלות הכוללת של יצירה ואימון של מודלים AI מסוימים, והצוות גילה כי אימון הרשת השפה הטבעית BERT פעם אחת הפיקה כמות פחמן דו-חמצני דומה לטיסה הלוך ושוב בין סן פרנסיסקו לניו יורק. בינתיים, אימון המודל מספר פעמים עד שהוא מותאם יכול להפיק כמות CO2 דומה ל-315 נוסעים שונים הלוקחים את אותו הטיסה.
מדוע בדיוק מודלים של AI צורכים כל כך הרבה אנרגיה ומפיקים כל כך הרבה CO2 כתוצאה? חלק מהתשובה טמון בדרך שבה מודלים של AI מאומנים ומותאמים. כדי להשיג שיפורים קטנים מעל האלגוריתמים והמודלים הקיימים, חוקרי AI עשויים לאמן את המודל שלהם אלפי פעמים, תוך עשיית שינויים קטנים במודל כל פעם עד שאדריכלות מודל אופטימלית מתגלה.
מודלים של AI גם גדלים בגודל כל הזמן, והופכים למורכבים יותר כל שנה.
אלגוריתמים הלמידה האוטומטית והמודלים החזקים ביותר כמו GPT-3, BERT, ו-VGG, הם בעלי מיליוני פרמטרים ומאומנים במשך שבועות, מה שמתרגם למאות או אלפי שעות אימון. GPT-2 היה בעל כ-1.5 מיליארד פרמטרים בתוך הרשת, בעוד GPT-3 הוא בעל כ-175 מיליארד משקולות. זה מסתכם בשימוש במאות קילוגרמים של CO2.

CodeCarbon

CodeCarbon היא בעלת מנגנון עקיבה שמתעד את כמות החשמל המשמשת על ידי ספקי ענן ומרכזי נתונים. המערכת אז משתמשת בנתונים שנלקחו ממקורות פתוחים כדי להעריך את כמות ה-CO2 המופקת, בודקת סטטיסטיקות מרשת החשמל שאליה מחובר החומרה. המעקב מעריך את ה-CO2 המופק לכל ניסוי המשתמש במודול AI מסוים, ואוגר את נתוני הפליטה עבור פרויקטים ועבור הארגון כולו.
מייסד Mila, Yohua Bengio, הסביר כי בעוד ש-AI הוא כלי מופלא שיכול לטפל בבעיות רבות, הוא לעיתים קרובות דורש כמות משמעותית של כוח מחשוב. Sylvian Duranton, המנכ”ל של Boston Consulting Group, טען כי מחשוב ו-AI ימשיכו לגדול בקצב מעריכי ברחבי העולם. הרעיון הוא ש-CodeCarbon תעזור לחברות AI ומחשוב לרסן את טביעת הפחמן שלהן ככל שהן גדלות. CodeCarbon תיצור לוח מחוונים שיאפשר לחברות לראות בקלות את כמות הפליטה הנוצרת על ידי אימון מודלי הלמידה האוטומטית שלהן. היא תייצג את הפליטות במדדים שמתכנתים יכולים להבין בקלות, כגון קילומטרים שננסעו במכונית, שעות צפייה בטלוויזיה, וצריכת האנרגיה הטיפוסית של משק בית בארצות הברית.
מפתחי CodeCarbon מצפים כי התוכנה לא רק תעודד חוקרי AI לנסות ולהפחית את טביעת הפחמן שלהם, אלא גם תעודד תמימות רבה יותר בנוגע לפליטות. מתכנתים יוכלו לכמת ולדווח על פליטות הנוצרות על ידי מגוון ניסויים של AI ומחשוב. הצוות האחראי ליצירת CodeCarbon מקווה כי מפתחים אחרים ייקחו את הכלי הקוד פתוח שלהם וישדרגו אותו עם תכונות חדשות שיעזרו למהנדסי AI וחוקרים לרסן את ההשפעה הסביבתית שלהם עוד יותר.