ืืื ื ืืืืืืชืืช
GPT-2, ืืืฆืจ ืืงืกื ืืืืืืชื ืืฉืชืืจืจ ืืืืืื
כפי שדווח על ידי TheNextWeb (TNW), OpenAI, הארגון הלא-מוכוון לרווח שמאחורי מספר פרויקטים של בינה מלאכותית, פרסם את המודל הסופי בשחרור המתוכנן בשלבים עבור GPT-2, יוצר טקסט שגרם לוויכוח רב מאז הוכרז עליו בפברואר.
על בסיס מאמר המחקר של OpenAI בשם Language Models are Unsupervised Multitask Learners, “GPT-2 משתמש בלמידת מכונה כדי ליצור טקסט חדש על בסיס קלט מוגבל.” מה שזה אומר הוא שמשתמש יכול להקליד משפט או שניים על כל נושא ויוצר הטקסט המלאכותי ייצור טקסט שיש לו קשר מסוים לקלט המקורי. במהות, כפי ש-TNW מציין, לא כמו רוב ‘יוצרי טקסט’ הוא לא מפיק מחרוזות מוכתבות. GPT-2 ממציא טקסט שלא היה קיים קודם לכן.”
בציוץ שלו, סקוט ב. ויינגרט, מנהל תוכנית בספריית אוניברסיטת קרנגי מלון, נותן דוגמה ממשית:
What is a Panther but a young lion?
An entire corridor filled entirely with people screaming.
How’s this for a happy ending? pic.twitter.com/qvPTrs790N
— Scott B. Weingart (@scott_bot) August 20, 2019
If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.Shit. pic.twitter.com/QRoi1C3rjj
— Scott B. Weingart (@scott_bot) August 20, 2019
OpenAI היה מודאג בתחילה משימושים עוינים אפשריים של מערכת ה-GPT-2, ולכן, בחודש פברואר 2019, הוא החליט לשחרר את GPT-2 בארבעה חלקים על פני שמונה חודשים. כפי שהסבירו בבלוג שלהם, “בגלל חששותינו לגבי יישומים עוינים של הטכנולוגיה, אנו לא משחררים את המודל המאומן. כניסוי בחשיפה אחראית, אנו משחררים מודל קטן יותר עבור חוקרים לניסוי, כמו גם מאמר טכני.”
כפי שהוסבר, המודל המלא מכיל 1.5 מיליארד פרמטרים. “ככל שמודל נתון מתאמן עם יותר פרמטרים, הוא ‘נראה’ חכם יותר – כמו בני אדם, התרגול עושה את העבודה.”
TNW מציין כי בתחילה OpenAI שחרר מודל עם 124 מיליון פרמטרים, ולאחר מכן שחררו מודלים עם 355 ו-774 מיליון. על פי דבריהם, לאחר בדיקת המודלים ששוחררו, “כל איטרציה הראתה שיפור משמעותי ביכולת לעומת האיטרציות הקודמות.”
כדי למנוע שימוש לרעה, OpenAI שחרר מודלים לגילוי GPT-2 שמיועדים “להילחם בשימוש לרעה.” על פי הודאתם, בפוסט בבלוג, מודלים אלו עדיין זקוקים לעבודה נוספת כדי להגיע לרמת האיכות שהושגה עד כה ב-GPT-2 עצמו.
אלו שמעניינים יכולים להוריד את המודל GPT-2 כאן ב-Github, לבדוק את כרטיס המודל כאן, ולקרוא את הפוסט בבלוג של OpenAI כאן.
