ืืื ื ืืืืืืชืืช
HD-Painter: ืฆืืืขื ืืจืืืืืฆืื ืืืืื ืฉื ืชืืื ืืช ืขื ืืืจืื ืฉื ืืงืกื ืืืืืืื ืฉื ืืืคืืืื
מודלים של דיפוזיה הביאו בלא ספק מהפכה לתעשיית ה-AI וה-ML, עם יישומים בזמן אמת שהפכו לחלק אינטגרלי מחיי היומיום שלנו. לאחר שמודלים של טקסט-לתמונה הציגו את יכולותיהם המרשימות, טכניקות עיבוד תמונות מבוססות דיפוזיה, כגון יצירה ניתנת לשליטה, סינתוז תמונות מותאם ואישי, עריכת תמונות ברמת האובייקט, וריאציות ועריכה של פרומפט, צמחו כנושאי מחקר חמים בשל יישומיהם בתעשיית הראייה הממוחשבת.
הואיל ומודלים אלו הראו יכולות מרשימות ותוצאות יוצאות מן הכלל, מסגרות טקסט-לתמונה, במיוחד מסגרות טקסט-לתמונה לתיקון, עדיין יש להן אזורים פוטנציאליים לפיתוח. אלו כוללים את היכולת להבין סצנות גלובליות, במיוחד כאשר מתבצעת רעשנות התמונה בצעדי דיפוזיה גבוהים. כדי לפתור בעיה זו, חוקרים הציגו את HD-Painter, מסגרת האימון המלאה שעוקבת במדויק אחר הוראות הפרומפט ומסוגלת להתרחב לתיקון תמונות ברזולוציה גבוהה. מסגרת HD-Painter מנצלת שכבה של PAIntA, שמנצלת מידע פרומפט כדי לשפר את ציוני התשומת לב עצמית, מה שתורם ליצירת טקסט טוב יותר.
כדי לשפר את התאמת הפרומפט, מודל HD-Painter מציג גישת RASG, שמשלבת אסטרטגיית דגימה מאוחרת לתוך הצורה הכללית של רכיב DDIM, תוך מניעת הסטות לטנטיות מחוץ לתחום. בנוסף, מסגרת HD-Painter מציגה טכניקת סופר-רזולוציה מיוחדת לתיקון, שמאפשרת לה להתרחב לקנה מידה גדול יותר ולמלא אזורים חסרים בתמונה עם רזולוציה של עד 2K.
HD-Painter: תיקון תמונות מונחה טקסט
מודלים של דיפוזיה טקסט-לתמונה היו באמת נושא משמעותי בתעשיית ה-AI וה-ML בחודשים האחרונים, עם מודלים שהציגו יכולות מרשימות בזמן אמת ביישומים מעשיים שונים. מודלים מוכשרים מראש של יצירת תמונות מטקסט כגון DALL-E, Imagen, ו-Stable Diffusion הראו את יעילותם להשלמת תמונות על ידי מיזוג אזורים לא ידועים מרועשים (מיוצרים) עם אזורים ידועים מרועשים במהלך תהליך הדיפוזיה ההפוך. על אף שהם מייצרים פלטים חזותיים מרשימים ומותאמים היטב, מודלים קיימים מתקשים להבין את הסצנה הגלובלית, במיוחד תחת תהליך רעשנות דיפוזיה גבוה. בכך שמשנים מודלים מוכשרים מראש של טקסט-לתמונה כדי לשלב מידע הקשר נוסף, הם יכולים להיות מסוגננים מחדש לתיקון תמונות מונחה טקסט.
… (the rest of the translation remains the same, following the exact structure and format as the original)
