מודל AI יכול לקחת תמונות מטושטשות ולשפר את הרזולוציה ב-60 פעמים

חוקרים מאוניברסיטת דיוק פיתחו מודל AI המסוגל לקחת תמונות מטושטשות ופיקסליות ביותר ולהציג אותן בפרטים גבוהים.  על פי TechXplore, המודל מסוגל לקחת פיקסלים ספורים יחסית ולהגדיל את התמונות כדי ליצור פנים ריאליסטיות שהן כ-64 פעמים את הרזולוציה של התמונה המקורית. המודל “מהלל” או “מדמיין” תכונות שנמצאות בין הקווים של התמונה המקורית.

המחקר הוא דוגמה לרזולוציה על. כפי שסינתיה רודין מצוות המדעי של אוניברסיטת דיוק הסבירה ל-TechXplore, פרויקט המחקר הזה קובע שיא לרזולוציה על, שכן מעולם לא נוצרו תמונות עם פרטים כאלה מדגימון קטן כל כך של פיקסלים התחלתיים. החוקרים הדגישו בקפידה שהמודל לא באמת משחזר את הפנים של האדם בתמונה המקורית, הנמוכה באיכות. במקום זאת, הוא יוצר פנים חדשות, וממלא פרטים שלא היו שם לפני כן. בשל כך, המודל לא יכול לשמש לדברים כמו מערכות אבטחה, שכן הוא לא יוכל להפוך תמונות מטושטשות לתמונות של אדם אמיתי.

טכניקות רזולוציה על מסורתיות פועלות על ידי ניחושים על פיקסלים שנדרשים כדי להפוך את התמונה לתמונה ברזולוציה גבוהה, על בסיס תמונות שהמודל למד עליהן לפני כן. מכיוון שהפיקסלים הנוספים הם תוצאה של ניחושים, לא כל הפיקסלים יתאימו לפיקסלים הסובבים אותם, ואזורים מסוימים של התמונה עשויים להיראות מטושטשים או מעוותים. החוקרים מאוניברסיטת דיוק השתמשו בשיטה אחרת לאימון מודל ה-AI שלהם. המודל שנוצר על ידי החוקרים מדיוק פועל על ידי קבלת תמונות ברזולוציה נמוכה והוספת פרטים לתמונה במשך הזמן, תוך התייחסות לפנים AI-יוצרות ברזולוציה גבוהה כדוגמאות. המודל מתייחס לפנים AI-יוצרות ומנסה למצוא אלו שדומות לתמונות היעד כאשר הפנים המיוצרות מוקטנות לגודל התמונה היעד.

צוות המחקר יצר מודל Generative Adversarial Network לטיפול ביצירת תמונות חדשות. GANs הם למעשה שני רשתות נוירונים שאומנו על אותו מאגר נתונים והוצבו זה מול זה. רשת אחת אחראית ליצירת תמונות מזויפות שחוקות את התמונות האמיתיות במאגר הנתונים, בעוד שהרשת השנייה אחראית לגילוי תמונות מזויפות מתוך האמיתיות. הרשת הראשונה מודעת לכך כאשר תמונותיה זוהו כמזויפות, והיא משתפרת עד שהתמונות המזויפות, בתקווה, לא ניתנות להבחנה מהתמונות האמיתיות.

החוקרים כינו את מודל הרזולוציה על שלהם PULSE, והמודל מייצר תמונות באיכות גבוהה באופן עקבי, אפילו אם ניתנו לו תמונות כה מטושטשות ששיטות רזולוציה על אחרות לא יכולות ליצור תמונות באיכות גבוהה מהן. המודל מסוגל אפילו ליצור פנים ריאליסטיות מתמונות שבהן תכונות הפנים כמעט בלתי ניתנות להבחנה. למשל, כאשר ניתנה לו תמונה של פנים ברזולוציה 16×16, הוא יכול ליצור תמונה 1024 x 1024. יותר ממיליון פיקסלים מתווספים במהלך תהליך זה, וממלאים פרטים כמו גדילים, קמטים ואפילו תאורה. כאשר החוקרים היקשו לאנשים לדרג 1440 תמונות שנוצרו על ידי PULSE, התמונות שנוצרו על ידי PULSE קיבלו תמיד את הציון הטוב ביותר.

בעוד שהחוקרים השתמשו במודל שלהם על תמונות של פנים, אותן הטכניקות שהם משתמשים בהן יכולות להיות מוחלות על כמעט כל אובייקט. תמונות ברזולוציה נמוכה של אובייקטים שונים יכולות לשמש ליצירת תמונות ברזולוציה גבוהה של אותו אוסף של אובייקטים, ופותחות אפליקציות אפשריות למגוון תחומים וענפים, ממיקרוסקופיה, תמונות לוויין, חינוך, ייצור ורפואה.