הבאת אנלוגיות חזותיות לבינה מלאכותית

מודלים עכשוויים של בינה מלאכותית אינם מצליחים לזהות קווי דמיון "רלציוניים" בין תמונות, כמו האופן שבו שכבות כדור הארץ דומות לאפרסק, ומפספסים היבט מרכזי באופן שבו בני אדם תופסים תמונות.

אם כי יש רבים ראיית מחשב מודלים המסוגלים להשוות תמונות ולמצוא קווי דמיון ביניהן, לדור הנוכחי של מערכות השוואה יש מעט מאוד, אם בכלל, דמיוני קיבולת. קחו בחשבון כמה מהמילים בשיר הקלאסי משנות ה-1960, טחנות הרוח של תודעתך:

כמו קרוסלה שמסתובבת, מפעילה טבעות סביב הירח
כמו שעון שמחוגיו חולפים על פני הדקות של פניו
והעולם הוא כמו תפוח שמסתחרר בשקט בחלל

השוואות מסוג זה מייצגות תחום של רמיזה פואטית בעלת משמעות לבני אדם הרבה מעבר לביטוי אמנותי; אלא, היא קשורה לאופן שבו אנו מפתחים את מערכות התפיסה שלנו; כשאנו יוצרים את תחום ה"אובייקט" שלנו, אנו מפתחים... יכולת דמיון חזותי, כך ש – לדוגמה – חתכים המתארים אפרסק וכדור הארץ, או רקורסיות פרקטליות כמו ספירלות קפה וענפי גלקסיה, להירשם כאנלוגי איתנו.

בדרך זו נוכל להסיק קשרים בין עצמים לכאורה שאינם קשורים זה לזה וסוגי עצמים, ו מערכות הסקה (כגון כוח משיכה, תנע וכידות פני שטח) שיכולים לחול על מגוון תחומים במגוון קני מידה.

לראות דברים

אפילו הדור האחרון של מערכות בינה מלאכותית להשוואת תמונות, כגון דמיון טלאי תמונה תפיסתי נלמד (Learned Perceptual Image Patch Similarity).LPIPS) ו דינו, אשר מושפעים ממשוב אנושי, מבצעים רק השוואות שטח מילוליות.

היכולת שלהם ל למצוא פנים במקום בו אין כאלה – כלומר, pareidolia – אינו מייצג את סוג מנגנוני הדמיון החזותי שבני אדם מפתחים, אלא מתרחש משום שאלגוריתמים לחיפוש פנים משתמשים במבנה פנים ברמה נמוכה. מאפיינים שלפעמים תואמים לאובייקטים אקראיים:

דוגמאות לתוצאות חיוביות שגויות עבור זיהוי פנים במערך הנתונים 'פנים עם דברים'. מָקוֹר

כדי לקבוע האם מכונות באמת יכולות לפתח את יכולת הדמיון שלנו לזהות דמיון חזותי בין תחומים, חוקרים בארה"ב ערכו מחקר ללמוד סביב דמיון חזותי יחסי, אוצר ואימון מערך נתונים חדש שנועד לאלץ יצירת קשרים מופשטים בין אובייקטים שונים שעדיין קשורים זה לזה על ידי קשר מופשט:

רוב מודלי הבינה המלאכותית מזהים דמיון רק כאשר תמונות חולקות תכונות שטחיות כמו צורה או צבע, ולכן הם מקשרים רק את קבוצה B (למעלה) להפניה. בני אדם, לעומת זאת, רואים גם את קבוצה A כדומה - לא משום שהתמונות נראות זהות, אלא משום שהן עוקבות אחר אותה היגיון בסיסי, כמו הצגת טרנספורמציה לאורך זמן. העבודה החדשה מנסה לשחזר סוג זה של דמיון מבני או יחסי, במטרה לקרב את תפיסת המכונה לחשיבה אנושית.מקור: https://arxiv.org/pdf/2512.07833

מערכת הכיתוב שפותחה עבור מערך הנתונים מאפשרת ביאורים מופשטים באופן יוצא דופן, שנועדו לאלץ מערכות בינה מלאכותית להתמקד במאפיינים בסיסיים ולא בפרטים מקומיים ספציפיים:

הכתוביות ה"אנונימיות" החזויות התורמות למדד ה-"relsim" של המחברים.

האוסף האוצר וסגנון הכיתוב יוצא הדופן שלו מזינים את המדד החדש שהציעו המחברים רלסים, אשר למחברים יש מעודן למודל שפת חזון (VLM).

השוואה בין סגנון הכיתוב של מערכי נתונים אופייניים, המתמקד בדמיון בין מאפיינים, בעוד שגישת ה-relsim (בשורה התחתונה) מדגישה דמיון יחסי.

הגישה החדשה נשענת על מתודולוגיות ממדעי הקוגניציה, ובפרט על שיטותיו של דדרה גנטנר. תיאוריית מיפוי המבנה (מחקר של אנלוגיה) ושל עמוס טברסקי הגדרה של דמיון יחסי ודמיון תכונות.

מאתר הפרויקט המשויך, דוגמה לדמיון יחסי. מָקוֹר

המחברים מציינים:

"[בני אדם] מעבדים דמיון באופן תפיסתי, אך דמיון יחסי דורש הפשטה מושגית, שלעתים קרובות נתמכת על ידי שפה או ידע קודם. דבר זה מצביע על כך שהכרה בדמיון יחסי דורשת תחילה הבנת התמונה, הסתמכות על ידע והפשטת המבנה הבסיסי שלה."

השמיים מאמר חדש מכונה דמיון חזותי יחסי, ומגיע עם אתר הפרויקט (ראו סרטון המוטמע בסוף מאמר זה).

שִׁיטָה

החוקרים השתמשו באחד ממערכי הנתונים ההיפר-סקייל הידועים ביותר כנקודת מוצא לאוסף שלהם - LAION-2B:

מטא-נתונים עבור ערך באוסף LAION-2B. מָקוֹר

114,000 תמונות שסביר להניח שהן מכילות מבנים יחסיים אלסטיים חולצו מ-LAION-2B, תוך סינון של תמונות רבות באיכות נמוכה הקיימות במערך הנתונים שאוצר באופן מינימלי.

כדי ליצור צינור לתהליך בחירה זה, המחברים השתמשו Qwen2.5-VL-7B, תוך מינוף 1,300 דוגמאות חיוביות ו-11,000 דוגמאות שליליות שסומנו על ידי בני אדם:

מערכת ה-relsim מאומנת בשלושה שלבים: סינון תמונות מ-LAION-2B עבור תוכן יחסי; הקצאת כיתוב אנונימי משותף לכל קבוצה שלוכד את ההיגיון הבסיסי שלה; ולמידה להתאים תמונות לכיתובים אלה באמצעות אובדן ניגודיות.

העיתון קובע:

"המביאים קיבלו הנחיה: "האם אתם יכולים לראות דפוס יחסי, היגיון או מבנה כלשהו בתמונה זו שיכול להיות שימושי ליצירה או קישור לתמונה אחרת?". המודל המכוון עדין משיג התאמה של 93% עם שיפוטים אנושיים, וכאשר הוא מיושם על LAION-2B, הוא מניב N = 114k תמונות שזוהו כמעניינות מבחינה יחסית."

כדי ליצור תוויות יחסיות, החוקרים הנעו את מודל Qwen לתאר את ההיגיון המשותף מאחורי קבוצות של תמונות מבלי לנקוב בשמות של אובייקטים ספציפיים. הפשטה זו הייתה קשה להשגה כאשר המודל ראה תמונה אחת בלבד, אך הפכה ניתנת ליישום כאשר דוגמאות מרובות הדגימו את הדפוס הבסיסי.

הכיתובים ברמת הקבוצה שהתקבלו החליפו מונחים ספציפיים במצייני מיקום כגון '{נוֹשֵׂא}' or {סוג תנועה}}, מה שהופך אותם ליישום נרחב.

לאחר אימות אנושי, כל כיתוב שויך לכל התמונות בקבוצה שלו. יותר מ-500 קבוצות כאלה שימשו לאימון המודל, אשר יושם לאחר מכן על 114,000 התמונות המסוננות כדי לייצר קבוצה גדולה של דגימות מופשטות ומבוארות באופן יחסי.

נתונים ובדיקות

לאחר חילוץ תכונות יחסיות באמצעות Qwen2.5-VL-7B, מודל עבר כוונון עדין על הנתונים באמצעות לורה, עבור 15,000 צעדים, באמצעות שמונה מעבדי A100*. עבור צד הטקסט, כיתובים רלציוניים הוטמעו באמצעות all-MiniLM-L6-v2 מ ספריית משפטים-טרנספורמרים.

מערך הנתונים של 114,000 תמונות עם כיתוב היה לפצל ל-100,000 לאימון ו-14,000 להערכה. כדי לבדוק את המערכת, נעשה שימוש במערך אחזור: בהינתן תמונת שאילתה, המודל היה צריך למצוא תמונה שונה ממאגר של 28,000 פריטים שביטאה את אותו רעיון יחסי. מאגר האחזור כלל 14,000 תמונות הערכה ו-14,000 דגימות נוספות מ-LAION-2B, כאשר 1,000 שאילתות נבחרו באופן אקראי ממערך ההערכה לצורך ביצועי השוואת ביצועים.

כדי להעריך את איכות האחזור, GPT-4o שימש לציון הדמיון היחסי בין כל שאילתה לתמונה שאוחזרה בסולם מ-0 עד 10. נערך גם מחקר אנושי נפרד כדי לאמוד את העדפת המשתמש (ראה להלן).

לכל משתתף הוצגה תמונת שאילתה אנונימית עם שני מועמדים, אחד אוחזר בשיטה המוצעת והשני באמצעות קו בסיס. המשתתפים נשאלו איזו תמונה דומה יותר מבחינה יחסית לשאילתה, או אם שתיהן קרובות באותה מידה. עבור כל קו בסיס, נוצרו 300 שלישיות ודורגו על ידי לפחות שלושה אנשים כל אחת, מה שהניב כ-900 תשובות.

גישת ה-relsim הושוותה למספר שיטות דמיון תמונה-לתמונה מבוססות, כולל LPIPS ו-DINO שהוזכרו לעיל, וכן דרימסים, ו קליפ-Iבנוסף לקווי בסיס המחשבים ישירות ציוני דמיון בין זוגות תמונות, כגון LPIPS, DINO, dreamsim ו-CLIP-I, המחברים בדקו גם שיטות מבוססות כיתוב בהן Qwen שימש ליצירת כיתוב אנונימי או מופשט לכל תמונה; כיתוב זה שימש לאחר מכן כשאילתת אחזור.

הוערכו שני גרסאות של אחזור, כאשר אחזור טקסט-לתמונה מבוסס CLIP (CLIP-T) נעשה בו שימוש לאחזור טקסט-לתמונה, ו-Qwen-T השתמש באחזור טקסט-לתמונה. שני קווי הבסיס מבוססי הכיתוב השתמשו במודל Qwen המקורי שאומן מראש ולא בגרסה שעברה כוונון עדין על בסיס לוגיקה רלציונית. זה אפשר למחברים לבודד את ההשפעה של אימון מבוסס קבוצות, מכיוון שהמודל המכוון עדין נחשף לקבוצות תמונות, ולא לדוגמאות מבודדות.

מדדים קיימים ודמיון יחסי

המחברים בדקו בתחילה האם מדדים קיימים יכולים ללכוד דמיון יחסי:

השוואה של ביצועי אחזור כפי שנבחנו על ידי GPT-4o, המציגה את ציון הדמיון היחסי הממוצע עבור כל שיטה. מדדי דמיון קונבנציונליים כגון LPIPS, DINO ו-CLIP-I קיבלו ציון נמוך יותר. ערכי בסיס מבוססי כיתובים Qwen-T ו-CLIP-T גם הם הציגו ביצועים נמוכים יותר. הציון הגבוה ביותר הושג על ידי relsim (6.77, עמודה כחולה ימנית ביותר), דבר המצביע על כך שכוונון עדין של דפוסי קשר מבוססי קבוצות שיפר את ההתאמה עם הערכות GPT-4o.

בנוגע לתוצאות אלו, המחברים מציינים**:

'[LPIPS], המתמקד אך ורק בדמיון תפיסתי, משיג את הציון הנמוך ביותר (4.56). [DINO] מציג ביצועים טובים יותר רק במעט (5.14), כנראה משום שהוא מאומן אך ורק באופן עצמי בפיקוח על נתוני תמונה. [CLIP-I] מניב את התוצאות החזקות ביותר מבין קווי הבסיס (5.91), כנראה משום שלעיתים קיימת הפשטה מסוימת בכיתובי תמונה.'

"עם זאת, CLIP-I עדיין מציג ביצועים נמוכים יחסית לשיטה שלנו, שכן השגת ציון טוב יותר עשויה לדרוש את היכולת להגיע להפשטות ברמה גבוהה אף יותר, כמו אלו שבכתוביות אנונימיות."

במחקר המשתמשים, בני אדם העדיפו באופן עקבי את שיטת ה-relsim בכל קווי הבסיס:

ציוני דמיון יחסי שהוקצו על ידי GPT-4o עבור כל שיטה. מדדי דמיון סטנדרטיים כגון LPIPS, DINO ו-CLIP-I קיבלו ציון נמוך יותר, וגרסאות מבוססות כיתוב Qwen-T ו-CLIP-T ביצעו רק מעט טוב יותר. אפילו גרסאות מכווננות של DINO ו-CLIP לא סגרו את הפער. הציון הגבוה ביותר, 6.77, הושג על ידי מודל relsim, שאומן עם הדרכה מבוססת קבוצות.

המחברים מציינים:

זה מאוד מעודד, שכן זה מדגים לא רק שהמודל שלנו, רלסים, יכול לאחזר בהצלחה תמונות דומות מבחינה יחסית, אך גם, שוב, מאשר שבני אדם אכן תופסים דמיון יחסי - לא רק דמיון מייחס!

כדי לחקור כיצד דמיון בין יחסים ודמיון בין מאפיינים עשויים להשלים זה את זה, החוקרים השתמשו בשיטת ויזואליזציה משולבת. תמונת שאילתה יחידה (כלב אוחז במצלמה) הושווה ל-3,000 תמונות אקראיות, ודמיון חושב באמצעות מודלים רלציוניים ומודלים מבוססי תכונות:

ויזואליזציה משותפת של מרחב דמיון חזותי באמצעות צירים יחסיים וצירים של תכונות. תמונה אחת של שאילתה, המתארת ​​כלב המשתמש במצלמה, הושוותה ל-3,000 אחרות. התוצאות אורגנו לפי דמיון יחסי (אנכי) ודמיון תכונות (אופקי). האזור הימני העליון מכיל תמונות הדומות לשאילתה הן מבחינה לוגית והן מבחינה מראה, כגון כלבים אחרים המשתמשים בכלים. האזור השמאלי העליון מכיל מקרים קשורים סמנטית אך שונים מבחינה ויזואלית, כגון בעלי חיים שונים המבצעים פעולות הקשורות למצלמה. רוב הדוגמאות הנותרות מקובצות נמוך יותר במרחב, ומשקפות דמיון חלש יותר. הפריסה ממחישה כיצד מודלים יחסיים ותכונות מדגישים היבטים משלימים של נתונים חזותיים. אנא עיינו במאמר המקור לקבלת רזולוציה טובה יותר.

התוצאות חשפו אשכולות התואמים לסוגים שונים של דמיון: חלק מהתמונות היו דומות מבחינה יחסית וחזותית, כגון כלבים אחרים בתנוחות אנושיות; אחרות חלקו היגיון יחסי אך לא מראה, כגון בעלי חיים שונים המחקים פעולות אנושיות; השאר לא הראו אף אחד מהם.

ניתוח זה מצביע על כך ששני סוגי הדמיון ממלאים תפקידים שונים ומניבים מבנה עשיר יותר כאשר הם משולבים.

השתמש במקרים

המאמר בוחן גם כמה מקרי שימוש סופיים אפשריים לדמיון יחסי, כולל אחזור תמונות יחסיות, המאפשר חיפוש תמונות בצורה תואמת יותר את הדרך היצירתית של בני האדם להתבונן בעולם:

אחזור יחסי מחזיר תמונות בעלות מבנה רעיוני עמוק יותר עם השאילתה, במקום מאפיינים שטחיים תואמים. לדוגמה, פריט מזון שעוצב כך שידמה לפנים מאחזר ארוחות אנתרופומורפיות אחרות; אובייקט פרוס מניב צורות פרוסות אחרות; וסצנות של אינטראקציה בין בוגר לצאצאים מחזירות תמונות בעלות תפקידים יחסיים דומים, גם כאשר המין וההרכב שונים.

אפשרות אחרת היא יצירת תמונה אנלוגית, אשר יאפשר סינתזה של שאילתות המשתמשות במבנים רלציוניים ולא בתיאורים ישירים. בהשוואה של תוצאות שהתקבלו מהדור הנוכחי של מודלים חדישים של טקסט-לתמונה, אנו יכולים לראות שהתוצאות של גישה כזו צפויות להיות מגוונות יותר:

בהינתן תמונת קלט והנחיה רלציונית, התבקשו המודלים ליצור תמונה חדשה המבטאת את אותו מושג בסיסי. מודלים קנייניים יצרו אנלוגיות נאמנות יותר, תוך שמירה על היגיון מבני לאורך שינויים גדולים בצורה, בעוד שמודלים בקוד פתוח נטו לסגת להתאמות מילוליות או סגנוניות, ולא הצליחו להעביר את הרעיון העמוק יותר. התפוקות הושוו לאנלוגיות שנוצרו על ידי בני אדם, אשר הדגימו את השינוי המיועד.

סיכום

נראה כי מערכות בינה מלאכותית גנרטיביות ישופרו באופן משמעותי בזכות היכולת לשלב ייצוג מופשט בתפיסות שלהן. נכון לעכשיו, בקשה לתמונות מבוססות מושגים כמו 'כעס' או 'אושר' נוטה להחזיר תמונות בסגנון התמונות הפופולריות או המאוכלסות ביותר שהיו להן אסוציאציות אלו במערך הנתונים; כלומר שינון אלא הפשטה.

יש להניח שעקרון זה יכול להיות מועיל אף יותר אם ניתן יהיה ליישמו על כתיבה גנרטיבית - במיוחד כתיבה אנליטית, ספקולטיבית או בדיונית.

לחץ כדי להשמיע. מָקוֹר

* ל-A100 יכול להיות 40 ג'יגה-בייט או 80 ג'יגה-בייט של VRAM; זה לא צוין במאמר.

** ציטוטים של המחברים מיותרים והושמטו.

פורסם לראשונה ביום שלישי, 16 בדצמבר 2025