בינה מלאכותית יכולה לסייע בזיהוי 'ריר ורוד' חדשות

ייתכן שיהיה קשה יותר לאתר טחנות דעה מונעות-אג'נדה, שנועדו יותר להשפיע על דעת הקהל מאשר לשרת את הציבור, אם נעשה שימוש בבינה מלאכותית כדי לגרום להן להישמע מקוריות ורציונליות יותר. אז המירוץ להישאר צעד אחד קדימה במשחק "גילוי הרפש הוורוד" החל.

הירידה במימון כלי התקשורת המקומיים המסורתיים בעשרים השנים האחרונות, הן עקב מגמות תקשורתיות מתפתחות והן - לאחרונה - בשל מדיניות ממשלת ארה"ב, השאיר א לבטל את בדיווח אזורי שנלקח בשקיקה על ידי פָּרטִיזָן ארגונים שימוש בבינה מלאכותית כדי לקדם את סדר היום שלהם.

כדי לשים את המונח "מפלגתי" בהקשר (בהתחשב בכך שאין ארגון חדשות שאין לו נטיות פוליטיות כלשהן), אנחנו מדברים על חברות נפט המנהלות אתרי חדשות אזוריים ממקומות מרוחקים, ללא משאבים מקומיים אמיתיים, אך עם אחריות להגן על המוניטין הציבורי של החברה; אתרי חדשות בעלי מוטיבציה פוליטית נטולי כל מקור הכנסה מתכוננים לקראת בחירות; וכמו כן רשתות שלמות של אתרי חדשות פרו-רפובליקנים מופיע משום מקום, קרוב למועד הקלפי.

בשנת 2024, הוערך כי חדשות על רפש ורוד המונע על ידי בינה מלאכותית היו סוף סוף להגיע למספר הגבוה כלי תקשורת אמיתיים; באותה תקופה, סקר אוסטרלי מצא ש-41% מהצרכנים מועדף מקורות של רפש ורוד על פני מקורות "אמיתיים".

ניתן לטעון כי סוג זה של תעמולת בחירות סמויה התפתח מאמנות אפלה גרידא ל... איום קיומי לדמוקרטיה (ביחס לכלי תקשורת בעלי מוטיבציה פוליטית) ולאמון הציבור בסטנדרטים סבירים של הגינות בדיווח.

לכן, שיטות להבחנה בין התפוקה האופיינית של מוציאים לאור וגופי שידור של רפש ורוד לבין ארגוני מדיה מסורתיים יותר, יהיו לעזר רב, לפחות בהבנת מי הם השחקנים והכוחות המניעים באקלים המידע הנוכחי.

כפי שהדברים עומדים, קל מאוד לחקות את הטרופיים והתבניות של ארגוני חדשות אמיתיים, ובינה מלאכותית הופכת פרסום גמיש למציאות עדכנית ובמחיר סביר, תוך שימוש ברבים מאותם טריקים. מאומץ על ידי מו"לים ושדרנים של "מדיה ישנה" מוכי תקציב.

אות ורעש

מחקר חדש מארה"ב עוסק בבעיה זו, על ידי חקירת השימוש הגובר במודלים של שפה גדולה כדי לגרום לאתרי אינטרנט של סליים ורוד להישמע פחות גנריים וקלים לזיהוי, ועל ידי יצירת מסגרת למידה שנועדה לעמוד בקצב השינויים המתפתחים בתפוקת סליים ורוד (PS).

תחת הכותרת חשיפת עיתונות של רפש ורוד: חתימות לשוניות וזיהוי חזק כנגד איומים שנוצרו על ידי LLM, ה עבודה חדשה מגיע מחמישה חוקרים מאוניברסיטת טקסס.

העבודה החדשה חוקרת כיצד כתבות חדשות מקומיות המופקות המוני בפורמט PS שונות מדיווח לגיטימי, תוך התמקדות בהסתמכותן על מבנים קצרים וחוזרים על עצמם ועל ניסוח תבניות עם וריאציה מינימלית; והמחברים מציינים כי כתבות PS נוטות לעשות שימוש חוזר בתבניות זהות שנועדו לתמרן את דעת הקהל, כאשר פניות לרגש הן בראש סדר העדיפויות בתוכן:

מהעיתון החדש - מספר כלי תקשורת מפרסמים מאמרים כמעט זהים עם שינויים רק בפרטי המיקום, וחושפים אסטרטגיית העתקה-הדבקה המשמשת לייצור המוני של תוכן המחקה חדשות מקומיות לגיטימיות. מָקוֹר

מודלים מסורתיים של זיהוי שאומנו על תכונות אלו מתפקדים היטב כנגד תוכן כזה, אך נכשלים כאשר המאמרים נכתבים מחדש באמצעות צ'אטבוטים של בינה מלאכותית כדי להיראות טבעיים או מתוחכמים יותר.

הבדיקות של המחברים מצביעות על כך שאפילו שינויים סגנוניים קלים המוכנסים על ידי מודלים גדולים של שפה יכולים להפחית את דיוק הזיהוי עד 40%. כדי למתן מצב זה, הם מציעים... למידה מתמשכת מסגרת שמאמנת מחדש באופן הדרגתי מודלים של זיהוי, הן במאמרים מקוריים והן במאמרים שנכתבו מחדש על ידי בינה מלאכותית, כדי להסתגל לדפוסים לשוניים משתנים.

שִׁיטָה

כדי לאסוף נתונים עבור הפרויקט, המחברים השתמשו ב- מערך נתונים של סליים ורוד, הכולל 7.9 מיליון מאמרים המכסים 1,093 נקודות מכירה במהלך 2021-2023, שמהם הם השיגו 9,472 מאמרים על סליים ורוד לאחר סינון. הם גם השתמשו ב- מערך נתונים של LIAR, אשר מכיל חדשות מזויפות עם הערות, כמו גם את NELA-GT-2021 אוסף, המכיל אך ורק מאמרים אמריקאים*.

כדי להכין את מערכי האימון והבדיקה שלהם, המחברים השתמשו תחילה ב-T-distributed Stochastic Neighbor Embedding (t-SNE) אלגוריתם להפחתת המאמר הטבעות לשני ממדים. לאחר מכן הם יישמו את אלגוריתם אשכול הנתונים Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) כדי לבודד אשכולות של פריטים דומים בצבע ורוד-סליים.

כל אשכול טופל כקבוצה של סיפורים קשורים, שרבים מהם עדיין עקבו אחר אותה תבנית, למרות מאמץ מרוכז לטפל בכפילויות.

כדי למנוע הופעה של מאמרים דומים גם בהדרכה וגם ערכות בדיקה, אשכולות שלמים נבחרו באופן אקראי, כאשר 80% מהם שימשו לאימון ו-20% לבדיקות. מכיוון שכתבות החדשות הלגיטימיות לא יצרו אשכולות ברורים, א פיצול אקראי יושם במקום זאת.

תהליך זה חזר על עצמו שלוש פעמים, כדי להבטיח עקביות ולהפחית הטיה דגימה.

מאפייני רפש ורוד

בהתייחסם למאפיינים המבדילים בין חדשות PS לחדשות רגילות, החוקרים טוענים שכתבות חדשות מקומיות בסגנון PS קצרות ופשוטות משמעותית מדיווח לגיטימי, עם ממוצע של פחות מ... תשעה משפטים לכל מאמר.

שיעור גבוה יותר של משפטים פשוטים והסתמכות רבה יותר על שמות תואר הם סימנים נוספים של רפש ורוד, על פי המאמר, ומצביעים על נטייה לשפה חוזרת על עצמה וטעונה רגשית.

עושר לקסיקלי נמדד באמצעות יחס Root-Type-Token (RTTR), ונמצא כי הם נמוכים משמעותית במאמרי PS, אשר הציגו גם הרבה פחות צירופי שם ייחודיים.

דפוסים אלה מצביעים על אוצר מילים מוגבל וסגנון נוסחתי, בניגוד לחדשות מקומיות לגיטימיות, המאופיינות בדפוסי חלקי דיבר מורכבים הבנויים סביב פעלים עזר, כינויי גוף ומילות קישור. במקום זאת, המאמרים המזויפים מעדיפים מבנים בסיסיים של שם עצם-מילות יחס, עם שימוש תכוף בפיסוק. טריגרמות, מה שמרמז על סגנון כתיבה פחות פורמלי ומקוטע יותר.

בדיקות

כדי לבחון את הקשרים בין סוגים שונים של כתבות חדשותיות, בהתבסס על מאפיינים לשוניים ומבניים, נוצרו הטמעות באמצעות הפרמטר 435 מיליון. stella_en_400M_v5 מודל, ומופחת באמצעות ניתוח רכיבים עיקריים (PCA), ו-t-SNE לצורך ויזואליזציה.

כאשר הוקרנו לשני ממדים, כתבות החדשות המקומיות המזויפות יצרו אשכולות קטנים וצפופים, שכל אחד מהם תואם לנושאים ממוקדים צר כגון סטטיסטיקות פשיעה, עדכוני מניות או תרומות לצדקה:

דפוסי קיבוץ באשכולות מהשלכת t-SNE מגלים שכתבות על רפש ורוד יוצרות קבוצות צפופות וחוזרות על עצמן, בעוד שחדשות לגיטימיות מציגות התפלגויות רחבות ומגוונות יותר התואמות לגיוון הנושא והסגנון.

כפי שאנו יכולים לראות, במידה מסוימת, באיור לעיל, דפוס זה מרמז על פורמט נוקשה, מונחה-תבניות, עם מינימום שונות בין מאמרים.

מעניין לציין, כי מאמרים שתויגו כ'חדשות מזויפות' נפרדו מהתוכן המקומי המזויף, והראו התפלגות התואמת יותר את ממשי חדשות, המצביעות על כך שזיופים מקומיים המיוצרים בייצור המוני עשויים לא רק להיות פחות אמיתיים, אלא גם להיות שונים מכנית בצורה ובהרכב.

לעומת זאת, חדשות מקומיות "לגיטימיות" יוצרות אשכולות פחותים ומפוזרים יותר, בהתאם לשפה ולנושאים מגוונים יותר, בעוד שכתבות חדשות ארציות מראות פיזור גדול אף יותר, המשקף טווח נושאי רחב יותר ועקביות סגנונית רופפת יותר.

השוואות מאפיינים בין חדשות מקומיות לגיטימיות לבין תוכן של סליים ורוד, המצביעות על כך שמאמרי PS קצרים יותר, משתמשים במבני משפט פשוטים יותר, מכילים יותר תארים, מפגינים עושר לקסיקלי נמוך יותר, מעדיפים טריגרמות של חלקי דיבר בסיסיים, ומכילים פחות צירופי שם ייחודיים.

איתור

החוקרים העריכו שתי גישות עיקריות לגילוי תכולת רפש ורוד: מִיוּן, מבוסס על שפה בעבודת יד מאפיינים, ו שנאימבוסס כוונון עדין.

עבור הגישה הידנית, הודגשו מאפיינים מבניים ולא סמנטיים, תוך שימוש בספירת משפטים; עושר לקסיקלי; עומק תחבירי; הסתברויות להופעה משותפת של חלקי דיבר; הסתברויות להופעה משותפת של תגיות תלות; קריאות; וספירות חלקי דיבר.

שלושה דגמים נבדקו על סט תכונות זה: XGBoost; יער אקראי, ו תמיכה במכונה וקטורית (SVM) – כאשר Random Forest מציג תוצאות מעט חזקות יותר בסך הכל.

גם XGBoost וגם Random Forest ייחסו חשיבות ניבויית גבוהה למאפיינים כמו ספירת משפטים ומספר צירופי שם ייחודיים. גם מדדי קריאות ועושר לקסיקלי השפיעו מאוד על הסיווג, אם כי המודלים שקללו אותם בצורה שונה, כאשר XGBoost העדיף את Flesch ו-RTTR, בעוד ש-Random Forest נשען על CTTR:

ציוני חשיבות מאפיינים המבוססים על SHAP (SHapley Additive exPlanations) מדגישים כיצד כל מאפיין קלט משפיע על הפלט של המודל על פני דגימות. במקרה זה, ערכי SHAP מגלים שגם XGBoost וגם Random Forest הסתמכו במידה רבה על ספירת משפטים וצירופי שם ייחודיים כדי להבחין בין רפש ורוד לחדשות אמיתיות, תוך מתן משקל משתנה למדדים של עושר לקסיקלי וקריאות.

כפי שניתן לראות בהשוואות התכונות הקודמות (לעיל), מאמרים בנושא "סליים ורוד" מעדיפים סנסציוניות על פני פרטים, עם עושר לקסיקלי נמוך יותר, ועם פחות צירופי שם ברורים – מה שמחזק את המסקנה שתוכן מסוג זה מורכב מאוד מתבניות וחוזר על עצמו.

תבניות טריגרמה של חלקי דיבר מאשרות שחדשות מקומיות לגיטימיות נוטות להשתמש בצורות מורכבות יותר מבחינה מבנית, הכוללות מילות עזר, כינויי גוף ומילות קישור, בעוד ש"ריר ורוד" מעדיף תחביר מקוטע או מינימלי. תבניות אלו מצביעות על בסיס אמין להבחנה בין תוכן מקומי סינתטי לבין עיתונות אמיתית.

סבב שני של בדיקות כלל כוונון עדין של מודלים של טרנספורמטורים על טקסט מלא של מאמר, כדי ללכוד הן תוכן סמנטי והן מבנה תחבירי.

ברט, XLNet, ו פלאן-T5 נבדקו, כאשר BERT השיגה את הציון הגבוה ביותר ציון F1 ב-89.31% - למרות שהמאמר מציין שהבדלי הביצועים לא היו מובהקים סטטיסטית. שלא כמו המסווגים בעבודת יד, מודלים אלה מעדכנים את כל משקולות במהלך האימון, מה שמאפשר להם ללמוד ייצוגים ספציפיים למשימה ישירות מהנתונים.

שיטה נוספת המבוססת על הטמעה השתמשה ב- מחובר לחלוטין המסווג במורד הזרם ביצע ביצועים טובים יותר מהמודלים בעבודת יד, אך לא תאם את הדיוק של כוונון עדין מלא.

גישות אלו נהנו מהקשר לשוני רחב יותר – יתרון, בהתחשב בכך שמאמרים על רפש ורוד לרוב ממחזרים תוכן בין ערוצי תוכן שונים. לעומת זאת, כתבות בעבודת יד מסתמכות על תחביר שטחי בלבד, מה שמגביל את יכולתן להכליל בין מקורות שונים.

הגברת הסליים הוורוד בעזרת LLMs

כדי לבדוק האם ניתן להקשות על גילוי מאמרים המכילים רפש ורוד, החוקרים כתבו אותם מחדש באמצעות מודלים של שפה גדולה. ההנחיות נועדו לשפר את סגנון הכתיבה על ידי הרחבת התוכן, הוספת מורכבות משפטים, הפחתת שימוש יתר בתארים, אכיפת טון ניטרלי, שימוש באוצר מילים מגוון יותר והגדלת מספר צירופי השם הייחודיים, במטרה להסתיר את התכונות השטחיות שעליהן מסתמכות רוב מערכות הזיהוי.

המודלים שנבדקו היו ג'מה‑2B; מיסטרל-7B; לאמה‑1B; לאמה‑3B; לאמה‑8B; קוון-7B; GPT‑4o מיני, ו קלוד-3.5-הייקו.

ביצועי גילוי (F1) של מסווג BERT מכוון עדין כאשר מאמרי רפש ורוד נכתבים מחדש על ידי LLMs שונים. ציונים נמוכים יותר מצביעים על ערפול מוצלח יותר.

על תוצאות אלו, המחברים מעירים:

מבין מודלים בקוד פתוח, Qwen היה היעיל ביותר בהתחמקות מגילוי: כאשר נבדק מול מסווג BERT שעבר התאמה עדינה קודם לכן (ציון F1 בסיסי: 89%), הוא הוביל לירידה של 28.34% בביצועי הגילוי.

מודלים בקוד סגור היו חזקים יותר באופן משמעותי, כאשר גם GPT-4o-mini וגם Claude-3.5-Haiku הפחיתו את ציון ה-F1 בממוצע של 40%, מה שמדגיש את האתגר שמציב ערפול איכותי שנוצר על ידי LLM.

תוצאות אלו, טוענים המחברים, מראות באיזו קלות מערכות LLM יכולות להסוות תכולת רפש ורוד, מה שמקשה הרבה יותר על הכלים הקיימים לתפוס אותה**.

סיכום

דעה קו מחקר זה מכיל כמה שאלות מעניינות, לא פחות חשובה שבהן היא שכל כך הרבה אנשים (לפי לפחות סקר אחד, שהוזכר קודם לכן) תמיכה תוכן PS, בידיעה מהו, שהוא מעלה בספק את ההקשר המבזה. זה כאילו אנשים יודעים ש"סוילנט גרין זה אנשים", אבל הם מושכים בכתפיהם וממשיכים לאכול; או כך זה אולי נראה, מתוך רגישות ליברלית.

אדישות ציבורית זו כלפי חדשות אלגוריתמיות עשויה להתפתח ואף לחזור בה - אך כרגע, נראה שהיא מעמיקה.

דבר נוסף שבאמת הרשים אותי בקריאת המאמר היה האופן שבו הפרוזה הפשוטה והרדוקציוניזם של פלט הסליים הוורוד התייחסו אליו כאל חיסרון עם פתרון טכנולוגי אפשרי, כאשר המינימליזם, הרגשנות ואוצר המילים המוגבל הם כולם מכוונים למדי.

אם קבוצות העניין השונות העומדות מאחורי PS רוצות להרחיב את טווח ההגעה שלהן לקהל אינטלקטואלי או ליברלי יותר (אם כי אולי זה לא יתן את ניצול נקודות החוזק שלהן), נראה שסביר יותר שהן יקימו מחנה קרוב יותר לקהל היעד שלהן, במקום לשנות סגנון שפה וטון שכבר נראה שמשיגים את מטרותיהן, בפלטפורמות הקיימות.

* עקב עיצוב לא מוצלח בעיתון, למקור הנוסף של כתבות חדשות מקומיות אין ייחוס ברור. אנא עיינו במקור העיתון ונחשו איזו מההפניות של 'Horne' מתאימה.

** כאן אנו מפנים את הקורא למאמר המקור לקבלת פרטים על הניסויים המשניים והמשלימים, אשר מסכמים את פרק התוצאות של המאמר החדש.

פורסם לראשונה ביום שישי, 12 בדצמבר 2025