Демотування застарілих «правд» за допомогою машинного навчання

Іноді правда має термін придатності. Коли тимчасово обмежена вимога (наприклад, «маски обов’язкові у громадському транспорті») з’являється у результатах пошуку, її явна «авторитетна» відповідь може затримуватися навіть протягом багатьох років, випереджаючи пізнішу та більш точну інформацію на ту саму тему.

Це є побічним продуктом алгоритмів пошукових систем, які намагаються ідентифікувати та просувати «довгострокові» визначені рішення, а також їхньої схильності до пріоритету добре пов’язаної інформації, яка підтримує трафік з часом – і все більш обережного ставлення до нової інформації в епоху фейкових новин.

Альтернативно, зниження цінності цінного веб-контенту просто через те, що таймстамп, пов’язаний з ним, пройшов довільне «вікно валідності», ризикує тим, що ціле покоління дійсно корисного контенту буде автоматично понижено в порядку значення на користь пізнішого матеріалу, який може бути нижчої якості.

Для виправлення цього синдрому нова стаття від дослідників в Італії, Бельгії та Данії використала різні техніки машинного навчання для розробки методології часової оцінки доказів.

Поза застарілими відповідями

Стаття написана дослідниками від Європейської комісії в Центрі спільних досліджень (JRC) в Іспра, Католицького університету в Левені та Копенгагенського університету.

Робота розглядає чотири методи тимчасового ранжування, застосовані до трьох методологій фактчекінгу, кожна з яких має свій підхід до оцінки доказів, і пропонує нову методологію ранжування, яка використовує таймстемпи доказів як «золотий стандарт». Дослідження показує, що часова оцінка доказів покращує ясність результатів і також покращує передбачення авторитету та достовірності часочутливих фактів і заяв.

Дослідження пропонується як можливий додаток до пізніших або існуючих систем і призначено для допомоги в дослідженнях, а також як можливий додатковий фактор для включення в розробку нових та вдосконалених алгоритмів пошукових систем.

Робота моделює тимчасову динаміку доказів для фактчекінгу на основі контенту, і перевершує «семантичну схожість» підходи, прийняті типовими алгоритмами ранжування пошукових систем. Модель, тренована дослідниками, використовує оптимізовану функцію навчання ранжуванню, яку можна легко накладати на існуючу архітектуру фактчекінгу. Дослідники стверджують, що система є новим внеском у автоматичний фактчекінг.

Виправлення декількох архітектур фактчекінгу

Дослідники наклали свій часово-обмежений фактор на три існуючі архітектури фактчекінгу. Перша з них – це модель Bidirectional Long Short Term Memory (BiLSTM), запропонована в МультіФК наборі даних, випущеному в 2019 році.

Друга – це модифікація першої, з унідіреціональною рекурентною нейронною мережею (RNN), яка замінює компонент LSTM.

Третя модель, яку використали дослідники, – це DistilBERT трансформер з бібліотеки Hugging Faces, відфільтрована версія моделі NLP Google BERT.

По всіх трьох архітектурах дослідники застосували ListMLE втрату, з дослідженнями під керівництвом Microsoft, яке протягом двох десятиліть постійно внесло свій внесок у нові дослідження фактчекінгу.

Дві основні моделі фактчекінгу, до яких команда дослідників додала тимчасовий компонент як фільтр для авторитету та подальших значень ранжування. Джерело: https://arxiv.org/pdf/2009.06402.pdf

Значення таймстемпів були витягнуті з метаданих тренування, і включені як фактори ранжування в кожній моделі.

Тестування

Експериментальна оцінка системи включала використання набору даних МультіФК, оскільки зараз це єдина велика відкрита база даних, доступна для цього конкретного дослідницького інтересу. МультіФК містить 34 924 реальні заяви, отримані з 26 різних доменів фактчекінгу, включаючи Snopes і Washington Post.

Прогнозування кожної заяви про її достовірність доповнюється десятьма фрагментами доказів, наданими API пошукової системи Google, і прогнозами, отриманими шляхом злиття різних елементів, включаючи мовця, теги та категорії.

Часто відповідний таймстемп не обов’язково є тим, який міститься в метаданих; стаття може посилатися на події з попередніх часів, і в цьому випадку системи дослідників мали піклуватися про витягування та конвертування цих даних безпосередньо з тексту. Без цього процесу «перезапуск» застарілих новин буде схильний надати їм новий блиск, особливо у випадку високих авторитетних сайтів, поширюючи застарілу інформацію.

Дати були витягнуті за допомогою процедури Python, і офіційні метадані дат були перевірені на консистентність форматування (оскільки, наприклад, форматування дат у США та Великій Британії відрізняється). При ручній перевірці не було виявлено жодних помилок у метаданих таймстемпів.

Результати

Проти ручної перевірки автоматичних результатів дослідники виявили, що часова оцінка доказів значно покращила припущення про актуальність, які базувалися на чистій семантичній схожості або ранжуванні SERP. Вони також встановили, що їхній метод покращує передбачення достовірності для часочутливих заяв (тобто обставин, коли ситуація з новинами може змінюватися швидко, і коли важливо пріоритезувати актуальну інформацію без простого примусового пріоритету найбільш недавніх результатів на тему).

Дослідники відзначають, що цей підхід буде мати високу цінність для покращення моделей ранжування для волатильних тем, таких як політика та розваги, де інформація змінюється швидко, і високі показники розвитку вимагаютьramework для автоматичного пониження з верхніх місць у ранжуванні, яких вони могли досягти на випуску.