Понижаване на остарялата „истина“ с машинно обучение

Понякога истината има срок на годност. Когато ограничено във времето твърдение (като „маските са задължителни в обществения транспорт“) се появи в класирането на търсачките, неговото очевидно „авторитетно“ решение може да надхвърли добре дошлите му дори с много години, изпреварвайки по-късно и по-точно съдържание по същата тема.

Това е страничен продукт от решимостта на алгоритмите на търсачките да идентифицират и насърчават „дългосрочни“ окончателни решения и от тяхната склонност да дават приоритет на добре свързано съдържание, което поддържа трафик с течение на времето – и от все по-предпазливо отношение към по-новото съдържание в възникващата възраст на фалшиви новини.

Алтернативно, обезценяването на ценно уеб съдържание просто защото свързаното с него времево клеймо е преминало произволен „прозорец на валидност“ рискува генериране на наистина полезно съдържание да бъде автоматично понижено в полза на следващ материал, който може да е с по-нисък стандарт.

Към преодоляването на този синдром, нов хартия от изследователи в Италия, Белгия и Дания използва различни техники за машинно обучение, за да разработи методология за класиране на доказателства във времето.

Отвъд остарелите отговори

Документът е съставен от изследователи от Европейската комисия в Съвместния изследователски център (JRC) в Испра, Katholieke Universiteit в Льовен и Университета на Копенхаген.

Работата разглежда четири метода за класиране във времето, приложени към три методологии за проверка на факти, всяка с различен подход към класирането на доказателства, и предлага нова методология за класиране, която използва времеви клеймца на доказателства като „златен стандарт“. Проучването показва, че класирането на доказателствата, съобразени с времето, подобрява проницателността на резултатите и също така подобрява прогнозите за авторитет и достоверност на чувствителни към времето факти и твърдения.

Изследването се предлага като възможно допълнение към по-късни или съществуващи системи и е предназначено да подпомогне изследванията и като възможен допълнителен фактор за включване в разработването на нови и еволюирали алгоритми на търсачките.

Работата моделира времевата динамика на доказателствата за проверка на факти, базирана на съдържание, и превъзхожда подходите за „семантично сходство“, възприети от типичните алгоритми за класиране в търсачките. Моделът, обучен от изследователите, използва оптимизиран обучение за класиране функция, която може лесно да бъде насложена в съществуваща архитектура за проверка на фактите. Изследователите твърдят, че системата е нов принос към автоматизираната проверка на фактите.

Промяна на множество архитектури за проверка на факти

Изследователите наложиха своя ограничен във времето факторинг върху три съществуващи архитектури за проверка на фактите. Първият от тях е моделът на двупосочна дългосрочна краткосрочна памет (BiLSTM), предложен в Набор от данни MultiFC освободен през 2019г.

Вторият е модификация на първия, с еднопосочна повтаряща се невронна мрежа (RNN), която замества компонента LSTM.

Третият модел, използван от изследователите, е a Трансформатор DistilBERT от библиотеката Hugging Faces, дестилирана версия на тази на Google БЕРТ НЛП модел.

Във всичките три архитектури изследователите са приложили загуба на ListMLE от изследване, ръководено от Microsoft, което е допринесло последователно за нови изследвания за проверка на факти през последните две десетилетия.

Двата основни модела за проверка на фактите, към които изследователският екип е добавил времеви компонент като филтър за авторитет и последващи стойности за класиране. Източник: https://arxiv.org/pdf/2009.06402.pdf

Стойностите на клеймото за време бяха извлечени от метаданните за обучение и включени като фактори за класиране във всеки модел.

Тестване

Експерименталната оценка на системата включваше използването на набора от данни MultiFC, тъй като в момента това е единственият набор от данни с отворен код с голям обем, наличен за този конкретен изследователски интерес. MultiFC съдържа 34,924 26 твърдения от реалния свят, получени от XNUMX различни домейна за проверка на факти, включително Snopes и Washington Post.

Прогнозата за истинността на всяко твърдение се допълва от десет фрагмента от доказателства, предоставени от API за търсене на Google, и прогнози, получени чрез сливане на елементи, включително говорител, тагове и категории.

Много често съответният времеви печат не е непременно този, който се съдържа в метаданните; една статия може да се отнася до събития от предишни времена и в този случай системите на изследователите трябваше да се погрижат да извлекат и конвертират тези данни директно от текста. Без този процес „повторното пускане“ на остарели новини ще има тенденция да им придаде нов блясък, особено в случай на високо авторитетни сайтове, разпространяващи остарели данни.

Датите бяха извлечени с рутина на Python и официалните дати на метаданни бяха тествани за съгласуваност на форматирането (тъй като например форматирането на клеймото за дата в САЩ и Обединеното кралство е различно). При ръчна проверка не бяха открити никакви грешки в метаданните на времевия печат.

Резултати

Срещу ръчна проверка на автоматизираните резултати, изследователите откриха, че класирането на доказателства за времето се е подобрило значително въз основа на предположенията за уместност, които се основават на чисто семантично сходство или класиране на SERP. Те също така установяват, че техният метод подобрява прогнозите за достоверност за чувствителни към времето твърдения (т.е. обстоятелства, при които новинарската ситуация може да се променя бързо и когато е от съществено значение актуалната информация да бъде приоритизирана, без просто грубо принудително приоритизиране на най-новата резултати по дадена тема).

Изследователите отбелязват, че този подход ще бъде от голяма стойност за подобряване на моделите за класиране за променливи теми като политика и развлечения, където информацията се променя бързо и високопоставените разработки изискват рамка за автоматично понижаване от първите места в класацията, които може да имат постигнато при освобождаване.