Google розробляє систему запитів типу GPT-3, без результатів пошуку

Нова робота чотирьох дослідників Google пропонує систему “експертів”, яка здатна авторитетно відповісти на запитання користувачів без надання списку можливих результатів пошуку, подібно до парадигми Q&A, яка набула популярності завдяки появі GPT-3 за останній рік.

Робота дослідження, під назвою Рethinking Search: Making Experts out of Dilettantes, пропонує, що сучасний стандарт надання користувачеві списку результатів пошуку у відповідь на запит є “когнітивним навантаженням”, і пропонує покращення можливостей системи обробки природної мови (NLP) для надання авторитетної та визначеної відповіді.

Під пропоновою моделлю ‘експерта’, крос-доменної оракула, тисячі можливих джерел результатів пошуку будуть включені в мовну модель замість явного надання користувачеві для оцінки та навігації. Джерело: https://arxiv.org/pdf/2105.02274.pdf

Робота, яку очолює Дональд Метцлер у Google Research, пропонує покращення типу багатодоменних оракулів, які можна отримати від глибоких автoregresивних мовних моделей, таких як GPT-3. Основні покращення полягають у тому, що модель буде здатна точно цитувати джерела, які інформували відповідь, і що модель буде запобігати “галюцинації” відповідей або винаходу неіснуючого джерельного матеріалу, який є проблемою таких архітектур.

Мультідоменне навчання та можливості

Крім того, пропонована мовна модель, характеризована в роботі як “Одна модель для всіх завдань пошуку інформації”, буде навчена на різних доменах, включаючи зображення та текст. Вона також повинна мати розуміння про походження знань, чого зараз бракує в архітектурах типу GPT-3.

‘Замість індексів потрібно створити єдину, уніфіковану модель, яка сама має знання про всесвіт документів, так само, як традиційні індекси. Одним із способів досягнення цього є перехід від традиційних ЛМ до корпусних моделей, які спільно моделюють відносини між термінами, документами та документами.’

На зображенні вище, з роботи, три підходи до відповіді на запит користувача: ліворуч, мовні моделі, які явно закладені в алгоритмічні результати пошуку Google, вибрали та пріоритезували “кращу відповідь”, але залишили її як верхній результат серед багатьох. Центр, відповідь типу GPT-3, яка говорить з авторитетом, але не виправдовує своїх заяв або не цитує джерела. Праворуч, пропонована система “експерта” включає “кращу відповідь” з рейтингових результатів пошуку прямо в)didактичну відповідь, з академічними цитатами (не зображено на оригінальному зображенні) джерел, які інформували відповідь.

Видалення отруйних та неточних результатів

Дослідники зазначають, що динамічна та постійно оновлювана природа індексів пошуку є викликом для повного відтворення в машинній моделі цього типу. Наприклад, якщо раніше довірене джерело було безпосередньо навчено в розумінні моделі світу, видалення його впливу (наприклад, після його дискредитації) може бути складніше, ніж просто видалення URL з результатів пошуку, оскільки дані концепції можуть стати абстрактними та широко представленими під час навчання.
Крім того, така модель повинна бути постійно навчена, щоб забезпечити той же рівень реакції на нові статті та публікації, який зараз забезпечується постійним скануванням джерел Google. Ефективно це означає постійний та автоматизований ролл-аут, на відміну від поточного режиму, коли незначні зміни внесені до ваг та налаштувань вільної форми алгоритму пошуку, але сам алгоритм зазвичай оновлюється нечасто.

Площі атаки для централізованого експертного оракула

Централізована модель, яка постійно асимілює та узагальнює нові дані, може перетворити площу атаки для запитів пошуку.

Зараз атакувальник може отримати вигоду, досягнувши високого рейтингу для доменів або сторінок, які містять дезінформацію або шкідливе програмне забезпечення. Під орудою більш непрозорої системи “експерта” можливість перенаправлення користувачів на атакуючі домени значно зменшується, але можливість ін’єкції отруйних даних атак збільшується.

Це відбувається через те, що пропонована система не усуває алгоритм рейтингу пошуку, а ховає його від користувача, ефективно автоматизуючи пріоритет верхніх результатів та включення їх у дидактичну заяву. Зловмисники вже довго можуть організовувати атаки проти алгоритму пошуку Google, щоб продавати фальшиві продукти, направляти користувачів на домени, що поширюють шкідливе програмне забезпечення, або для цілей політичної маніпуляції, серед багатьох інших випадків використання.

Не штучний інтелект

Дослідники підкреслюють, що така система буде малоймовірно кваліфікована як штучний інтелект (ШІ), і ставлять перспективу універсального експертного респондера в контексті обробки природної мови, підлягаючи всім викликам, з якими зараз стикаються такі моделі.

Робота описує п’ять вимог до “високоякісної” відповіді:

1: Авторитет
Як і в поточних алгоритмах рейтингу, “авторитет” видається походить від цитування високоякісних доменів, які вважаються авторитетними самі по собі. Дослідники зазначають:

‘Відповіді повинні генеруватися шляхом витягування з високої якості джерел. Це ще одна причина, чому встановлення явних зв’язків між послідовностями термінів та метаданими документів є такою важливою. Якщо всі документи в корпусі анотовані оцінкою авторитетності, ця оцінка повинна бути врахована під час навчання моделі, генерації відповідей або обох.’

Хоча дослідники не пропонують, що традиційні результати пошуку стануть недоступними, якщо експертний оракул цього типу буде визнаний ефективним і популярним, вся робота представляє традиційну систему рейтингу та результати пошуку як “декадами стару” та застарілі систему пошуку інформації.

‘Сам факт того, що рейтинг є критичним компонентом цієї парадигми, є симптомом системи пошуку, яка надає користувачеві вибір потенційних відповідей, що викликає досить значне когнітивне навантаження на користувача. Бажання повернути відповіді замість рейтингових списків результатів було одним з мотивуючих факторів для розробки систем питань та відповідей. ‘

2: Прозорість
Дослідники коментують:

‘Коли це можливо, походження інформації, представленої користувачеві, повинно бути доступним їм. Чи це первинне джерело інформації? Якщо ні, яке первинне джерело?’

3: Обробка упередженості
Робота зазначає, що попередньо треновані мовні моделі призначені не для оцінки емпіричної істини, а для узагальнення та пріоритету домінантних тенденцій у даних. Вона визнає, що ця директива відкриває модель для атаки (як це сталося з расистським чатботом Microsoft у 2016 році), і що допоміжні системи будуть потрібні для захисту проти таких упереджених системних відповідей.

4: Надання різноманітних точок зору
Робота також пропонує механізми для забезпечення різноманітності точок зору:

‘Генеровані відповіді повинні представляти різноманітні точки зору, але не повинні бути поляризовані. Наприклад, для запитів про спірні теми повинні бути представлені обидві сторони теми в справедливій та балансированій формі. Це очевидно має близький зв’язок з упередженістю моделі.’

5: Доступна мова
Крім того, робота пропонує, що закріплені відповіді повинні бути написані “в möglich якнайпростішій формі”. Крім того, робота пропонує, що відповіді повинні бути точними та зрозумілими, навіть якщо вони не є досконалими.