Відучування авторських даних з навченої LLM – чи це можливе?

У сфері штучного інтелекту (AI) та машинного навчання (ML) великі мовні моделі (LLM) демонструють як досягнення, так і виклики. Навчені на величезних текстових даних, моделі LLM охоплюють людську мову та знання.

Відже їхня здатність поглинати та імітувати людське розуміння представляє юридичні, етичні та технологічні виклики. Крім того, величезні дані, які живлять LLM, можуть містити токсичні матеріали, авторські тексти, неточності або особисті дані.

Зробити LLM забути вибрані дані стало насущною проблемою для забезпечення юридичної відповідності та етичної відповідальності.

Давайте дослідимо концепцію того, як зробити LLM забути авторські дані, щоб відповісти на фундаментальне питання: чи це можливе?

Чому потрібне відучування LLM?

LLM часто містять спірні дані, включаючи авторські дані. наявність таких даних у LLM представляє юридичні виклики, пов’язані з приватною інформацією, упередженою інформацією, авторськими даними та хибними або шкідливими елементами.

Отже, відучування є необхідним для забезпечення того, щоб LLM відповідали правилам конфіденційності та дотримувалися авторських законів, сприяючи відповідальним та етичним LLM.

Однак витягування авторських даних з величезних знань, які ці моделі набули, є складною задачею. Ось деякі техніки відучування, які можуть допомогти вирішити цю проблему:

• Фільтрація даних: вона полягає у систематичному визначенні та видаленні авторських елементів, шумових або упереджених даних з навчальних даних моделі. Однак фільтрація може привести до потенційної втрати цінної неавторської інформації під час процесу фільтрації.
• Градієнтні методи: ці методи регулюють параметри моделі на основі градієнта функції втрат, звертаючи увагу на проблему авторських даних у моделях ML. Однак регулювання може негативно вплинути на загальну продуктивність моделі щодо неавторських даних.
• Відучування в контексті: ця техніка ефективно усуває вплив конкретних навчальних точок на модель, оновлюючи її параметри без впливу на не пов’язані знання. Однак метод зустрічає обмеження у досягненні точного відучування, особливо з великими моделями, і його ефективність потребує подальшої оцінки.

Ці техніки є ресурсоємними та тривалими, що робить їх складними для реалізації.

Випадки

Щоб зрозуміти значення відучування LLM, ці реальні випадки демонструють, як компанії зіткнулися з юридичними викликами щодо великих мовних моделей (LLM) та авторських даних.

Судові справи OpenAI: OpenAI, провідна компанія AI, була піддана численним судовим справам щодо навчальних даних LLM. Ці юридичні дії ставлять під сумнів використання авторських матеріалів у навчанні LLM. Крім того, вони спровокували запитання щодо механізмів, які моделі використовують для отримання дозволу на кожну авторську роботу, включену до їхнього навчального процесу.

Судова справа Сари Сільверман: Судова справа Сари Сільверман включає звинувачення у тому, що модель ChatGPT генерувала резюме її книг без дозволу. Ця юридична дія підкреслює важливі питання щодо майбутнього AI та авторських даних.

Оновлення юридичних рамок для відповідності технологічному прогресу забезпечує відповідальне та законне використання моделей AI. Крім того, дослідницька спільнота повинна комплексно вирішити ці виклики, щоб зробити LLM етичними та справедливими.

Традиційні техніки відучування LLM

Відучування LLM подібне до відокремлення конкретних інгредієнтів від складної рецептури, забезпечуючи, щоб тільки бажані компоненти сприяли кінцевому результату. Традиційні техніки відучування LLM, такі як налаштування з відібраними даними та повторне навчання, не мають прямих механізмів для видалення авторських даних.

Їхній широкий підхід часто виявляється неефективним та ресурсоємним для складної задачі вибіркового відучування, оскільки вони вимагають тривалого повторного навчання.

Хоча ці традиційні методи можуть регулювати параметри моделі, вони борються з точним націлюванням на авторські дані, ризикуючи ненавмисним втратою даних та субоптимальною відповідністю.

Отже, обмеження традиційних методів та потужні рішення вимагають експериментів з альтернативними техніками відучування.

Нова техніка: Відучування підмножини навчальних даних

Дослідницька робота Microsoft представляє новаторську техніку для відучування авторських даних у LLM. Зосереджуючись на прикладі моделі Llama2-7b та книг про Гаррі Поттера, метод включає три основні компоненти, щоб зробити LLM забути світ Гаррі Поттера. Ці компоненти включають:

• Посилене визначення моделі: Створення посиленої моделі включає налаштування цільових даних (наприклад, Гаррі Поттер) для посилення її знань про вміст, який потрібно забути.
• Заміна ідіоматичних виразів: Унікальні вирази Гаррі Поттера у цільових даних замінюються загальними, що сприяє більш узагальненому розумінню.
• Налаштування на основі альтернативних прогнозів: Базова модель піддається налаштуванню на основі цих альтернативних прогнозів. По суті, це ефективно видаляє оригінальний текст з її пам’яті, коли вона зустрічає відповідний контекст.

Хоча техніка Microsoft знаходиться на ранній стадії та може мати обмеження, вона представляє перспективний крок до більш потужних, етичних та адаптивних LLM.

Результат нової техніки

Інноваційна методика для того, щоб зробити LLM забути авторські дані, представлена у дослідницькій роботі Microsoft, є кроком до відповідальних та етичних моделей.

Нова техніка включає стирання змісту, пов’язаного з Гаррі Поттером, з моделі Meta Llama2-7b, відомої тим, що була навчена на наборі даних “books3”, який містить авторські роботи. Значно, оригінальні відповіді моделі демонстрували складне розуміння всесвіту Дж.К. Роулінг, навіть з загальними запитами.

Однак, пропонована Microsoft техніка суттєво змінила її відповіді. Ось приклади запитів, які демонструють помітні відмінності між оригінальною моделлю Llama2-7b та налаштованою версією.

Джерело зображення

Ця таблиця показує, що налаштовані моделі відучування зберігають свою продуктивність у різних бенчмарках (таких як Hellaswag, Winogrande, piqa, boolq та arc).

Джерело зображення

Метод оцінки, який спирається на запити моделі та подальший аналіз відповідей, виявляється ефективним, але може не враховувати більш складні, ворогові методи витягування інформації.

Хоча техніка є перспективною, подальші дослідження необхідні для її вдосконалення та розширення, особливо щодо більш широких завдань відучування у LLM.

Виклики нової техніки відучування

Хоча техніка відучування Microsoft показує перспективи, існують певні виклики та обмеження AI щодо авторських даних.

Ключові обмеження та галузі для покращення включають:

• Витік авторських даних: Метод може не повністю усунути ризик витику авторських даних, оскільки модель може зберегти деякі знання про цільовий вміст під час процесу налаштування.
• Оцінка різних наборів даних: Для оцінки ефективності техніки необхідно провести додаткову оцінку на різних наборах даних, оскільки початковий експеримент був зосереджений лише на книгах про Гаррі Поттера.
• Масштабованість: Тестування на більших наборах даних та більш складних мовних моделях є важливим для оцінки застосовності та адаптивності техніки в реальних сценаріях.

Ріст кількості судових справ, пов’язаних з AI, особливо щодо авторських прав та LLM, підкреслює необхідність чітких керівних принципів. Перспективні розробки, такі як метод відучування, запропонований Microsoft, відкривають шлях до етичних, законних та відповідальних моделей AI.

Не пропустіть останні новини та аналіз у сфері AI та ML – відвідайте unite.ai сьогодні.