Петля зворотного зв’язку штучного інтелекту: підтримання якості моделей виробництва у добу штучно створеного контенту

Моделі штучного інтелекту, розгорнуті у виробництві, потребують потужного та безперервного механізму оцінки їхньої продуктивності. Саме тут можна застосувати петлю зворотного зв’язку штучного інтелекту, щоб забезпечити сталу продуктивність моделей.

Взявши слова в Елона Маска:

“Я думаю, що дуже важливо мати петлю зворотного зв’язку, де ви постійно думаєте про те, що ви зробили, і про те, як ви можете робити це краще.”

Для всіх моделей штучного інтелекту стандартною процедурою є розгортання моделі, а потім періодичне повторне навчання на останніх реальних даних, щоб забезпечити, що її продуктивність не погіршується. Але з метеоритним зростанням генеративного штучного інтелекту, навчання моделей штучного інтелекту стало аномальним і схильним до помилок. Це відбувається через те, що онлайн-джерела даних (інтернет) поступово стають сумішшю даних, створених людьми та штучним інтелектом.

Наприклад, багато блогів сьогодні містять текст, створений штучним інтелектом, який працює на основі БДМ (великих мовних модулів), таких як ChatGPT або GPT-4. Багато джерел даних містять зображення, створені штучним інтелектом за допомогою DALL-E2 або Midjourney. Крім того, дослідники штучного інтелекту використовують синтетичні дані, створені генеративним штучним інтелектом, у своїх потоках навчання моделей.

Отже, нам потрібен потужний механізм для забезпечення якості моделей штучного інтелекту. Саме тут з’являється потреба у петлях зворотного зв’язку штучного інтелекту.

Що таке петля зворотного зв’язку штучного інтелекту?

Петля зворотного зв’язку штучного інтелекту – це ітеративний процес, у якому рішення та вихідні дані моделі штучного інтелекту безперервно збираються та використовуються для покращення або повторного навчання тієї самої моделі, що призводить до безперервного навчання, розвитку та покращення моделі. У цьому процесі дані навчання, параметри моделі та алгоритми оновлюються та покращуються на основі входів, згенерованих всередині системи.

Головним чином існують два типи петель зворотного зв’язку штучного інтелекту:

1. Позитивні петлі зворотного зв’язку штучного інтелекту: Коли моделі штучного інтелекту генерують точні результати, які відповідають очікуванням та уподобанням користувачів, користувачі надають позитивний зворотний зв’язок через петлю зворотного зв’язку, який, у свою чергу, посилює точність майбутніх результатів. Така петля зворотного зв’язку називається позитивною.
2. Негативні петлі зворотного зв’язку штучного інтелекту: Коли моделі штучного інтелекту генерують неточні результати, користувачі повідомляють про помилки через петлю зворотного зв’язку, яка, у свою чергу, намагається покращити стабільність системи, виправляючи помилки. Така петля зворотного зв’язку називається негативною.

Обидва типи петель зворотного зв’язку штучного інтелекту забезпечують безперервний розвиток моделі та покращення продуктивності з часом. І вони не використовуються або застосовуються в ізоляції. Разом вони допомагають моделям штучного інтелекту, розгорнутим у виробництві, зрозуміти, що є правильним або неправильним.

Стадії петель зворотного зв’язку штучного інтелекту

Високорівневе зображення механізму зворотного зв’язку в моделях штучного інтелекту. Джерело

Зрозуміти, як працюють петлі зворотного зв’язку штучного інтелекту, важливо для розблокування всього потенціалу розвитку штучного інтелекту. Давайте дослідимо різні стадії петель зворотного зв’язку штучного інтелекту нижче.

1. Збір зворотного зв’язку: Збирати відповідні результати моделі для оцінки. Зазвичай користувачі надають свій зворотний зв’язок щодо результату моделі, який потім використовується для повторного навчання. Або це можуть бути зовнішні дані з вебу, відібрані для налаштування продуктивності системи.
2. Повторне навчання моделі: Використовуючи зібрану інформацію, систему штучного інтелекту повторно навчають, щоб зробити кращі передбачення, надати відповіді або виконати певні дії, уточнюючи параметри моделі або ваги.
3. Інтеграція зворотного зв’язку та тестування: Після повторного навчання модель тестується та оцінюється знову. На цій стадії зворотний зв’язок від експертів також включений для підкреслення проблем, що виходять за рамки даних.
4. Розгортання: Модель розгортається знову після верифікації змін. На цій стадії модель повинна показувати кращу продуктивність на нових реальних даних, що призводить до покращення досвіду користувача.
5. Моніторинг: Модель безперервно моніториться за допомогою метрик для виявлення потенційного погіршення, наприклад, зсуву. І цикл зворотного зв’язку продовжується.

Проблеми у виробничих даних та виводах моделі штучного інтелекту

Будування потужних систем штучного інтелекту вимагає глибокого розуміння потенційних проблем у виробничих даних (реальних даних) та виводах моделі. Давайте розглянемо кілька проблем, які стають перешкодою для забезпечення точності та надійності систем штучного інтелекту:

1. Зсув даних: Відбувається, коли модель починає отримувати реальні дані з іншого розподілу порівняно з розподілом навчальних даних моделі.
2. Зсув моделі: Спроможності моделі до передбачення та ефективності зменшуються з часом через зміну реальних умов. Це відомо як зсув моделі.
3. Вивід моделі штучного інтелекту проти реального рішення: Моделі штучного інтелекту генерують неточний вивід, який не відповідає реальним рішенням зацікавлених сторін.
4. Предвження та справедливість: Моделі штучного інтелекту можуть розвивати предвження та проблеми справедливості. Наприклад, у доповіді TED Джанель Шейн вона описує рішення Amazon зупинити роботу над алгоритмом сортування резюме через дискримінацію за ознакою статі.

Як тільки моделі штучного інтелекту починають навчатися на контенті, створеному штучним інтелектом, ці проблеми можуть збільшитися далі. Як? Давайте обговоримо це детальніше.

Петлі зворотного зв’язку штучного інтелекту у добу контенту, створеного штучним інтелектом

У зв’язку з швидким впровадженням генеративного штучного інтелекту дослідники вивчили явище, відоме як колапс моделі. Вони визначають колапс моделі як:

“Дегенеративний процес, який впливає на покоління навчених генеративних моделей, де згенеровані дані врешті-решт забруднюють навчальний набір наступного покоління моделей; навчаючись на забруднених даних, вони потім спотворюють реальність.”

Колапс моделі складається з двох спеціальних випадків,

• Ранній колапс моделі відбувається, коли “модель починає втрачати інформацію про хвости розподілу,” тобто, крайні кінці розподілу навчальних даних.
• Пізній колапс моделі відбувається, коли “модель сплутує різні режими оригінальних розподілів і збігається до розподілу, який мало нагадує оригінальний, часто з дуже маленькою дисперсією.”

Причини колапсу моделі

Для того, щоб практики штучного інтелекту могли вирішити цю проблему, важливо зрозуміти причини колапсу моделі, які можна розділити на дві основні категорії:

1. Статистична похибка апроксимації: Це основна похибка, викликана кінечною кількістю вибірок, і вона зникає, коли кількість вибірок наближається до нескінченності.
2. Функціональна похибка апроксимації: Ця похибка виникає, коли моделі, такі як нейронні мережі, не можуть відтворити справжню функцію, яку потрібно вивчити з даних.

Приклад результатів моделі для кількох поколінь моделей, які постраждали від колапсу моделі. Джерело

Як петля зворотного зв’язку штучного інтелекту постраждає через контент, створений штучним інтелектом

Коли моделі штучного інтелекту навчаються на контенті, створеному штучним інтелектом, це має руйнівний вплив на петлю зворотного зв’язку штучного інтелекту та може викликати багато проблем для повторно навчених моделей штучного інтелекту, таких як:

• Колапс моделі: Як пояснювалося вище, колапс моделі є ймовірним, якщо петля зворотного зв’язку штучного інтелекту містить контент, створений штучним інтелектом.
• Катастрофічне забування: Типова проблема у безперервному навчанні полягає в тому, що модель забуває попередні вибірки при навчанні нової інформації. Це відомо як катастрофічне забування.
• Забруднення даних: Це означає введення маніпулятивних синтетичних даних у модель штучного інтелекту, щоб компрометувати її продуктивність, що призводить до генерації неточного виводу.

Як підприємства можуть створити потужну петлю зворотного зв’язку для своїх моделей штучного інтелекту?

Підприємства можуть виграти від використання петель зворотного зв’язку у своїх потоках штучного інтелекту. Виконайте три основні кроки нижче, щоб покращити продуктивність своїх моделей штучного інтелекту.

• Зворотний зв’язок від експертів у галузі: Експерти у галузі мають глибокі знання у своїй галузі та розуміння використання моделей штучного інтелекту. Вони можуть надати інформацію для збільшення узгодженості моделі з реальними умовами, що дає більшу можливість правильних результатів. Крім того, вони можуть краще керувати та управляти даними, створеними штучним інтелектом.
• Вибір відповідних метрик якості моделі: Вибір правильної метрики оцінки для правильної задачі та моніторинг моделі у виробництві на основі цих метрик може забезпечити якість моделі. Практики штучного інтелекту також використовують інструменти MLOps для автоматичної оцінки та моніторингу, щоб попередити всіх зацікавлених сторін, якщо продуктивність моделі починає погіршуватися у виробництві.
• Сувора кураторська обробка даних: Коли моделі виробництва повторно навчаються на нових даних, вони можуть забути попередню інформацію, тому важливо кураторські обробляти високоякісні дані, які добре узгоджуються з метою моделі. Ці дані можна використовувати для повторного навчання моделі в наступних поколіннях, разом із зворотним зв’язком користувачів, щоб забезпечити якість.

Дізнайтеся більше про досягнення штучного інтелекту на Unite.ai.