Петля зворотного зв’язку штучного інтелекту: підтримання якості моделі виробництва у добу штучно створеного контенту

Моделі штучного інтелекту, розгорнуті у виробництві, потребують потужного та безперервного механізму оцінки продуктивності. Саме тут застосовується петля зворотного зв’язку штучного інтелекту, щоб забезпечити стабільну продуктивність моделі.

Слово Елона Маска:

«Я вважаю, що дуже важливо мати петлю зворотного зв’язку, де ви постійно думаєте про те, що ви зробили, і як ви можете зробити це краще.»

Для всіх моделей штучного інтелекту стандартною процедурою є розгортання моделі, а потім періодичне доопрацювання її на основі останніх реальних даних, щоб забезпечити, що її продуктивність не погіршується. Але з появою генерації штучного інтелекту навчання моделей штучного інтелекту стало аномальним та схильним до помилок. Це відбувається тому, що онлайн-джерела даних (інтернет) поступово стають сумішшю людського та штучного контенту.

Наприклад, багато блогів сьогодні містять текст, створений штучним інтелектом, за допомогою великих мовних моделей, таких як ChatGPT або GPT-4. Багато джерел даних містять зображення, створені штучним інтелектом, за допомогою DALL-E2 або Midjourney. Крім того, дослідники штучного інтелекту використовують синтетичні дані, створені генерацією штучного інтелекту, у своїх потоках навчання моделей.

Отже, нам потрібний потужний механізм для забезпечення якості моделей штучного інтелекту. Саме тут виникає потреба у петлях зворотного зв’язку штучного інтелекту.

Що таке петля зворотного зв’язку штучного інтелекту?

Петля зворотного зв’язку штучного інтелекту – це ітеративний процес, у якому рішення та вихідні дані моделі штучного інтелекту постійно збираються та використовуються для поліпшення або доопрацювання самої моделі, що призводить до безперервного навчання, розвитку та покращення моделі. У цьому процесі дані навчання моделі, параметри моделі та алгоритми оновлюються та покращуються на основі входних даних, згенерованих всередині системи.

Основно існують два види петель зворотного зв’язку штучного інтелекту:

1. Позитивні петлі зворотного зв’язку штучного інтелекту: Коли моделі штучного інтелекту генерують точні результати, які відповідають очікуванням та перевагам користувачів, користувачі надають позитивний зворотний зв’язок через петлю зворотного зв’язку, який у свою чергу посилює точність майбутніх результатів. Таку петлю зворотного зв’язку називають позитивною.
2. Негативні петлі зворотного зв’язку штучного інтелекту: Коли моделі штучного інтелекту генерують неточні результати, користувачі повідомляють про помилки через петлю зворотного зв’язку, яка у свою чергу намагається покращити стабільність системи, виправляючи помилки. Таку петлю зворотного зв’язку називають негативною.

Обидва види петель зворотного зв’язку штучного інтелекту дозволяють безперервно розвивати та покращувати продуктивність моделей штучного інтелекту з часом. І вони не використовуються або застосовуються в ізоляції. Разом вони допомагають моделям штучного інтелекту, розгорнутим у виробництві, зрозуміти, що є правильним чи неправильним.

Стадії петель зворотного зв’язку штучного інтелекту

Високорівнева ілюстрація механізму зворотного зв’язку в моделях штучного інтелекту. Джерело

Знання того, як працюють петлі зворотного зв’язку штучного інтелекту, є важливим для розблокування повного потенціалу розвитку штучного інтелекту. Давайте розглянемо різні стадії петель зворотного зв’язку штучного інтелекту нижче.

1. Збір зворотного зв’язку: Збір відповідних результатів моделі для оцінки. Зазвичай користувачі надають свій зворотний зв’язок щодо результату моделі, який потім використовується для доопрацювання. Або це може бути зовнішні дані з вебу, відібрані для тонкого налаштування продуктивності системи.
2. Доопрацювання моделі: Використовуючи зібрану інформацію, систему штучного інтелекту доопрацюють, щоб зробити кращі передбачення, надати відповіді або виконати певні дії шляхом уточнення параметрів моделі або ваг.
3. Інтеграція зворотного зв’язку та тестування: Після доопрацювання модель тестується та оцінюється знову. На цій стадії зворотний зв’язок від експертів також включений для виділення проблем за межами даних.
4. Розгортання: Модель розгортається знову після верифікації змін. На цій стадії модель повинна показувати кращу продуктивність на нових реальних даних, що призводить до покращення досвіду користувача.
5. Моніторинг: Модель постійно моніториться за допомогою метрик для виявлення потенційних погіршень, таких як дрейф. І цикл зворотного зв’язку продовжується.

Проблеми у виробничих даних та виходах моделей штучного інтелекту

Створення потужних систем штучного інтелекту вимагає глибокого розуміння потенційних проблем у виробничих даних (реальних даних) та результатах моделей. Давайте розглянемо кілька проблем, які стають перепоною для забезпечення точності та надійності систем штучного інтелекту:

1. Дрейф даних: Відбувається, коли модель починає отримувати реальні дані з іншого розподілу порівняно з розподілом навчальних даних моделі.
2. Дрейф моделі: Передбачувальні можливості та ефективність моделі знижуються з часом через зміну реальних середовищ. Це відомо як дрейф моделі.
3. Вихід моделі штучного інтелекту проти реального рішення: Моделі штучного інтелекту генерують неточні результати, які не відповідають реальним рішенням зацікавлених сторін.
4. Предвження та справедливість: Моделі штучного інтелекту можуть розвивати предвження та проблеми справедливості. Наприклад, у доповіді Джанель Шейн вона описує рішення Amazon припинити роботу над алгоритмом сортування резюме через дискримінацію за ознакою статі.

Як тільки моделі штучного інтелекту починають навчатися на генерації штучного інтелекту, ці проблеми можуть збільшитися ще більше. Як? Давайте розглянемо це у більшій кількості деталей.

Петлі зворотного зв’язку штучного інтелекту у добу генерації штучного інтелекту

У зв’язку з швидким прийняттям генерації штучного інтелекту дослідники вивчили явище, відоме як колапс моделі. Вони визначають колапс моделі як:

«Дегенеративний процес, що впливає на покоління навчених генераційних моделей, де згенеровані дані закінчують забруднювати навчальний набір наступного покоління моделей; навчаючись на забруднених даних, вони потім спотворюють реальність.»

Колапс моделі складається з двох особливих випадків,

• Ранній колапс моделі відбувається, коли «модель починає втрачати інформацію про хвости розподілу», тобто екстремальні кінці розподілу навчальних даних.
• Пізній колапс моделі відбувається, коли «модель переплітає різні режими оригінальних розподілів і сходиться до розподілу, який мало нагадує оригінальний, часто з дуже маленькою дисперсією».

Причини колапсу моделі

Для того, щоб практики штучного інтелекту могли вирішити цю проблему, важливо зрозуміти причини колапсу моделі, згруповані у дві основні категорії:

1. Статистична похибка апроксимації: Це основна похибка, викликана кінечною кількістю вибірок, і вона зникає, коли кількість вибірок наближається до нескінченності.
2. Функціональна похибка апроксимації: Ця похибка виникає, коли моделі, такі як нейронні мережі, не можуть захопити справжню функцію, яку потрібно вивчити з даних.

Приклад результатів моделі для кількох поколінь моделей, які постраждали від колапсу моделі. Джерело

Як петля зворотного зв’язку штучного інтелекту постраждає від генерації штучного інтелекту

Коли моделі штучного інтелекту навчаються на генерації штучного інтелекту, це має руйнівний вплив на петлі зворотного зв’язку штучного інтелекту та може викликати багато проблем для доопрацьованих моделей штучного інтелекту, таких як:

• Колапс моделі: Як пояснювалося вище, колапс моделі є ймовірною можливістю, якщо петля зворотного зв’язку штучного інтелекту містить генерацію штучного інтелекту.
• Катастрофічне забуття: Типова проблема у безперервному навчанні полягає в тому, що модель забуває попередні вибірки при навчанні нової інформації. Це відомо як катастрофічне забуття.
• Забруднення даних: Це означає введення маніпулятивних синтетичних даних у модель штучного інтелекту, щоб компрометувати її продуктивність, що призводить до генерації неточних результатів.

Як підприємства можуть створити потужну петлю зворотного зв’язку для своїх моделей штучного інтелекту?

Підприємства можуть виграти від використання петель зворотного зв’язку у своїх потоках штучного інтелекту. Виконайте три основні кроки нижче, щоб покращити продуктивність своїх моделей штучного інтелекту.

• Зворотний зв’язок від експертів: Експерти мають глибокі знання у своїй галузі та розуміють використання моделей штучного інтелекту. Вони можуть надати інформацію для збільшення узгодженості моделі з реальними умовами, надаючи більшу можливість правильних результатів. Крім того, вони можуть краще керувати та управляти генерацією штучного інтелекту.
• Вибір відповідних метрик якості моделі: Вибір правильної метрики оцінки для правильного завдання та моніторинг моделі у виробництві на основі цих метрик можуть забезпечити якість моделі. Практики штучного інтелекту також використовують інструменти MLOps для автоматичної оцінки та моніторингу, щоб попередити всіх зацікавлених сторін, якщо продуктивність моделі починає погіршуватися у виробництві.
• Сувора кураторська обробка даних: Коли моделі виробництва доопрацюються на нових даних, вони можуть забути попередню інформацію, тому важливо кураторські обробляти високоякісні дані, які добре узгоджуються з метою моделі. Ці дані можна використовувати для доопрацювання моделі у наступних поколіннях, разом із зворотним зв’язком користувачів, щоб забезпечити якість.

Дані можна використовувати для доопрацювання моделі в наступних поколіннях, разом із зворотним зв’язком користувачів, щоб забезпечити якість. Чтобы узнать больше об достижениях в области ИИ, перейдите на Unite.ai.