За межами бенчмарків: чому оцінка штучного інтелекту потребує реальної перевірки

Якщо ви слідкуєте за останніми подіями у сфері штучного інтелекту, ви, ймовірно, бачили заголовки про досягнення рекордних результатів моделей штучного інтелекту у бенчмарках. Від задач розпізнавання зображень ImageNet до досягнення суперлюдських результатів у перекладах та діагностиці медичних зображень, бенчмарки довгий час були золотим стандартом для вимірювання продуктивності штучного інтелекту. Однак, як би вражаючими не були ці цифри, вони не завжди відображають складність реальних застосунків. Модель, яка працює бездоганно на бенчмарках, все ж може виявитися недостатньо ефективною, коли її застосовують у реальних умовах. У цій статті ми розглянемо, чому традиційні бенчмарки не можуть повністю відобразити справжню вартість штучного інтелекту, та дослідимо альтернативні методи оцінки, які краще відображають динамічні, етичні та практичні виклики застосування штучного інтелекту у реальному світі.

Притягальність бенчмарків

Тривалий час бенчмарки були основою оцінки штучного інтелекту. Вони пропонують статичні набори даних, розроблені для вимірювання конкретних завдань, таких як розпізнавання об’єктів або машинний переклад. Наприклад, ImageNet – це широко використовуваний бенчмарк для тестування класифікації об’єктів, тоді як BLEU та ROUGE оцінюють якість машинно згенерованого тексту порівнянням його з людськими текстами- посиланнями. Ці стандартизовані тести дозволяють дослідникам порівнювати прогрес та створювати здорову конкуренцію у сфері. Бенчмарки відіграли ключову роль у розвитку штучного інтелекту. Наприклад, змагання ImageNet відіграли важливу роль у революції глибокого навчання, демонструючи значні покращення точності.

Однак бенчмарки часто спрощують реальність. Оскільки моделі штучного інтелекту зазвичай тренуються для покращення однієї добре визначеної задачі у фіксованих умовах, це може привести до надмірної оптимізації. Для досягнення високих результатів моделі можуть покладатися на закономірності набору даних, які не зберігаються поза бенчмарком. Відомий приклад – це модель бачення, тренована для розрізнення вовків та хаскіс. Замість того, щоб вивчити розрізнювальні ознаки тварин, модель покладалася на присутність снігових фонів, які часто асоціюються з вовками у тренувальних даних. В результаті, коли моделі було представлено хаскіса у снігу, вона впевнено помилково ідентифікувала його як вовка. Це демонструє, як надмірна адаптація до бенчмарка може привести до дефектної моделі. Як говорить закон Ґудгарта, “Коли міра стає цією, вона перестає бути доброю мірою”. Отже, коли результати бенчмарка стають цією, моделі штучного інтелекту демонструють закон Ґудгарта: вони демонструють вражаючі результати на дошці лідерів, але борються з реальними викликами.

Очікування людини проти результатів метрик

Одна з найбільших обмежень бенчмарків полягає в тому, що вони часто не відображають того, що справді важливо для людей. Розгляньмо машинний переклад. Модель може добре показати результати на метриці BLEU, яка вимірює перекриття між машинно згенерованим перекладом та текстом-посилання. Хоча метрика може оцінити, наскільки переклад правдоподібний на рівні слів, вона не враховує плавність або значення. Переклад може показати низький результат, попри те, що він більш природний або навіть точний, просто тому, що він використовував іншу формулювання, ніж текст-посилання. Людські користувачі, однак, турбуються про значення та плавність перекладів, а не лише точну відповідність тексту-посилання.

Виклики статичних бенчмарків у динамічних контекстах

• Адаптація до змінних середовищ

Статичні бенчмарки оцінюють продуктивність штучного інтелекту у контрольованих умовах, але реальні сценарії непередбачувані. Наприклад, розмовний штучний інтелект може добре показати результати на сценаріях з одним запитом у бенчмарках, але боротися у багатоступеневих діалогах, які включають повторні запитання, сленг або друкарські помилки. Аналогічно, самосвітні автомобілі часто добре працюють у тестах на виявлення об’єктів у ідеальних умовах, але можуть не впоратися з незвичайними обставинами, такими як погана видимість, несприятлива погода чи несподівані перешкоди.

• Етичні та соціальні розгляди

Традиційні бенчмарки часто не оцінюють етичну продуктивність штучного інтелекту. Модель розпізнавання зображень може досягти високої точності, але неправильно ідентифікувати осіб з певних етнічних груп через упереджене тренувальне дані. Аналогічно, мовні моделі можуть добре показати результати на граматиці та плавності, але генерувати упереджений або шкідливий контент.

• Неможливість захоплення нюансів

Бенчмарки добре працюють для перевірки поверхневих навичок, таких як генерація граматично правильного тексту або реалістичного зображення. Однак вони часто борються з глибшими якостями, такими як здоровий глузд або контекстуальна відповідність. Наприклад, модель може добре показати результати на бенчмарках, генеруючи ідеальне речення, але якщо це речення фактично неправильне, воно безкорисне. Штучний інтелект повинен розуміти, коли та як щось сказати, а не лише що сказати.

• Контекстуальна адаптація

Моделі штучного інтелекту часто борються з адаптацією до нових контекстів, особливо коли вони стикаються з даними поза своїм тренувальним набором. Бенчмарки зазвичай розроблені з даними, подібними до тих, на яких була тренована модель. Це означає, що вони не повністю перевіряють, як добре модель може впоратися з новим або несподіваним входом – критичним вимогам у реальних застосунках.

• Розумування та висновок

Хоча бенчмарки можуть вимірювати розпізнавання закономірностей або генерацію контенту, вони часто не можуть повністю оцінити вищу міру розумування та висновку. Штучний інтелект повинен робити більше, ніж просто імітувати закономірності. Він повинен розуміти наслідки, робити логічні зв’язки та виводити нову інформацію.

За межами бенчмарків: новий підхід до оцінки штучного інтелекту

Для подолання розриву між продуктивністю бенчмарків та реальним успіхом з’являється новий підхід до оцінки штучного інтелекту. Нижче наведено деякі стратегії, які набирають популярність:

• Зворотній зв’язок людини у процесі: Замість того, щоб покладатися лише на автоматизовані метрики, залучайте людей-оцінювачів до процесу. Це може означати, що експерти або кінцеві користувачі оцінюватимуть вихідні дані штучного інтелекту за якістю, корисністю та відповідністю. Люди можуть краще оцінити аспекти, такі як тон, актуальність та етичні розгляди, порівняно з бенчмарками.
• Тестування у реальних умовах: Системи штучного інтелекту повинні бути протестовані у умовах, максимально близьких до реальних. Наприклад, самосвітні автомобілі могли б проходити випробування на симульованих дорогах з непередбачуваними сценаріями руху, тоді як чат-боти могли б бути розгорнуті у реальних середовищах для обробки різноманітних розмов. Це забезпечує, що моделі оцінюються у тих умовах, з якими вони фактично зустрінуться.
• Тестування на стійкість та стрес: Дуже важливо тестувати системи штучного інтелекту у незвичайних або ворожих умовах. Це могло б включати тестування моделі розпізнавання зображень з використанням спотворених або шумових зображень або оцінку мовної моделі з довгими, складними діалогами. Поняття, як штучний інтелект поводиться під тиском, дозволяє краще підготувати його до реальних викликів.
• Багатовимірна оцінка: Замість того, щоб покладатися на один результат бенчмарка, оцінюйте штучний інтелект по ряду метрик, включаючи точність, справедливість, стійкість та етичні розгляди. Цей комплексний підхід забезпечує більш повне розуміння сильних та слабких сторін моделі штучного інтелекту.
• Домен-специфічні тести: Оцінка повинна бути адаптована до конкретного домену, у якому штучний інтелект буде розгорнуто. Медичний штучний інтелект, наприклад, повинен бути протестований на клінічних випадках, розроблених медичними фахівцями, тоді як штучний інтелект для фінансових ринків повинен бути оцінений за його стабільністю під час економічних коливань.

Висновок

Хоча бенчмарки сприяли розвитку досліджень штучного інтелекту, вони не можуть повністю відобразити реальну продуктивність. Коли штучний інтелект переходить з лабораторій до практичних застосунків, оцінка штучного інтелекту повинна бути людьми-орієнтованою та комплексною. Тестування у реальних умовах, залучення зворотного зв’язку людей та пріоритезація справедливості та стійкості є критичними. Метою не є лідерство у таблицях результатів, а розробка штучного інтелекту, який є надійним, адаптивним та цінним у динамічному, складному світі.