Штучний інтелект ще не готовий до реальної роботи: Чому моделі провалюються у складних завданнях

Інвестори у бульбашці ШІ благать білооких професіоналів передати їм найскладніші проблеми та обіцяють працівникам, що вони повернуть собі вечори, якщо лише трохи більше віддадуть свої дані. Складний аналіз, рішення, що вимагають судження, і робочі процеси, над якими працювали роками, поглинаються моделлю, нібито звільняючи людей для чогось кращого. Це домінуючий наратив у корпоративній Америці зараз, і це пастка. 

Міф про здатність: Чому моделі провалюються у складних завданнях

Нове дослідження від UC Berkeley протестувало провідних AI‑агентів у реальних професійних завданнях у 55 галузях, від охорони здоров’я до фінансів і права. Загальна успішність склала менше 25 відсотків. Потім дослідники виділили найскладніше завдання в кожній сфері — тип роботи, що розрізняє старшого професіонала від молодшого — і кожна модель зазнала провалу. Оцінки були не лише низькими. Вони дорівнювали нулю. 

Ви могли б подумати, що такий результат сам по собі змінив би наратив, але це не так. У різних галузях інвестори в ШІ мають надто багато на кону, переконуючи професіоналів, що більшість сучасних моделей ШІ просунутіші, ніж вони є. Але найцікавіше питання не в тому, чи може ШІ виконувати найскладніші частини роботи сьогодні, бо ми і всі, хто продає ШІ, вже знаємо відповідь на це. 

Отже, це породжує інше питання. Що трапляється з судженням молодого професіонала, коли він погоджується на цей обмін даними, ще до того, як його власне мислення повністю сформувалося? 

Висновки з Міннесоти: Як ШІ вирівнює навички до середини

Нове емпіричне дослідження з Юридичної школи Університету Міннесоти пропонує реальну відповідь, використовуючи право як тестовий випадок. Дослідники провели близько сотні студентів старших курсів юридичного факультету через послідовність реалістичних завдань: синтезування права з первинних джерел, відповіді на питання без підручника для перевірки засвоєного, застосування цього права до фактичного сценарію, а потім редагування власної роботи. Одна група мала доступ до ШІ лише на самому початку і в самому кінці етапів. Інша не користувалася ШІ до кінця.

Студенти, які використовували ШІ для створення першого чернетки, створювали більш якісну роботу і робили це швидше, що не є надзвичайно вражаючим. Однак вражає те, що сталося далі. Дослідники очікували, що раннє використання ШІ залишить прогалину у розумінні, яка проявиться пізніше, коли інструмент буде вилучено. Але цього не сталося. Студенти, які використовували ШІ для синтезу права, зрозуміли його краще, ніж ті, хто працював без нього, після холодного тестування. Незалежне мислення не розчепилося. Воно залишилось, а в деяких випадках навіть покращилось.

Поворот стався на останньому етапі, коли кожен студент мав доступ до ШІ для редагування своєї роботи. Студенти, які починали з слабшого меморандуму, використали цей доступ, щоб справді його покращити. Студенти, які починали з сильнішого меморандуму, погіршилися. Залишившись самі з потужним інструментом і без додаткової структури щодо його використання, навички не зростали, а вирівнювалися до середини.

Ці два дослідження разом дають сувору правду: ШІ не є заміною професійного судження, і цифри з Berkeley мають назавжди завершити цю дискусію. Але ШІ також не є якоюсь корозійною силою, що руйнує мислення при контакті. Його вплив повністю залежить від того, на якому етапі процесу він з’являється.

Послідовність замість заміни: Збереження судження в центрі

Це стосується не лише юридичної практики. Кожна професія, що базується на знаннях, зараз проводить свою версію цього експерименту: лікар вирішує, чи дозволити моделі сформувати диференціальну діагностику, аналітик вирішує, чи дозволити моделі створити перший варіант моделі, і асоційований вирішує, чи дозволити моделі структурувати аргумент, перш ніж вони самі його опрацювали. Результати з Міннесоти підказують, що відповідь не є універсальним «так» чи «ні» щодо всіх форм ШІ. Це питання послідовності. ШІ належить до початкових етапів рутинної роботи та частин завдання, що створюють тертя, але не до судження. Воно не повинно перебувати в центрі завдання, за яке клієнт фактично платить, і наразі воно не може туди потрапити, навіть якщо спробує.

Компанії, які все ще обіцяють інше, продають версію ШІ, яку дані стверджують, що не існує. Ті, хто будуватиме свої продукти та клієнтські відносини, орієнтуючись на межу, яку дослідження фактично визначає, будуть тими, кому професіонали довірятимуть через п’ять років. Усі інші витратять цей час, пояснюючи дуже дорогий непорозуміння.