Якби ваш працівник діяв як ШІ, ви вже б його звільнили

Уявіть, що ви щойно найняли нового працівника, і більшість днів він ефективний, обізнаний, красномовний та впевнений. Він — усе, на що ви сподівалися, демонструючи багато якостей відмінного працівника.

Тепер уявіть, що час від часу, коли він стикається з питанням, на яке не знає відповіді, він просто щось вигадує. Це викладено вправно й переконливо, і спочатку ви сприймаєте це за чисту монету. Але коли це впливає на бізнес, ви повертаєтеся до цього працівника, ставите під сумнів його відповідь — і він не може пояснити свій процес мислення чи показати хід своїх міркувань. Ви можете навіть пояснити йому, що він помиляється, а він відповість наполегливим запереченням і ще більшою кількістю вигадок, щоб підкріпити свої слова. Після другого чи третього разу такої ситуації, чи, ймовірно, ви б його звільнили, або принаймні дали попередження? Відповідь більшості роботодавців майже беззаперечно — так.

Мене вражає, що компанії тепер довіряють критичні робочі процеси та прийняття рішень працівнику, який, як відомо, проявляє саме таку поведінку. Єдина причина, чому це залишається без належного контролю, полягає в тому, що цей «працівник» — це програмне забезпечення, а не людина.

Чому ШІ не помиляється так, як люди

Серед компаній, які впроваджують ШІ, поширене неправильне припущення, що якщо технологія має рівень помилок, це приблизно та сама проблема, що і людська помилка, і нею можна керувати так само. Однак перевірки, ревізії та ескалація не завжди працюють з великими мовними моделями (LLM). Їх створюють, щоб звучати як люди, але якщо подивитися, що стоїть під капотом, ви побачите, що вони зовсім не працюють як ми.

Якщо зірковий працівник робить помилку, ми припускаємо, що помилка була ненавмисною — він робив усе можливе і випадково помилився. Таке трапляється. Якщо ж він навмисно вигадує відповідь, щоб приховати незнання чогось, і робить це повторно, ми розглядаємо це як проступок. Менеджери знають, на чому зосередити нагляд, бо складність і межі помилок збігаються. Вони можуть попросити працівника пояснити свою логіку і поставити питання щодо неї. Працівник зазвичай розуміє, коли виходить за межі своїх знань, і каже про це. Після однієї помилки він навчається, тому та ж помилка не повторюється у безперервному циклі.

Системи ШІ перевертають усі ці припущення. Їхня типова реакція на провал — вигадка, сформульована вправно та впевнено. Вони генерують правдоподібну відповідь, яка просто не відповідає дійсності, що є саме такою поведінкою, яка завершила б кар’єру людини. LLM створені для того, щоб генерувати статистично найімовірніше продовження тексту, і коли вони не знають відповіді, часто виробляють щось, що звучить так, ніби це може бути правильно. Дослідники OpenAI визнали, що певний рівень фактичних помилок є статистичною неминучістю роботи цих моделей, і що навчання винагороджує впевнену здогадку замість щирого визнання невизначеності.

Де нейросимволічні підходи входять у гру

Саме це нейросимволічні підходи призначені виправити. Вони поєднують нейронні мережі, які чудово розуміють неупорядковану мову та дані реального світу, з детерміністичним міркуванням, заснованим на правилах. Це означає, що висновки системи випливають з явної логіки, яку можна перевірити, а не з процесу, внутрішню роботу якого ніхто не може побачити.

Без цього додаткового рівня логіки, який забезпечує нейросимволічна технологія, помилки ШІ не корелюють зі складністю роботи так, як у людини — вони непередбачувані. Вони можуть з’являтися під час тривіальних завдань, тоді як складні проходять без проблем, що ускладнює визначення, на чому краще зосередити людський нагляд. Їхні пояснення, коли вони надаються, створюються постфактум, а не дають справжній звіт про те, як був досягнутий висновок. Та сама помилка може повторюватися без кінця, бо в системі немає нікого, хто міг би засвоїти урок із неї або нести за неї відповідальність.

Довіра без розуміння

Дослідники задокументували, що коли люди ще не знайомі із системою, вони схильні відмовитися від неї після однієї помітної помилки; але коли система знайома, вони схиляються до іншої крайності — приймаючи її результати просто тому, що звикли до них, а не тому, що ці результати стали надійнішими. Рідко спостерігається правильний рівень довіри, бо це залежить від того, чи розуміють люди, коли ШІ‑система, ймовірно, помилиться, і чи вміють це розпізнати.

Це не означає, що ШІ не слід довіряти важливу роботу. Це означає, що ми готові надати йому такий рівень довіри, якого не надали б людині, частково тому, що немає очевидної особи, яку можна притягнути до відповідальності у разі провалу.

Якщо ШІ має виконувати роботу, що потребує суджень, так само, як цінний колега, йому потрібно відповідати тим самим базовим стандартам. Відповіді мають бути перевірними, з видимою аргументацією, і ШІ має приймати той факт, що іноді найкраще, що він може зробити, — сказати «Я не знаю».