Дебати про ” Claud “Нерфінг” Не Про Клода. Про Той, Що Становиться, Коли Ваша Оперативна Робота Виконується На Рішеннях Інших.

На початку цього року Стелла Лоренцо, старший директор з питань штучного інтелекту в AMD, опублікувала телеметрію майже 7 000 сесій коду Клода, документуючи те, що інженери відчували, але мали труднощі з артикуляцією: між січнем і березнем видима глибина розуміння зменшилась на 73%, кількість викликів API на завдання збільшилась у вісімдесят разів, а модель читала значно менше файлів, перш ніж робити зміни. Цифри швидко поширились. Інтерпретація поширилась ще швидше.

Anthropic заперечує формулювання. Компанія стверджує, що ці зміни відображають свідомі рішення щодо продукту, включаючи новий адаптивний механізм мислення та зміну на середній зусилля як замовчувану. Незалежні аналітики також заперечили проти частини методології. Дебати тривають, і розсудливі люди не погоджуються щодо того, що насправді відбулось.

Але ось те, що має значення, якщо ви керуєте бізнесом на основі цих систем: незалежно від того, чи була це деградація або свідоме налаштування, це не змінює того, що підприємці пережили. Вони не могли передбачити це. Вони не могли контролювати це. І деякі з них відчули це у виробництві, перш ніж зрозуміли, що відбувається. Це справжня історія, і вона нічого не має спільного з Anthropic конкретно.

Це проблема залежності, а не проблема моделі.

То, що ми описуємо, має назву: хиткість моделі. Це стан, у якому критично важливі операції тісно пов’язані з поведінкою однієї моделі, так що будь-яка зміна на рівні моделі, незалежно від того, чи це рішення про налаштування, нова замовчувана дія, зміна маршрутизації через потужність або тихе застарівання, впливає безпосередньо на бізнес, без буфера та без попередження.

Це не новий шаблон. GPT-4 пройшов через це у 2023 році. Клод 3.5 пройшов через це у 2024 році. Клод Опус зараз переживає це. Це відбудеться знову з наступною моделлю, і з наступною після неї. Не тому, що будь-який постачальник діє у злий відріз, а тому, що оптимізація моделі для витрат, затримки та масштабу на глобальному рівні є саме тим, що постачальники мають робити. Їхні стимули та стимули підприємства, яке здійснює операції у виробництві на основі них, пов’язані. Вони не ідентичні. Вони ніколи не будуть.

Ми розпочали Qurrent у 2023 році та маємо історичні знання, щоб знати, як відбуваються цикли програмного забезпечення для підприємств: компанія інвестує в штучний інтелект. Демонстрація працює. Пілотний проєкт працює. Потім він стає живим, щось змінюється на рівні моделі, і раптом клієнт володіє проблемою. Вони ті, хто підтримує робочі процеси, переслідує регресії, поглинає розрив. Це ніколи не мало сенсу для мене як сталий модель для операцій підприємства.

Версія підприємства цієї історії операційна, а не технічна.

Для розробників поточна ситуація незручна. Бюджети токенів спалюються швидше. Сесії кодування зупиняються. Бенчмарки розчаровують. Це справжня проблема, але це проблема, яку можна відновити.

Для підприємств, які здійснюють фінансові операції, робочі процеси з дотриманням законодавства, обліку та складних процесів у відділі, ставки різні. Ці робочі процеси не можуть поглинути поганий тиждень. Помилки накопичуються. Обсяг накопичується. Угода про рівень обслуговування є зобов’язанням перед справжніми клієнтами, а не внутрішніми перевагами. Момент, коли модель починає працювати гірше на високих ставках процесу, шкода накопичується, незалежно від того, чи хтось це помітив чи ні.

Що робить це складніше, то те, що більшість компаній, які намагались вийти вперед за допомогою штучного інтелекту, побудувавши внутрішніх агентів на одній моделі, зараз виявляють, наскільки неповною була ця основа. Перший агент був легкою частиною. Що не було побудовано, то інфраструктура: рамки оцінки, які виявляють поведінкову дрейф перед тим, як вона досягає клієнта, логіка відмови, яка перенаправляє роботу автоматично, коли модель починає працювати гірше, та постійне управління, яке може слідувати за ландшафтом, який змінюється кожен квартал. Ці три пробіли не залишаються керованими. Вони ростуть у постійну інженерну функцію, яку ніхто не планував, штатну люди, чиє завдання полягає в тому, щоб слідкувати за рішеннями, прийнятими постачальниками, на яких вони не мають впливу.

Як виглядає стійкість у виробництві.

У Qurrent ми побудували цифрову робочу силу, щоб бути агностичною до моделі з самого початку, не як позицію маркетингу, а як архітектурну вимогу. Кожне завдання маршрутизується до найкращої моделі для цього завдання, оцінюється безперервно. Коли виходить краще модель, клієнти отримують її автоматично. Коли поточна модель регресує на певному робочому процесі, шар оркестрації перенаправляє цю роботу за секунди, без втручання людини та без того, щоб хтось прокинувся до нитки Slack о 2 годині ночі.

Під цим автоматичні симуляції працюють проти робочих процесів у виробництві за годину, вимірюючи, чи відповідають виходи очікуваній поведінці. Дрейф виявляється на рівні інфраструктури, перш ніж команда операцій відчує це, і ще раніше, ніж клієнт це відчує. І кожне рішення, прийняте кожним цифровим працівником, реєструється та оглядається, повністю скляна коробка, оскільки ви не можете керувати тим, чого не бачите.

Це не преміум-функції. Це ціна входу для виконання штучного інтелекту у виробництві на рівні підприємства. Більшість компаній дізнаються про це в середині новинного циклу, що є дорогим способом дізнатися.

Питання, яке варто запитати цього кварталу.

Якщо модель, на яку залежать ваші операції, мала поганий тиждень наступного кварталу, скільки ваших робочих процесів відчули б це? Як ви дізналися б про це? І як швидко ви могли б перенаправити роботу навколо цього?

Якщо відповідь на друге питання полягає в тому, що “ми дізналися б про це від клієнта”, операція не готова до виробництва. Це пілотний проєкт, який працює у масштабі, і ця відмінність має значення більше, ніж більшість лідерів розуміють, поки це не станеться.

Поточна дискусія, у певному сенсі, корисна. Кожен фінансовий директор та операційний директор, який спостерігає за цим, просто отримав безкоштовний попередній перегляд того, як виглядає хиткість моделі під реальною операційною навантаженням, не платячи за це самому. Правильна відповідь полягає не в тому, щоб змінити модель. Це побудувати операції, які не залежать від однієї моделі.

Технологія буде продовжувати змінюватися. Це єдина певність на цьому ринку. Підприємства, які вийдуть з цього десятиліття найсильнішими, не будуть тими, хто вибрав правильну модель. Вони будуть тими, чиї операції ніколи не мали про це турбуватися.