Ні, вони не обмежували Клода – це було ще гірше

Гарна, давайте поговоримо про те, що відбувається з Клодом, тому що якщо ви використовували його протягом останнього місяця, ви, ймовірно, помітили, що щось було не так.

За останні шість тижнів користувачі Клода втрачали розум. Починаючи з початку серпня, появилися скарги на Reddit, X та форумах розробників. Проблеми були всюди:

• Код, який раніше працював ідеально, раптом став пошкодженим
• Клод стверджував, що зробив зміни у файлах, хоча насправді нічого не змінив
• В англійських відповідях з’явилися випадкові тайські чи китайські символи
• Інструкції完全но ігнорувалися
• Одна й та сама підказка давала абсолютно різні за якістю відповіді
• Користувачі Клод Код сказали, що це відчувалося як “лоботомія” порівняно з попереднім станом

Скарги стали такою великою, що до кінця серпня люди були переконані, що Антропік потай обмежував Клода, щоб заощадити гроші. Теорії змови були всюди – можливо, вони зменшували якість під час пікових годин, можливо, вони тихо замінили його на дешевшу модель, можливо, це було навмисне погіршення, щоб керувати витратами на сервери.

Користувачі платили за Клод Про і отримували те, що відчувалося як Клод Лайт. Розробники, які побудували робочі процеси навколо Клода, раптом бачили, як їхня продуктивність падає. З іншого боку, деякі користувачі не відчували жодних проблем, що робило все ще більш плутаним.

Антропік нарешті визнає: так, у нас були проблеми

Після тижнів скарг користувачів і зростаючої фрустрації, Антропік опублікував великий технічний пост-мортом, який по суті говорить: “Ви були праві. Клод був пошкоджений. Ось що сталося.”

І відповідь цікава.

Виявилося, що це не одна проблема. Це були три повністю окремі інфраструктурні помилки, які одночасно створили ідеальний шторм погіршення штучного інтелекту. Вони не обмежували. Вони не скорочували витрати. У них просто відбулося три різні речі, які одночасно вийшли з ладу і зайняли шість тижнів, щоб повністю зрозуміти і виправити.

Давайте розберемся, що саме пішло не так, тому що це насправді корисний погляд на те, як ці системи штучного інтелекту можуть вийти з ладу способами, яких ніхто не очікує.

Три помилки: хронологія хаосу

Джерело: Антропік

Помилка #1: проблема з неправильним сервером

Це майже смішно, якщо б ви не були тим, хто переживав це. Клод Сонет 4 був розроблений для обробки 200 000 контекстів токенів. Але починаючи з 5 серпня, деякі запити були направлені на сервери, сконфігуровані для 1 мільйона контекстів токенів.

Спочатку тільки 0,8% запитів були порушені. Нієї великої проблеми немає, правда? Ні.

29 серпня оновлення балансувальника навантаження перетворило цю незначну проблему на велику проблему. Раптом, на піку, 16% запитів Сонет 4 були направлені на неправильні сервери. І маршрутизація була “ліпкою”. Як тільки ви були неправильно маршрутизовані, ви продовжували бути неправильно маршрутизованими.

Вплив:

• Близько 30% користувачів Клод Код, які були активні протягом цього періоду, мали хоча б один запит, який був неправильно маршрутизований
• Час відповіді впав для постраждалих користувачів
• Той самий користувач повторно відчував проблему, тоді як інші не мали жодних проблем

Помилка #2: випадковий генератор символів

25 серпня Антропік розгорнув неправильну конфігурацію на своїх серверах TPU. Результатом стало те, що Клод почав випадково вставляти тайські та китайські символи в англійські відповіді.

Представіть собі, що ви просите Клода відладити ваш код на Python і отримуєте це:

def calculate_total(items)

    total = 0

    for item in items

        總計 += item.price  # <- Що?

    return ผลรวม

Це вплинуло:

• Opus 4.1 і Opus 4: 25-28 серпня
• Сонет 4: 25 серпня – 2 вересня

Технічна причина полягала в помилці генерації токенів, яка призначала високу ймовірність символам, які не мали жодного права бути там. Це буквально зруйнувало фундаментальний механізм того, як Клод вибирає наступне слово для вимови.

Помилка #3: невидима помилка компілятора

Це страшно з точки зору інженерії. Була латентна помилка в компіляторі XLA від Google (GOOGL ), яка довго лежала в сплячці. Коли Антропік розгорнув код для покращення вибору токенів 25 серпня, вони випадково спровокували її.

То, що зробила ця помилка, було справді дивним – вона змусила Клода ненавмисно виключити найбільш імовірний токен під час генерації тексту. Клод знав правильну відповідь, але був фізично заблокований від її вимови.

Дійсно розбите частина? Вони вже працювали навколо цієї помилки в грудні 2024 року, не зрозумівши цього. Коли вони “виправили” те, що вважали основною причиною в серпні, вони видалити обхідний шлях і випустили справжню проблему.

Чому виправлення зайняло шість тижнів

Ви можете запитати: як компанія, така як Антропік, з інженерами світового рівня, витратила шість тижнів, щоб розібратися в цьому?

Відповідь показує, наскільки ці системи насправді складні:

1. Контроль приватності заблокував відладку

“Наші внутрішні засоби контролю приватності та безпеки обмежують, як і коли інженери можуть отримувати доступ до взаємодій користувачів з Клодом, особливо коли ці взаємодії не повідомляються нам як відгук.”

Вони буквально не могли бачити, що ламалося, якщо користувачі не повідомляли про це явно як відгук. Добре для приватності, але погано для відладки.

2. Помилки ховалися

Клод часто відновлювався від окремих помилок, роблячи погіршення схожим на нормальну варіацію, а не системну відмову. Їхні бенчмарки та оцінки не виявляли цього, тому що модель сама коригувалася досить, щоб пройти тести.

3. Хаос на декількох платформах

Клод працює на AWS Trainium, NVIDIA (NVDA ) GPU та Google TPUs – три повністю різні апаратні платформи. Кожна помилка проявлялася по-різному на кожній платформі:

• AWS Bedrock: 0,18% запитів Сонет 4 були порушені на піку
• Google Vertex AI: нижче 0,0004% були порушені
• Прямий API: до 16% були порушені

Це робило їх схожими на кілька не пов’язаних між собою проблем.

4. Перекриваються симптоми

З трьома помилками, що діяли одночасно, симптоми були всюди. Один користувач міг отримати тайські символи, інший міг отримати погіршені відповіді, а третій міг бачити ідеальну продуктивність. Не було жодної чіткої закономірності.

Що це насправді означає для надійності штучного інтелекту

Ця вся історія показує щось важливе про поточний стан систем штучного інтелекту: вони значно більш хиткі, ніж здається.

Ми не говоримо тільки про саму модель штучного інтелекту. Ми говоримо про:

• Інфраструктуру маршрутизації, яка може направляти запити не туди
• Апаратні реалізації, які поводяться по-різному
• Помилки компілятора, які можуть лежати в сплячці протягом місяців
• Балансувальники навантаження, які можуть перетворити незначні проблеми в великі збої

Одна неправильна конфігурація, одна помилка компілятора, одна помилка маршрутизації – і раптом ваш помічник штучного інтелекту забуває, як програмувати, або починає говорити мовами, яких не повинно бути.

Чи це насправді виправлено?

Антропік каже, що вони виправили всі три проблеми на 16 вересня. Вони:

• Виправили логіку маршрутизації
• Повернули проблемні конфігурації
• Перейшли від приблизних до точних операцій top-k (прийнявши удар по продуктивності за точність)
• Додали безперервний моніторинг виробництва

Але користувачі все ще повідомляють про проблеми. Деякі розробники стверджують, що Клод Код все ще відчувається погіршеним порівняно з його попередньою продуктивністю. Чи це:

• Залишкові ефекти від помилок
• Нові проблеми, які ще не були визначені
• Психологічна упередженість після тижнів проблем
• Або фактичне подальше погіршення

…ми ще не знаємо.

Основна думка

Ця ситуація є ідеальним випадком вивчення того, як складні системи штучного інтелекту можуть вийти з ладу зовсім несподіваними способами. Три окремі помилки, всі спровоковані протягом тижнів один від одного, створили враження великого погіршення якості, яке зайняло шість тижнів, щоб діагностувати і виправити.

Ми можемо дати деяку похвалу Антропіку за прозорість. Публікація детального технічного пост-мортона – це більше, ніж зробили б більшість компаній. Але це також показує, наскільки може піти не так під капотом цих систем, на які ми все більше покладаємось.

Для всіх, хто будує на основі Клода або будь-якої іншої великої мови моделі: вам потрібна резервність, валідація та запасні плани. Тому що, як ми щойно побачили, навіть найкращі системи штучного інтелекту можуть мати три різні проблеми одночасно, і може зайняти тижні, перш ніж хтось зрозуміє, що насправді відбувається.

Інфраструктура, яка підтримує ці моделі штучного інтелекту, така ж важлива, як і самі моделі. І зараз ця інфраструктура показує деякі серйозні болі росту.