Чому висновок AI, а не навчання, є наступним великим інженерним викликом

За останні десять років увагу в галузі штучного інтелекту монополізувало навчання. Прориви в основному були досягнуті завдяки величезним кластерам обчислень, моделям з трильйонами параметрів та мільярдам доларів, вкладених у навчання систем “думати”. Ми розглядали розвиток AI в основному як будівельний проєкт: будівництво хмарочоса інтелекту. Але тепер, коли цей хмарочос вже побудований, справжнім викликом є організація життя та роботи мільйонів людей всередині нього одночасно. Це зсуває фокус уваги дослідників та інженерів AI з навчання (акту створення інтелекту) на висновок (акт використання інтелекту). Навчання – це величезні, одномоментні капітальні витрати (CapEx), тоді як висновок – це тривалі операційні витрати (OpEx), які продовжуються нескінченно. Коли підприємства розгортають агенти, які обслуговують мільйони користувачів по всьому світу, вони відкривають для себе жорстоку реальність: висновок не просто “навчання в зворотньому порядку”. Це фундаментально інший, і можливо, складніший інженерний виклик.

Чому витрати на висновок мають значення більше ніж будь-коли

Щоб зрозуміти інженерний виклик, потрібно спочатку зрозуміти основну економічну потребу. На етапі навчання неефективність терпима. Якщо навчальний процес триває чотири тижні замість трьох, це незручність. У висновку, однак, неефективність може бути катастрофічною для бізнесу. Наприклад, навчання моделі передового рівня може коштувати 100 мільйонів доларів. Але розгортання цієї моделі для відповіді на 10 мільйонів запитів на день може перевищити цю вартість за кілька місяців, якщо не оптимізувати. Це пояснює, чому ми спостерігаємо зміну ринку, коли інвестиції у висновок перевищують інвестиції у навчання.

Для інженерів це зсуває мету. Ми більше не оптимізуємо для пропускної здатності (як швидко можна обробити цей величезний набір даних?). Ми оптимізуємо для затримки (як швидко можна повернути один токен?) та конкуренції (скільки користувачів можна обслуговувати на одному GPU?). “Брутальна” підхід, який домінував на етапі навчання, просто додавши більше обчислень, тут не працює. Ви не можете кинути більше H100 на проблему затримки, якщо瓶нець – це ширина пам’яті.

Пам’ятна стіна: справжня瓶нець

Маловідома правда про висновок великих мовних моделей (LLM) полягає в тому, що він рідко обмежується обчисленнями; він обмежується пам’яттю. На етапі навчання ми обробляємо дані в величезних партіях, повністю використовуючи обчислювальні одиниці GPU. У висновку, особливо для реальних застосунків, таких як чат-боти або агенти, запити надходять послідовно. Кожен згенерований токен вимагає від моделі завантаження мільярдів параметрів з пам’яті з високою пропускною здатністю (HBM) до обчислювальних ядер. Це “пам’ятна стіна“. Це як мати двигун Ferrari (ядро GPU) застряглий у заторі (обмежену пам’ять).
Цей виклик змушує інженерні команди переробляти систему архітектури аж до рівня кремнію. Це пояснює, чому ми бачимо підйом лінійних процесорних одиниць (LPUs), таких як ті, що випускаються компанією Groq, та спеціалізованих нейронних процесорних одиниць (NPUs). Ці чіпи розроблені для обходу瓶неця HBM, використовуючи величезну кількість внутрішньої SRAM, обробляючи доступ до пам’яті як безперервний потік даних, а не просту операцію отримання. Для програміста це означає кінець епохи “за замовчуванням CUDA”. Тепер ми повинні писати код, який є осведомленим про апаратне забезпечення, розуміючи, як дані рухаються через дріт.

Нова межа ефективності AI

Оскільки ми не завжди можемо змінити апаратне забезпечення, майбутня межа інженерії лежить у сфері програмної оптимізації. Це місце, де відбуваються деякі з найінноваційніших проривів. Ми спостерігаємо відродження технік, які переозначають, як комп’ютери реалізують та виконують нейронні мережі.

• Постійне пакетування: Традиційне пакетування чекає, поки “автобус” заповниться, перш ніж вирушити, що вводить затримки. Постійне пакетування (розроблене фреймворками, такими як vLLM) діє як система метро, дозволяючи новим запитам приєднатися або вийти з поїзда обробки GPU на кожному етапі. Воно максимізує пропускну здатність без жертвування затримкою, розв’язуючи складну задачу планування, яка вимагає глибокої експертизи рівня ОС.

• Спекулятивне декодування: Ця техніка використовує малий, швидкий та недорогий модель для створення чернетки відповіді, тоді як більший, повільніший та більш потужний модель перевіряє її паралельно. Вона використовує той факт, що перевірка тексту значно менш обчислювально дорогий, ніж генерація.
• Керування кешем KV: У довгих розмовах “історія” (кеш Key-Value) зростає швидко, споживаючи великі кількості пам’яті GPU. Інженери зараз реалізують “PagedAttention“, техніку, натхненну віртуальною пам’яттю в операційних системах. Ця техніка розбиває пам’ять на фрагменти та керує нею несуцільно.

Агентська складність

Якщо стандартний висновок Already складний, агентський AI робить його експоненційно складнішим. Стандартний чат-бот є безстанційний: користувач питає, AI відповідає, процес закінчується. AI-агент, однак, має цикл. Він планує, виконує інструменти, спостерігає результати та повторює. З інженерної точки зору це кошмар. Ця архітектурна зміна вводить кілька фундаментальних викликів:

1. Керування станом: Двигун висновку повинен підтримувати “стан” процесу мислення агента протягом декількох кроків, часто протягом хвилин.
2. Нескінченні цикли: На відміну від передбачуваного прямого проходу, агент може застрягнути в циклі міркування. Розробка надійних “вартових” та “аварійних вимикачів” для вірогідного коду – це цілком нова галузь.
3. Змінна обчислювальна потужність: Один запит користувача може спровокувати один висновковий виклик, тоді як інший міг би спровокувати п’ятдесят. Керування навантаженням та інфраструктурою автоскейлінгу, коли кожен запит має таку екстремальну відмінність, вимагає цілком нової класу логіки оркестрування.

Ми фактично переходимо від “обслуговування моделей” до “оркестрування когнітивних архітектур.”

Розгортання AI на повсякденних пристроях

Нарешті, обмеження енергії та мережевої затримки в кінцевому підсумку змусять висновок перейти на край. Ми не можемо очікувати, що кожна розумна лампочка, автономний транспортний засіб або заводський робот буде маршрутизувати свої запити через центр даних. Інженерним викликом тут є стиснення. Як можна помістити модель, яка навчилася на всьому інтернеті, на чип, менший за нігтьовий палець, який працює від батареї?

Техніки, такі як квантування (зменшення точності з 16-бітної до 4-бітної або навіть 1-бітної) та дистиляція моделі (навчання малої моделі-студента імітувати велику модель-вчителя), стають стандартною практикою. Але справжнім викликом є розгортання цих моделей на фрагментовану екосистему мільярдів пристроїв, таких як Android, iOS, вбудований Linux, спеціальні сенсори, кожен з яких має свої апаратні обмеження. Це “кошмар фрагментації” розробки мобільних застосунків, помножений на складність нейронних мереж.

Основне

Ми вступаємо в “День 2” ери генерації AI. День 1 був про демонстрацію того, що AI може писати поезію. День 2 – про інженерію, роблячи цю можливість більш надійною, доступною та універсальною. Інженери, які визначать наступне десятиліття, не обов’язково ті, хто винаходить нові архітектури моделей. Це системні інженери, хакери ядра та архітектори інфраструктури, які можуть розібратися, як обслуговувати мільярд токенів за секунду без розтоплення енергетичної мережі чи банкрутства компанії. Висновок AI вже не просто деталь виконання. Це продукт. А його оптимізація – це наступний великий інженерний виклик.