Покращення висновків штучного інтелекту: розширені техніки та найкращі практики

Когда речь идет о реальных приложениях, управляемых штучним інтелектом, таких как самоходні автомобілі або мониторинг охорони здоров’я, навіть додаткова секунда для обробки входних даних може мати серйозні наслідки. Реальні застосунки штучного інтелекту вимагають надійних графічних процесорів і обчислювальної потужності, що раніше було дуже дорого і обмежувало багато застосунків – поки що.

Прийняття оптимізованого процесу висновків дозволяє підприємствам не тільки максимізувати ефективність штучного інтелекту, але також зменшити споживання енергії та операційні витрати (до 90%); покращити конфіденційність і безпеку; і навіть поліпшити задоволеність клієнтів.

Поширені проблеми висновків

Деякі з найбільш поширених проблем, з якими сталкуються компанії при управлінні ефективністю штучного інтелекту, включають недо використання кластерів графічних процесорів, використання загальних моделей за замовчуванням і відсутність інформації про пов’язані витрати.

Команди часто виділяють кластери графічних процесорів для пікової навантаження, але між 70 і 80 відсотками часу вони не використовуються через нерівномірний робочий процес.

Крім того, команди за замовчуванням використовують великі загальні моделі (GPT-4, Claude), навіть для завдань, які можуть виконуватися на менших, дешевших відкритих моделях. Причини? Відсутність знань і крута кривина навчання при створенні власних моделей.

Нарешті, інженерам зазвичай бракує інформації про реальні витрати на кожен запит, що призводить до великих рахунків. Інструменти, такі як PromptLayer, Helicone, можуть допомогти надати цю інформацію.

Відсутність контролю над вибором моделі, пакетами і використанням може призвести до експоненціального зростання витрат на висновок (до 10 раз), марнування ресурсів, обмеження точності і погіршення досвіду користувача.

Споживання енергії та операційні витрати

Виконання великих моделей, таких як GPT-4, Llama 3 70B або Mixtral-8x7B, вимагає значно більше енергії на токен. В середньому 40-50 відсотків енергії, яку використовує центр обробки даних, йде на обчислювальне обладнання, а додаткові 30-40 відсотків виділяються на охолодження обладнання.

Отже, для компанії, яка працює цілодобово для висновку в масштабі, більш вигідно розглянути постачальника на місці, а не постачальника хмарних послуг, щоб уникнути преміальних витрат і споживання більше енергії.

Конфіденційність і безпека

За даними дослідження Cisco 2025 Data Privacy Benchmark Study, “64% респондентів побоюються випадкового публічного або конкурентного обміну конфіденційною інформацією, однак майже половина з них визнають, що вводять особисті дані співробітників або не публічні дані в інструменти генерації штучного інтелекту.” Це збільшує ризик невідповідності, якщо дані не реєструються або кешуються належним чином. Інша можливість ризику полягає в тому, що моделі працюють через різні організації клієнтів на спільній інфраструктурі; це може привести до порушень даних і проблем з продуктивністю, а також існує ризик того, що дії одного користувача можуть вплинути на інших користувачів. Отже, підприємства зазвичай віддають перевагу послугам, розгорнутим у своїй хмарі.

Задоволеність клієнтів

Коли відповіді займають більше кількох секунд, користувачі зазвичай припиняють роботу, підтримуючи зусилля інженерів щодо оптимізації для нульової затримки. Крім того, програми представляють “обстеження, такі як галюцинації та неточність, які можуть обмежити широкий вплив і прийняття,” згідно з прес-релізом Gartner.

Бізнес-переваги управління цими питаннями

Оптимізація пакетів, вибір моделей правильного розміру (наприклад, зміна з Llama 70B або закритих моделей, таких як GPT, на Gemma 2B, якщо це можливо) і покращення використання графічних процесорів можуть скоротити рахунки за висновок на 60-80 відсотків. Використання інструментів, таких як vLLM, може допомогти, а також зміна на серверну модель оплати за користування для сплесків робочого процесу.

Розгляньте приклад Cleanlab. Cleanlab розпочала Надійну мовну модель (TLM) для додавання оцінки надійності до кожної відповіді мовної моделі. Вона призначена для високоякісних виходів і підвищеної надійності, що є критично важливим для застосунків підприємства, щоб запобігти неконтрольованим галюцинаціям. До Inferless Cleanlabs зазнавали збільшених витрат на графічні процесори, оскільки графічні процесори працювали навіть тоді, коли вони не були активно використані. Їхні проблеми були типовими для традиційних постачальників хмарних графічних процесорів: висока затримка, неефективне управління витратами та складна інфраструктура для управління. З серверною інференцією вони скоротили витрати на 90 відсотків, зберігаючи рівень продуктивності. Що ще важливіше, вони запустилися впродовж двох тижнів без додаткових витрат на інженерний персонал.

Оптимізація архітектури моделі

Основні моделі, такі як GPT і Claude, часто тренуються для загальності, а не для ефективності чи конкретних завдань. Не адаптуючи відкриті моделі для конкретних випадків використання, підприємства марнують пам’ять і час обробки для завдань, які не потребують такого масштабу.

Нові чипи графічних процесорів, такі як H100, є швидкими і ефективними. Вони особливо важливі при виконанні великомасштабних операцій, таких як генерація відео або завдання, пов’язані зі штучним інтелектом. Більше ядер CUDA підвищує швидкість обробки, перевершуючи менші графічні процесори; тензорні ядра NVIDIA призначені для прискорення цих завдань у масштабі.

Пам’ять графічного процесора також важлива для оптимізації архітектури моделі, оскільки великі моделі штучного інтелекту вимагають значного простору. Ця додаткова пам’ять дозволяє графічному процесору виконувати більші моделі без компромісу швидкості. Навпаки, продуктивність менших графічних процесорів з меншою пам’яттю VRAM страждає, оскільки вони переміщують дані у повільнішу системну оперативну пам’ять.

Деякі переваги оптимізації архітектури моделі включають економію часу і грошей. По-перше, зміна з густої трансформаторної моделі на варіанти, оптимізовані за допомогою LoRA або FlashAttention, може скоротити час відповіді на 200-400 мілісекунд на запит, що є критично важливим для чат-ботів і ігор, наприклад. Крім того, квантовані моделі (наприклад, 4-бітові або 8-бітові) потребують менше пам’яті VRAM і працюють швидше на дешевих графічних процесорах.

У довгостроковій перспективі оптимізація архітектури моделі економить гроші на висновку, оскільки оптимізовані моделі можуть працювати на менших чіпах.

Оптимізація архітектури моделі включає наступні кроки:

• Квантування — зменшення точності (FP32 → INT4/INT8), збереження пам’яті і прискорення часу обробки
• Обрізання — видалення менш корисних ваг або шарів (структурованих або неструктурованих)
• Дистиляція — навчання меншої «студентської» моделі для імітації виходу більшої моделі

Стиснення розміру моделі

Менші моделі означають швидший висновок і меншу вартість інфраструктури. Великі моделі (13B+, 70B+) вимагають дорогих графічних процесорів (A100, H100), великої пам’яті VRAM і більше енергії. Стиснення їх дозволяє їм працювати на дешевшому обладнанні, наприклад A10 або T4, з значно нижчою затримкою.

Стиснені моделі також критично важливі для виконання висновку на пристрої (телефонах, браузерах, IoT), оскільки менші моделі дозволяють обслуговувати більше одночасних запитів без масштабування інфраструктури. У чат-боті з більш ніж 1000 одночасних користувачів перехід з 13B на 7B стиснену модель дозволив однієї команді обслуговувати більше ніж удвічі більше користувачів на графічний процесор без сплесків затримки.

Використання спеціалізованого обладнання

Універсальні процесори не призначені для тензорних операцій. Спеціалізоване обладнання, таке як NVIDIA A100, H100, Google TPUs або AWS Inferentia, можуть пропонувати швидший висновок (в 10-100 раз) для моделей мови з кращою енергоефективністю. Зниження навіть на 100 мілісекунд на запит може мати значення при обробці мільйонів запитів щодня.

Розгляньте цей гіпотетичний приклад:

Команда працює з LLaMA-13B на стандартних графічних процесорах A10 для своєї внутрішньої системи RAG. Затримка становить близько 1,9 секунди, і вони не можуть виконувати пакетну обробку через обмеження пам’яті VRAM. Тому вони переходять на H100 з TensorRT-LLM, активують FP8 і оптимізоване ядро уваги, збільшують розмір пакету з 8 до 64. Результатом є скорочення затримки до 400 мілісекунд з п’ятикратним збільшенням пропускної здатності.
В результаті вони можуть обслуговувати запити в п’ять разів на тому ж бюджеті та звільняти інженерів від навігації по інфраструктурним вузьким місцям.

Оцінка варіантів розгортання

Різні процеси вимагають різних інфраструктур; чат-бот з 10 користувачами і пошукова система, яка обслуговує мільйон запитів на день, мають різні потреби. Повне прийняття хмарних рішень (наприклад, AWS Sagemaker) або самостійне розгортання серверів графічних процесорів без оцінки співвідношення вартості та продуктивності призводить до марних витрат і поганого досвіду користувача. Зверніть увагу, що якщо ви приймете рішення про закритого постачальника хмарних послуг на ранньому етапі, подальша міграція рішення буде болісною. Однак рання оцінка з платіжною структурою «платіть за використання» надає вам варіанти в майбутньому.

Оцінка включає наступні кроки:

• Бенчмаркінг затримки моделі і вартості на платформах: виконання тестів A/B на AWS, Azure, локальних кластерах графічних процесорів або серверних інструментах для реплікації.
• Вимірювання продуктивності «холодного старту»: це особливо важливо для серверних або подійних робочих навантажень, оскільки моделі завантажуються швидше.
• Оцінка спостережуваності і обмежень масштабування: оцінка доступних метрик і визначення максимальної кількості запитів на секунду до погіршення.
• Перевірка підтримки відповідності: визначення того, чи можете ви примусово застосовувати правила географічних даних або журнали аудиту.
• Оцінка загальної вартості володіння. Це повинно включати години графічних процесорів, зберігання, пропускну здатність і накладні витрати для команд.

Основне

Висновок дозволяє підприємствам оптимізувати продуктивність штучного інтелекту, знижувати споживання енергії та витрати, підтримувати конфіденційність і безпеку та тримати клієнтів задоволеними.