TensorRT-LLM: Комплексний посібник з оптимізації великомасштабних мовних моделей для максимальної продуктивності

Відповідно до зростаючого попиту на великомасштабні мовні моделі (LLM), забезпечення швидкої, ефективної та масштабованої інференції стало більш важливим, ніж будь-коли. NVIDIA’s (NVDA ) TensorRT-LLM прийшов, щоб впоратися з цією проблемою, надаючи набір потужних інструментів та оптимізацій, спеціально розроблених для інференції LLM. TensorRT-LLM пропонує вражаючий набір поліпшень продуктивності, таких як квантування, фузія ядер, пакетна обробка в польоті та підтримка چندгPU. Ці вдосконалення роблять можливим досягнення швидкості інференції до 8 разів швидше, ніж традиційні методи на основі CPU, змінюючи спосіб розгортання LLM у виробництві.

Цей комплексний посібник досліджуватиме всі аспекти TensorRT-LLM, від його архітектури та ключових функцій до практичних прикладів розгортання моделей. Чи ви інженер з штучного інтелекту, розробник програмного забезпечення чи дослідник, цей посібник надасть вам знання, необхідне для використання TensorRT-LLM для оптимізації інференції LLM на графічних процесорах NVIDIA.

Прискорення інференції LLM за допомогою TensorRT-LLM

TensorRT-LLM забезпечує драматичні поліпшення продуктивності інференції LLM. За даними тестів NVIDIA, програми на основі TensorRT демонструють до 8 разів швидшу швидкість інференції порівняно з платформами тільки на основі CPU. Це важливий крок у реальних додатках, таких як чат-боти, системи рекомендацій та автономні системи, які вимагають швидкої реакції.

Як це працює

TensorRT-LLM прискорює інференцію, оптимізуючи нейронні мережі під час розгортання за допомогою технік, таких як:

• Квантування: Зменшує точність ваг та активацій, зменшуючи розмір моделі та підвищуючи швидкість інференції.
• Фузія шарів та тензорів: Об’єднує операції, такі як активаційні функції та множення матриць, в одну операцію.
• Настройка ядер: Вибирає оптимальні ядра CUDA для обчислень на графічному процесорі, зменшуючи час виконання.

Ці оптимізації забезпечують, що ваші моделі LLM працюють ефективно на широкому спектрі платформ розгортання – від гіпермасштабних центрів даних до вбудованих систем.

Оптимізація продуктивності інференції за допомогою TensorRT

Розроблений на основі паралельної програми CUDA від NVIDIA, TensorRT забезпечує високо спеціалізовані оптимізації для інференції на графічних процесорах NVIDIA. Оptyмізуючи процеси, такі як квантування, настройка ядер та фузія операцій з тензорами, TensorRT забезпечує, що LLM можуть працювати з мінімальною затримкою.

Деякі з найбільш ефективних технік включають:

• Квантування: Це зменшує числову точність параметрів моделі, зберігаючи при цьому високу точність, ефективно прискорюючи інференцію.
• Фузія тензорів: Об’єднуючи декілька операцій в одне ядро CUDA, TensorRT мінімізує накладні витрати на пам’ять та збільшує пропускну здатність.
• Автонастройка ядер: TensorRT автоматично вибирає найкраще ядро для кожної операції, оптимізуючи інференцію для даного графічного процесора.

Ці техніки дозволяють TensorRT-LLM оптимізувати продуктивність інференції для завдань глибокого навчання, таких як обробка природної мови, системи рекомендацій та реальне відеоаналіз.

Прискорення завдань штучного інтелекту за допомогою TensorRT

TensorRT прискорює завдання глибокого навчання, включно з оптимізацією точності, такою як INT8 та FP16. Ці зменшені формати точності дозволяють значно швидшу інференцію, зберігаючи при цьому точність. Це особливо цінно в реальних додатках, де низька затримка є критичним вимогам.

INT8 та FP16 оптимізації особливо ефективні в:

• Відеопотоці: Завдання обробки відео на основі штучного інтелекту, такі як виявлення об’єктів, користуються цими оптимізаціями, зменшуючи час обробки кадрів.
• Системи рекомендацій: Прискорюючи інференцію для моделей, які обробляють великі об’єми даних користувачів, TensorRT дозволяє персоналізацію в реальному часі у великомасштабному режимі.
• Обробка природної мови (NLP): TensorRT покращує швидкість завдань NLP, таких як генерація тексту, переклад та підсумовування, роблячи їх придатними для реальних додатків.

Розгортання, запуск та масштабування з NVIDIA Triton

Як тільки ваша модель була оптимізована за допомогою TensorRT-LLM, ви можете легко розгорнути, запустити та масштабувати її за допомогою NVIDIA Triton Inference Server. Triton – це відкритий програмний продукт, який підтримує динамічне пакетування, ансамблі моделей та високий пропуск. Він забезпечує гнучке середовище для управління моделями штучного інтелекту у великомасштабному режимі.

Деякі з ключових функцій включають:

• Конкурентне виконання моделей: Запуск декількох моделей одночасно, максимізуючи використання графічного процесора.
• Динамічне пакетування: Об’єднання декількох запитів інференції в один пакет, зменшуючи затримку та збільшуючи пропускну здатність.
• Відео- та аудіопотоки: Підтримка потокових входів у реальних додатках, таких як відеоаналіз у реальному часі або служби розпізнавання мови.

Це робить Triton цінним інструментом для розгортання моделей, оптимізованих за допомогою TensorRT-LLM, у виробничих середовищах, забезпечуючи високу масштабованість та ефективність.

Ключові функції TensorRT-LLM для інференції LLM

Відкритий Python API

TensorRT-LLM пропонує високо модульний та відкритий Python API, спрощуючи процес визначення, оптимізації та виконання LLM. API дозволяє розробникам створювати користувацькі LLM або змінювати попередньо створені, не вимагаючи глибоких знань CUDA чи фреймворків глибокого навчання.

Пакетна обробка в польоті та пагінація уваги

Однією з видатних функцій TensorRT-LLM є пакетна обробка в польоті, яка оптимізує генерацію тексту, обробляючи декілька запитів одночасно. Ця функція мінімізує час очікування та покращує використання графічного процесора, динамічно пакетуючи послідовності.

Крім того, пагінація уваги забезпечує, що використання пам’яті залишається низьким навіть при обробці довгих вхідних послідовностей. Замість виділення суцільної пам’яті для всіх токенів, пагінація уваги розбиває пам’ять на “сторінки”, які можна повторно використати динамічно, запобігаючи фрагментації пам’яті та підвищуючи ефективність.

МультігPU та мультінодова інференція

Для більших моделей або більш складних завдань TensorRT-LLM підтримує мультігPU та мультінодову інференцію. Ця можливість дозволяє розподіляти обчислення моделі по декількох графічних процесорах або вузлах, покращуючи пропускну здатність та зменшуючи загальний час інференції.

Підтримка FP8

З появою FP8 (8-бітова плаваюча кома), TensorRT-LLM використовує графічні процесори NVIDIA H100 для конвертування ваг моделі у цей формат для оптимізованої інференції. FP8 забезпечує зменшене споживання пам’яті та швидші обчислення, особливо корисні у великомасштабних розгортаннях.

Архітектура та компоненти TensorRT-LLM

Поняття архітектури TensorRT-LLM допоможе вам краще використовувати його можливості для інференції LLM. Давайте розглянемо ключові компоненти:

Визначення моделі

TensorRT-LLM дозволяє визначати LLM за допомогою простого Python API. API створює графічну репрезентацію моделі, роблячи її легшою для управління складними шарами, залученими в архітектурах LLM, таких як GPT або BERT.

Прив’язка ваг

Перед компіляцією моделі ваги (або параметри) повинні бути прив’язані до мережі. Цей крок забезпечує, що ваги будуть вбудовані у двигун TensorRT, дозволяючи швидку та ефективну інференцію. TensorRT-LLM також дозволяє оновлення ваг після компіляції, додаючи гнучкість для моделей, які потребують частих оновлень.

Виразний аналіз та фузія

Фузія операцій – це ще одна потужна функція TensorRT-LLM. Об’єднуючи декілька операцій (наприклад, множення матриць з активаційними функціями) в одне ядро CUDA, TensorRT мінімізує накладні витрати, пов’язані з запуском декількох ядер. Це зменшує передачу пам’яті та прискорює інференцію.

Плагіни

Для розширення можливостей TensorRT розробники можуть створювати плагіни – користувацькі ядра, які дозволяють конкретні оптимізації або операції, не покриті стандартною бібліотекою TensorRT.

Наприклад, плагін Flash-Attention значно покращує продуктивність шарів уваги у моделях Transformer.

Бенчмарки: Збільшення продуктивності TensorRT-LLM

TensorRT-LLM демонструє значне збільшення продуктивності інференції LLM на різних графічних процесорах. Ось порівняння швидкості інференції (визначається у токенах за секунду) за допомогою TensorRT-LLM на різних графічних процесорах NVIDIA:

Ці бенчмарки показують, що TensorRT-LLM забезпечує суттєве покращення продуктивності, особливо для довгих послідовностей.

Практичний досвід: Встановлення та збірка TensorRT-LLM

Крок 1: Створення контейнерного середовища

Для зручності використання TensorRT-LLM пропонує зображення Docker для створення контрольованого середовища для збірки та виконання моделей.

docker build --pull \
--target devel \
--file docker/Dockerfile.multi \
--tag tensorrt_llm/devel:latest .

docker run --rm -it \
--ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
--volume ${PWD}:/code/tensorrt_llm \
--workdir /code/tensorrt_llm \
tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

<p>input [
{
name: "input_ids"
data_type: TYPE_INT32
dims: [-1]
}
]</p>

<p>output [
{
name: "logits"
data_type: TYPE_FP32
dims: [-1, -1]
}
]</p>

docker run --rm --gpus all \
-v $(pwd)/model_repository:/models \
nvcr.io/nvidia/tritonserver:23.05-py3 \
tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
"inputs": [
{"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
]
}'