TensorRT-LLM: Kompleksowy przewodnik po optymalizacji wnioskowania dużego modelu językowego w celu uzyskania maksymalnej wydajności

W miarę jak popyt na duże modele językowe (LLM) stale rośnie, zapewnienie szybkiego, wydajnego i skalowalnego wnioskowania stało się ważniejsze niż kiedykolwiek. NVIDIA TensorRT-LLM wkracza, aby sprostać temu wyzwaniu, dostarczając zestaw potężnych narzędzi i optymalizacji zaprojektowanych specjalnie do wnioskowania LLM. TensorRT-LLM oferuje imponujący wachlarz ulepszeń wydajności, takich jak kwantyzacja, fuzja jądra, przetwarzanie wsadowe w trakcie lotu i obsługa wielu procesorów graficznych. Te udoskonalenia umożliwiają osiągnięcie prędkości wnioskowania do 8x szybszych niż tradycyjne metody oparte na procesorach, zmieniając sposób, w jaki wdrażamy LLM w produkcji.

Ten kompleksowy przewodnik przedstawi wszystkie aspekty TensorRT-LLM, od architektury i kluczowych funkcji po praktyczne przykłady wdrażania modeli. Niezależnie od tego, czy jesteś inżynierem AI, programistą czy badaczem, ten przewodnik zapewni Ci wiedzę, jak wykorzystać TensorRT-LLM do optymalizacji wnioskowania LLM na procesorach graficznych NVIDIA.

Przyspieszanie wnioskowania LLM za pomocą TensorRT-LLM

TensorRT-LLM zapewnia drastyczne ulepszenia wydajności wnioskowania LLM. Według testów NVIDIA aplikacje oparte na TensorRT wykazują 8x szybciej prędkości wnioskowania w porównaniu do platform opartych wyłącznie na procesorze. Jest to kluczowy postęp w aplikacjach czasu rzeczywistego, takich jak chatboty, systemy rekomendacji i systemy autonomiczne, które wymagają szybkich odpowiedzi.

Jak to działa

TensorRT-LLM przyspiesza wnioskowanie poprzez optymalizację sieci neuronowych podczas wdrażania przy użyciu takich technik, jak:

• Kwantyzacja:Zmniejsza precyzję wag i aktywacji, zmniejszając rozmiar modelu i poprawiając szybkość wnioskowania.
• Fuzja warstw i tensorów:Łączy operacje takie jak funkcje aktywacji i mnożenia macierzy w jedną operację.
• Strojenie jądra:Wybiera optymalne jądra CUDA do obliczeń GPU, skracając czas wykonywania.

Dzięki tym optymalizacjom modele LLM działają wydajnie na wielu platformach wdrożeniowych — od centrów danych o dużej skali po systemy wbudowane.

Optymalizacja wydajności wnioskowania za pomocą TensorRT

Zbudowany na modelu programowania równoległego CUDA firmy NVIDIA, TensorRT zapewnia wysoce wyspecjalizowane optymalizacje dla wnioskowania na procesorach graficznych NVIDIA. Dzięki usprawnieniu procesów, takich jak kwantyzacja, dostrajanie jądra i łączenie operacji tensorowych, TensorRT zapewnia, że ​​LLM mogą działać z minimalnym opóźnieniem.

Do najskuteczniejszych technik zalicza się:

• Kwantyzacja:Zmniejsza to precyzję numeryczną parametrów modelu przy jednoczesnym zachowaniu wysokiej dokładności, co skutecznie przyspiesza wnioskowanie.
• Fuzja tensorowa:Łącząc wiele operacji w jednym jądrze CUDA, TensorRT minimalizuje obciążenie pamięci i zwiększa przepustowość.
• Automatyczne dostrajanie jądra:TensorRT automatycznie wybiera najlepsze jądro dla każdej operacji, optymalizując wnioskowanie dla danego procesora graficznego.

Techniki te umożliwiają oprogramowaniu TensorRT-LLM optymalizację wydajności wnioskowania w przypadku zadań głębokiego uczenia, takich jak przetwarzanie języka naturalnego, silniki rekomendacji i analiza wideo w czasie rzeczywistym.

Przyspieszanie obciążeń AI za pomocą TensorRT

TensorRT przyspiesza obciążenia głębokiego uczenia się poprzez włączanie precyzyjnych optymalizacji, takich jak INT8 oraz FP16. Te formaty o zmniejszonej precyzji umożliwiają znacznie szybsze wnioskowanie przy zachowaniu dokładności. Jest to szczególnie cenne w aplikacjach czasu rzeczywistego, w których niskie opóźnienie jest krytycznym wymogiem.

INT8 oraz FP16 optymalizacje są szczególnie skuteczne w:

• Streaming wideo:Zadania przetwarzania wideo oparte na sztucznej inteligencji, takie jak wykrywanie obiektów, korzystają z tych optymalizacji, skracając czas potrzebny na przetwarzanie klatek.
• Systemy rekomendacji:Dzięki przyspieszeniu wnioskowania w modelach przetwarzających duże ilości danych użytkowników, TensorRT umożliwia personalizację w czasie rzeczywistym na dużą skalę.
• Przetwarzanie języka naturalnego (NLP):TensorRT zwiększa szybkość zadań przetwarzania języka naturalnego, takich jak generowanie tekstu, tłumaczenie i podsumowywanie, dzięki czemu nadają się one do zastosowań w czasie rzeczywistym.

Wdrażaj, uruchamiaj i skaluj z NVIDIA Triton

Po zoptymalizowaniu modelu za pomocą TensorRT-LLM możesz go łatwo wdrożyć, uruchomić i skalować przy użyciu Serwer wnioskowania NVIDIA Triton. Triton to oprogramowanie typu open source, które obsługuje dynamiczne przetwarzanie wsadowe, zespoły modeli i wysoką przepustowość. Zapewnia elastyczne środowisko do zarządzania modelami AI na dużą skalę.

Niektóre z kluczowych funkcji obejmują:

• Jednoczesne wykonywanie modelu:Uruchom wiele modeli jednocześnie, maksymalizując wykorzystanie procesora graficznego.
• Dynamiczne dozowanieŁączy wiele żądań wnioskowania w jedną partię, zmniejszając opóźnienia i zwiększając przepustowość.
• Przesyłanie strumieniowe sygnałów audio/wideo:Obsługuje strumienie wejściowe w aplikacjach czasu rzeczywistego, takich jak analiza wideo na żywo lub usługi zamiany mowy na tekst.

Dzięki temu Triton jest cennym narzędziem do wdrażania zoptymalizowanych modeli TensorRT-LLM w środowiskach produkcyjnych, gwarantując wysoką skalowalność i wydajność.

Główne cechy TensorRT-LLM do wnioskowania LLM

Otwarte źródło API Pythona

TensorRT-LLM zapewnia wysoce modułowy i otwarte źródło API Pythona, upraszczając proces definiowania, optymalizacji i wykonywania LLM. API umożliwia deweloperom tworzenie niestandardowych LLM lub modyfikowanie gotowych, aby odpowiadały ich potrzebom, bez konieczności dogłębnej znajomości CUDA lub frameworków głębokiego uczenia.

Przetwarzanie wsadowe w trakcie lotu i obsługa stronicowania

Jedną z wyróżniających się cech TensorRT-LLM jest Przetwarzanie wsadowe w trakcie lotu, która optymalizuje generowanie tekstu poprzez przetwarzanie wielu żądań jednocześnie. Ta funkcja minimalizuje czas oczekiwania i poprawia wykorzystanie GPU poprzez dynamiczne przetwarzanie wsadowe sekwencji.

Dodatkowo, Uwaga na stronie zapewnia, że ​​użycie pamięci pozostaje niskie nawet podczas przetwarzania długich sekwencji wejściowych. Zamiast przydzielać ciągłą pamięć dla wszystkich tokenów, paged attention dzieli pamięć na „strony”, które mogą być ponownie wykorzystywane dynamicznie, zapobiegając fragmentacji pamięci i poprawiając wydajność.

Wnioskowanie wieloprocesorowe i wielowęzłowe

W przypadku większych modeli lub bardziej złożonych obciążeń roboczych TensorRT-LLM obsługuje wiele procesorów graficznych oraz wnioskowanie wielowęzłowe. Ta możliwość umożliwia dystrybucję obliczeń modelu na kilka procesorów graficznych lub węzłów, co poprawia przepustowość i skraca ogólny czas wnioskowania.

Wsparcie 8PR

Wraz z pojawieniem się FP8 (8-bitowa liczba zmiennoprzecinkowa), TensorRT-LLM wykorzystuje procesory graficzne NVIDIA H100 do konwersji wag modeli do tego formatu, co pozwala na zoptymalizowane wnioskowanie. FP8 umożliwia mniejsze zużycie pamięci i szybsze obliczenia, co jest szczególnie przydatne w przypadku wdrożeń na dużą skalę.

Architektura i komponenty TensorRT-LLM

Zrozumienie architektury TensorRT-LLM pomoże Ci lepiej wykorzystać jej możliwości do wnioskowania LLM. Omówmy kluczowe komponenty:

Definicja modelu

TensorRT-LLM umożliwia definiowanie LLM za pomocą prostego API Pythona. API konstruuje reprezentacja graficzna modelu, co ułatwia zarządzanie złożonymi warstwami stosowanymi w architekturach LLM, takich jak GPT czy BERT.

Wiązania wagowe

Przed skompilowaniem modelu wagi (lub parametry) muszą zostać powiązane z siecią. Ten krok zapewnia, że ​​wagi są osadzone w silniku TensorRT, umożliwiając szybkie i wydajne wnioskowanie. TensorRT-LLM umożliwia również aktualizacje wag po kompilacji, dodając elastyczność modelom, które wymagają częstych aktualizacji.

Dopasowywanie i łączenie wzorców

Operacja Fuzja jest kolejną potężną cechą TensorRT-LLM. Łącząc wiele operacji (np. mnożenia macierzy z funkcjami aktywacji) w jednym jądrze CUDA, TensorRT minimalizuje narzut związany z wieloma uruchomieniami jądra. Zmniejsza to transfery pamięci i przyspiesza wnioskowanie.

Wtyczki

Aby rozszerzyć możliwości TensorRT, programiści mogą napisać wtyczki—niestandardowe jądra, które wykonują określone zadania, takie jak optymalizacja bloków uwagi wielogłowicowej. Na przykład Błyskawiczna uwaga Wtyczka znacząco poprawia wydajność warstw uwagi LLM.

Testy porównawcze: wzrost wydajności TensorRT-LLM

TensorRT-LLM wykazuje znaczące wzrosty wydajności dla wnioskowania LLM na różnych GPU. Oto porównanie szybkości wnioskowania (mierzonej w tokenach na sekundę) przy użyciu TensorRT-LLM na różnych GPU NVIDIA:

Testy te pokazują, że TensorRT-LLM zapewnia znaczącą poprawę wydajności, zwłaszcza w przypadku dłuższych sekwencji.

Praktyczne: Instalowanie i budowanie TensorRT-LLM

Krok 1: Utwórz środowisko kontenerowe

Aby ułatwić użytkowanie, TensorRT-LLM udostępnia obrazy Docker pozwalające stworzyć kontrolowane środowisko do budowania i uruchamiania modeli.

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]

output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'