TensorRT-LLM: 최대 성능을 위한 대규모 언어 모델 추론 최적화를 위한 포괄적 가이드

대규모 언어 모델(LLM)에 대한 수요가 계속 증가함에 따라 빠르고 효율적이며 확장 가능한 추론을 보장하는 것이 그 어느 때보다 중요해졌습니다. NVIDIA의 텐서RT-LLM LLM 추론을 위해 특별히 설계된 강력한 도구와 최적화 세트를 제공하여 이러한 과제를 해결하기 위해 나섭니다. TensorRT-LLM은 양자화, 커널 퓨전, 비행 중 배칭 및 다중 GPU 지원과 같은 인상적인 성능 개선 사항을 제공합니다. 이러한 발전을 통해 기존 CPU 기반 방법보다 최대 8배 빠른 추론 속도를 달성하여 프로덕션에서 LLM을 배포하는 방식을 혁신할 수 있습니다.

이 포괄적인 가이드에서는 아키텍처와 주요 기능부터 모델 배포를 위한 실제 사례까지 TensorRT-LLM의 모든 측면을 살펴봅니다. AI 엔지니어, 소프트웨어 개발자 또는 연구자이든 이 가이드는 NVIDIA GPU에서 LLM 추론을 최적화하기 위해 TensorRT-LLM을 활용하는 데 필요한 지식을 제공합니다.

TensorRT-LLM을 사용하여 LLM 추론 속도 향상

TensorRT-LLM은 LLM 추론 성능을 극적으로 개선합니다. NVIDIA의 테스트에 따르면 TensorRT 기반 애플리케이션은 8x 빨리 CPU 전용 플랫폼과 비교한 추론 속도. 이는 챗봇, 추천 시스템, 빠른 응답이 필요한 자율 시스템과 같은 실시간 애플리케이션에서 중요한 발전입니다.

원리

TensorRT-LLM은 다음과 같은 기술을 사용하여 배포 중에 신경망을 최적화하여 추론 속도를 높입니다.

• 정량화: 가중치와 활성화의 정확도를 낮추고, 모델 크기를 줄이고, 추론 속도를 향상시킵니다.
• 레이어 및 텐서 융합: 활성화 함수 및 행렬 곱셈과 같은 작업을 단일 작업으로 병합합니다.
• 커널 튜닝: GPU 계산을 위한 최적의 CUDA 커널을 선택하여 실행 시간을 단축합니다.

이러한 최적화를 통해 하이퍼스케일 데이터 센터부터 임베디드 시스템에 이르기까지 광범위한 배포 플랫폼에서 LLM 모델이 효율적으로 수행되도록 보장합니다.

TensorRT를 사용한 추론 성능 최적화

NVIDIA의 CUDA 병렬 프로그래밍 모델을 기반으로 구축된 TensorRT는 NVIDIA GPU에서 추론을 위한 고도로 특화된 최적화를 제공합니다. 양자화, 커널 튜닝, 텐서 연산 융합과 같은 프로세스를 간소화함으로써 TensorRT는 LLM이 최소 지연 시간으로 실행될 수 있도록 보장합니다.

가장 효과적인 기술 중 일부는 다음과 같습니다.

• 정량화: 이를 통해 높은 정확도를 유지하면서 모델 매개변수의 수치적 정밀도를 낮추어 추론 속도를 효과적으로 높일 수 있습니다.
• 텐서 퓨전: 여러 연산을 단일 CUDA 커널로 융합함으로써 TensorRT는 메모리 오버헤드를 최소화하고 처리량을 높입니다.
• 커널 자동 튜닝: TensorRT는 각 작업에 가장 적합한 커널을 자동으로 선택하여 주어진 GPU에 대한 추론을 최적화합니다.

이러한 기술을 사용하면 TensorRT-LLM이 자연어 처리, 추천 엔진, 실시간 비디오 분석과 같은 딥러닝 작업에 대한 추론 성능을 최적화할 수 있습니다.

TensorRT로 AI 워크로드 가속화

TensorRT는 정밀 최적화와 같은 기능을 통합하여 딥 러닝 워크로드를 가속화합니다. INT8 그리고 FP16. 이러한 감소된 정밀도 형식은 정확도를 유지하면서도 훨씬 더 빠른 추론을 가능하게 합니다. 이는 특히 낮은 지연 시간이 중요한 요구 사항인 실시간 애플리케이션에서 매우 중요합니다.

INT8 그리고 FP16 최적화는 특히 다음과 같은 경우에 효과적입니다.

• 비디오 스트리밍: 객체 감지와 같은 AI 기반 비디오 처리 작업은 이러한 최적화를 통해 프레임을 처리하는 데 걸리는 시간을 줄여 이점을 얻을 수 있습니다.
• 추천 시스템: TensorRT는 대량의 사용자 데이터를 처리하는 모델에 대한 추론을 가속화하여 대규모 실시간 개인화를 실현합니다.
• 자연 언어 처리 (NLP): TensorRT는 텍스트 생성, 번역, 요약과 같은 NLP 작업의 속도를 향상시켜 실시간 애플리케이션에 적합하게 만듭니다.

NVIDIA Triton으로 배포, 실행 및 확장

모델이 TensorRT-LLM으로 최적화되면 다음을 사용하여 쉽게 배포, 실행 및 확장할 수 있습니다. NVIDIA Triton 추론 서버. Triton은 동적 배칭, 모델 앙상블 및 높은 처리량을 지원하는 오픈 소스 소프트웨어입니다. 대규모 AI 모델을 관리하기 위한 유연한 환경을 제공합니다.

주요 기능 중 일부는 다음과 같습니다.

• 동시 모델 실행: 여러 모델을 동시에 실행하여 GPU 활용도를 극대화합니다.
• 동적 배칭: 여러 추론 요청을 하나의 배치로 결합하여 대기 시간을 줄이고 처리량을 늘립니다.
• 스트리밍 오디오/비디오 입력: 라이브 비디오 분석이나 음성-텍스트 서비스와 같은 실시간 애플리케이션에서 입력 스트림을 지원합니다.

이를 통해 Triton은 TensorRT-LLM 최적화된 모델을 프로덕션 환경에 배포하는 데 귀중한 도구가 되어 높은 확장성과 효율성을 보장합니다.

LLM 추론을 위한 TensorRT-LLM의 핵심 기능

오픈소스 파이썬 API

TensorRT-LLM은 고도로 모듈화된 오픈소스 파이썬 API, LLM 정의, 최적화 및 실행 프로세스를 간소화합니다. API를 사용하면 개발자가 CUDA 또는 딥 러닝 프레임워크에 대한 심층적인 지식이 없어도 사용자 정의 LLM을 만들거나 사전 구축된 LLM을 필요에 맞게 수정할 수 있습니다.

비행 중 배치 및 페이징된 주의

TensorRT-LLM의 뛰어난 기능 중 하나는 다음과 같습니다. 비행 중 배치, 여러 요청을 동시에 처리하여 텍스트 생성을 최적화합니다. 이 기능은 대기 시간을 최소화하고 시퀀스를 동적으로 배치하여 GPU 활용도를 향상시킵니다.

또한, 페이징 주의 긴 입력 시퀀스를 처리할 때에도 메모리 사용량이 낮게 유지되도록 보장합니다. 모든 토큰에 연속적인 메모리를 할당하는 대신, 페이지 어텐션은 메모리를 동적으로 재사용할 수 있는 "페이지"로 나누어 메모리 단편화를 방지하고 효율성을 개선합니다.

다중 GPU 및 다중 노드 추론

더 큰 모델이나 더 복잡한 작업 부하의 경우 TensorRT-LLM은 다음을 지원합니다. 다중 GPU 그리고 다중 노드 추론. 이 기능을 사용하면 모델 계산을 여러 GPU나 노드에 분산하여 처리량을 개선하고 전체 추론 시간을 줄일 수 있습니다.

FP8 지원

의 도래와 함께 FP8 (8비트 부동 소수점), TensorRT-LLM은 NVIDIA의 H100 GPU를 활용하여 모델 가중치를 이 형식으로 변환하여 최적화된 추론을 제공합니다. FP8은 메모리 소비를 줄이고 계산을 더 빠르게 하며, 특히 대규모 배포에 유용합니다.

TensorRT-LLM 아키텍처 및 구성 요소

TensorRT-LLM의 아키텍처를 이해하면 LLM 추론 기능을 더 잘 활용하는 데 도움이 됩니다. 핵심 구성 요소를 분석해 보겠습니다.

모델 정의

TensorRT-LLM을 사용하면 간단한 Python API를 사용하여 LLM을 정의할 수 있습니다. API는 다음을 구성합니다. 그래프 표현 모델을 통해 GPT나 BERT와 같은 LLM 아키텍처에 포함된 복잡한 계층을 보다 쉽게 ​​관리할 수 있습니다.

무게 바인딩

모델을 컴파일하기 전에 가중치(또는 매개변수)를 네트워크에 바인딩해야 합니다. 이 단계는 가중치가 TensorRT 엔진 내에 내장되어 빠르고 효율적인 추론이 가능하도록 보장합니다. TensorRT-LLM은 또한 컴파일 후 가중치 업데이트를 허용하여 자주 업데이트가 필요한 모델에 유연성을 더합니다.

패턴 매칭 및 퓨전

퓨전 작전 TensorRT-LLM의 또 다른 강력한 기능입니다. 여러 연산(예: 활성화 함수가 있는 행렬 곱셈)을 단일 CUDA 커널로 융합함으로써 TensorRT는 여러 커널 실행과 관련된 오버헤드를 최소화합니다. 이를 통해 메모리 전송이 줄어들고 추론 속도가 빨라집니다.

플러그인

TensorRT의 기능을 확장하기 위해 개발자는 다음을 작성할 수 있습니다. 플러그인—멀티헤드 어텐션 블록 최적화와 같은 특정 작업을 수행하는 사용자 정의 커널. 예를 들어, 플래시 어텐션 플러그인은 LLM 어텐션 계층의 성능을 크게 향상시킵니다.

벤치마크: TensorRT-LLM 성능 향상

TensorRT-LLM은 다양한 GPU에서 LLM 추론에 대한 상당한 성능 향상을 보여줍니다. 다음은 다양한 NVIDIA GPU에서 TensorRT-LLM을 사용하여 추론 속도(초당 토큰으로 측정)를 비교한 것입니다.

이러한 벤치마크는 TensorRT-LLM이 특히 긴 시퀀스에서 상당한 성능 향상을 제공한다는 것을 보여줍니다.

실습: TensorRT-LLM 설치 및 빌드

1단계: 컨테이너 환경 만들기

사용 편의성을 위해 TensorRT-LLM은 모델을 빌드하고 실행하기 위한 제어된 환경을 만드는 Docker 이미지를 제공합니다.

docker build --pull \
             --target devel \
             --file docker/Dockerfile.multi \
             --tag tensorrt_llm/devel:latest .

docker run --rm -it \
           --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 --gpus=all \
           --volume ${PWD}:/code/tensorrt_llm \
           --workdir /code/tensorrt_llm \
           tensorrt_llm/devel:latest

python3 ./scripts/build_wheel.py --trt_root /usr/local/tensorrt
pip install ./build/tensorrt_llm*.whl

include_directories(${TENSORRT_LLM_PATH}/cpp/include)
link_directories(${TENSORRT_LLM_PATH}/cpp/build/tensorrt_llm)
target_link_libraries(your_project tensorrt_llm)

mkdir -p model_repository/gpt2/1
cp ./trt_engine/gpt2_fp16.engine model_repository/gpt2/1/

name: "gpt2"
platform: "tensorrt_llm"
max_batch_size: 8

input [
  {
    name: "input_ids"
    data_type: TYPE_INT32
    dims: [-1]
  }
]

output [
  {
    name: "logits"
    data_type: TYPE_FP32
    dims: [-1, -1]
  }
]

docker run --rm --gpus all \
    -v $(pwd)/model_repository:/models \
    nvcr.io/nvidia/tritonserver:23.05-py3 \
    tritonserver --model-repository=/models

curl -X POST http://localhost:8000/v2/models/gpt2/infer -d '{
  "inputs": [
    {"name": "input_ids", "shape": [1, 128], "datatype": "INT32", "data": [[101, 234, 1243]]}
  ]
}'