파이썬 라이브러리

딥러닝을 위한 최고의 파이썬 라이브러리 10선

Alex McFarland
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트PyTorch는 유연성 면에서 앞서지만 성능과 배포에 대한 수작업을 여전히 요구합니다.
더 보기
  • PyTorch는 유연성 면에서 앞서지만 성능과 배포에 대한 수작업을 여전히 요구합니다.
  • Keras 3는 이식 가능한 모델 정의를 위해 TensorFlow, JAX 및 PyTorch 백엔드를 지원합니다.
  • Transformers v5는 PyTorch에 집중하기 위해 TensorFlow와 Flax 지원을 중단합니다.

딥러닝에 가장 적합한 파이썬 라이브러리는 신경망을 설계하는지, 사전 학습된 모델을 조정하는지, 실험을 체계화하는지, 아니면 메모리 병목을 해결하는지에 따라 달라집니다. 이러한 작업에 모두 같은 계층의 소프트웨어가 필요한 것은 아닙니다. 핵심 프레임워크는 텐서 연산과 미분 기능을 제공하고, 다른 라이브러리는 모델 이용, 학습 구조 또는 특화된 생성 워크플로를 지원합니다.

2026년 10월 현재의 공식 문서, 워크플로 적합성, 통합 요건, 실용적 한계를 기준으로 이 라이브러리 10개를 독립적으로 평가했습니다. 범용 라이브러리로는 PyTorch를 여전히 가장 먼저 추천하며, Keras는 쉽게 접근할 수 있는 멀티 백엔드 인터페이스를 제공하고, Transformers는 사전 학습된 파운데이션 모델을 시작하기에 적합합니다. 이 순위는 편집부의 평가이며, 새로 실시한 실측 속도 또는 정확도 벤치마크에 따른 결과는 아닙니다.

여러 라이브러리는 함께 사용하도록 설계되어 있습니다. Lightning과 fastai는 PyTorch를 기반으로 하고, Flax는 JAX를 기반으로 하며, Keras는 여러 실행 백엔드 중 하나를 사용할 수 있습니다. 목표는 순위가 높은 라이브러리를 전부 설치하는 것이 아니라 서로 잘 맞는 기술 스택을 선택하는 것입니다.

최고의 파이썬 딥러닝 라이브러리 비교

AI 도구추천 대상기능
PyTorch범용 딥러닝 및 사용자 지정 모델텐서, 자동 미분, 신경망, 컴파일, 분산 학습
Keras여러 백엔드에서 쉽게 모델 구축고수준 학습 API, TensorFlow·JAX·PyTorch 백엔드, 이식 가능한 연산
Transformers사전 학습된 파운데이션 모델 활용 및 조정모델 정의, 토크나이저 및 프로세서, 생성, 학습 인터페이스
JAX수치 연구 및 조합 가능한 프로그램 변환배열 연산, 미분, 컴파일, 벡터화, 샤딩
TensorFlow기존 TensorFlow 애플리케이션 및 배포 파이프라인텐서 연산, 자동 미분, 데이터 파이프라인, 분산 학습, 내보내기
PyTorch Lightning반복 가능한 PyTorch 학습 워크플로 구성LightningModule, Trainer, 정밀도, 체크포인트, 분산 전략
FlaxJAX 기반 신경망 구축NNX 모듈, 모델 상태, JAX 변환, Linen 마이그레이션 안내
Diffusers이미지·동영상·오디오 생성 워크플로사전 학습된 파이프라인, 모듈형 구성 요소, 어댑터, 학습 및 추론 최적화
DeepSpeed메모리가 제한된 환경의 분산 모델 학습ZeRO 단계, 상태 분할, 오프로딩, 대규모 모델 실행
fastai딥러닝 학습 및 실용적인 기준선 구축고수준 PyTorch API, 데이터 블록, 콜백, 조정 가능한 학습 구성 요소

1. PyTorch

새로운 범용 딥러닝 프로젝트에는 PyTorch를 가장 먼저 추천합니다. PyTorch는 텐서 연산, 자동 미분, 신경망 구성 요소를 결합하고, 개발자가 모델과 학습 로직을 직접 다룰 수 있는 프로그래밍 방식을 제공합니다. 또한 PyTorch 생태계를 활용하면 아키텍처를 실험하는 단계에서 기존 모델을 애플리케이션에 맞게 조정하는 단계로 실용적으로 나아갈 수 있습니다.

가장 큰 장점은 개발 과정 전반에 걸친 유연성입니다. 팀은 간단한 학습 루프부터 시작해 중간 값을 확인하고, 측정 결과에 따라 필요성이 입증되면 컴파일이나 분산 실행을 도입할 수 있습니다. 모델이 계속 바뀌는 상황에서는 이런 단계적 접근이 유용합니다. 특이한 손실 함수나 업데이트 일정에 맞지 않을 수 있는 학습 추상화를 너무 일찍 선택하는 일을 피할 수 있기 때문입니다.

PyTorch가 성능 튜닝이나 배포를 자동으로 처리해 주는 것은 아닙니다. 데이터 로딩, 가속기 메모리, 정밀도, 체크포인트 관리, 추론 패키징은 모두 병목이 될 수 있습니다. 먼저 작은 규모로 올바르게 실행되는지 확인한 다음 최적화를 추가하고, 최적화된 버전에서도 출력 품질이 허용 가능한 수준으로 유지되는지 검증하세요. 모든 모델에서 가장 빠르기 때문도, 기존 TensorFlow 또는 JAX 프로젝트가 반드시 마이그레이션해야 하기 때문도 아니라 폭넓게 활용할 수 있고 생태계와 잘 맞는다는 점에서 1위로 선정했습니다.

장점과 단점

  • 유연한 모델 및 학습 루프 개발
  • 다양한 모델과 지원 라이브러리로 이루어진 폭넓은 생태계
  • 컴파일 및 분산 실행을 위한 다양한 경로
  • 성능 및 배포에는 엔지니어링 작업이 필요
  • 가속기 및 확장 기능과의 호환성을 확인해야 함

PyTorch 살펴보기

2. Keras

현재의 Keras는 단순히 TensorFlow 모델 구축 인터페이스를 달리 부르는 이름이 아니므로 별도 항목으로 다룰 만합니다. Keras 3는 TensorFlow, JAX, PyTorch 백엔드를 지원하며, 레이어, 모델, 학습, 직렬화를 위한 고수준 접근 방식을 제공합니다. 직접 모든 루프를 작성하지 않고도 읽기 쉬운 모델 정의와 일관된 학습 인터페이스를 원하는 개발자에게 적합한 선택입니다.

이식성에는 조건이 따릅니다. 기본 제공 레이어와 백엔드에 종속되지 않는 연산은 백엔드를 더 쉽게 전환하도록 도울 수 있지만, 특정 백엔드에 직접 맞춰 작성한 사용자 지정 코드는 수정이 필요할 수 있습니다. 모델을 저장한다고 해서 임의의 TensorFlow 연산이 PyTorch 연산으로 바뀌는 것은 아닙니다. OpenVINO 백엔드는 목적이 다릅니다. 추론용이므로 서로 바꿔 쓸 수 있는 또 하나의 학습 백엔드로 소개해서는 안 됩니다.

Keras의 추상화 방식이 모델에 잘 맞고 팀이 간결한 개발 워크플로를 중시한다면 Keras를 선택하세요. 마이그레이션이 완료됐다고 판단하기 전에 실제 백엔드에서 모델 불러오기, 예측, 학습 동작, 내보내기를 테스트하세요. 코드가 성공적으로 실행되더라도 수치 차이와 난수 동작이 결과에 영향을 줄 수 있습니다. 접근성과 유연성을 고려해 Keras를 상위권에 두지만, 특수한 연산이나 학습 제어가 핵심 요구 사항인 경우에는 더 낮은 수준의 프레임워크 API를 권장합니다.

장점과 단점

  • 간결한 모델 구축 및 학습 API
  • 여러 학습 백엔드 지원
  • 백엔드에 종속되지 않는 연산으로 이식성 향상
  • 백엔드별 사용자 지정 코드로 이식성 제한
  • 백엔드별 기능과 수치 동작의 차이

Keras 살펴보기

3. Transformers

처음부터 설계한 신경망이 아니라 사전 학습된 파운데이션 모델을 기반으로 프로젝트를 시작한다면 Hugging Face Transformers가 가장 적합한 선택입니다. 모델 정의, 토크나이저와 프로세서, 생성 유틸리티, 추론 및 모델 적응을 위한 인터페이스를 제공합니다. 여러 언어 및 멀티모달 작업에 걸쳐 일관된 구성 요소를 제공하는 공용 모델 생태계에 접근할 수 있다는 점이 강점입니다.

주요 호환성 관련 수정 사항은 Transformers v5입니다. Hugging Face는 백엔드로 PyTorch에 집중하고 기존 TensorFlow 및 Flax 지원을 단계적으로 종료하고 있습니다. TensorFlow 전용 모델 클래스를 불러오는 이전 예제가 현재 설치 환경에서도 작동한다고 가정해서는 안 됩니다. JAX 생태계의 다른 부분에서 진행되는 호환성 작업은 Transformers 자체에서 이러한 이전 백엔드를 계속 지원하는 것과는 별개의 문제입니다.

먼저 적절한 체크포인트를 선택한 다음 아키텍처, 라이선스, 메모리 요구 사항, 지원되는 작업 인터페이스를 확인하세요. 라이브러리가 커뮤니티 모델이 사용자의 분야에서 정확한지 또는 서비스 운영 비용이 적정한지를 보장해 주지는 않습니다. 사전 학습 모델을 사용하는 워크플로에는 Transformers를 권장하며, 파인튜닝 전후로 평가를 진행해야 합니다. 소규모 지도 학습 작업이라면 먼저 더 단순한 기준 모델과 비교해 보세요. 맞춤형 신경망 연구에는 핵심 프레임워크가 더 명확한 출발점이 될 수 있습니다.

장점과 단점

  • 사전 학습 모델을 위한 공통 인터페이스
  • 추론 및 모델 적응 지원
  • 폭넓은 언어 및 멀티모달 생태계
  • 주요 버전 마이그레이션으로 기존 워크플로가 중단될 수 있음
  • 체크포인트의 적합성과 리소스 요구 사항은 모델마다 다름

Transformers 살펴보기

4. JAX

JAX는 자동 미분, 컴파일, 벡터화, 분산 실행을 통해 수학적 프로그램을 변환하려는 연구자를 위한 수치 계산 기반입니다. 배열 인터페이스는 NumPy 사용자에게 익숙하겠지만, 프로그래밍 모델을 익히려면 더 세심한 접근이 필요합니다. 표준적인 모델 학습 레시피보다 계산 자체가 주요 연구 대상일 때 특히 유용합니다.

변환 기능을 사용하면 계산을 한 번만 표현한 뒤 미분하거나 배치화하거나 컴파일할 수 있습니다. 실제로는 추적, 형상, 상태, 난수가 이러한 변환과 어떻게 상호작용하는지 이해하는 것이 과제입니다. 컴파일된 함수 밖에서는 일반 Python 코드처럼 작동하는 코드도 함수 안에서는 구조를 바꿔야 할 수 있습니다. 이러한 의미론은 규모를 키운 뒤 디버깅할 세부 사항이 아니라 설계의 일부로 다루세요.

JAX는 Flax 같은 신경망 라이브러리나 Keras 같은 고수준 인터페이스와 함께 사용하는 경우가 많습니다. 컴파일 시간과 안정화된 실행 시간을 구분해 벤치마크하고, 실행 시간을 측정할 때는 디바이스에서 비동기적으로 처리되는 작업도 고려하세요. 변환 모델이나 가속기 전략으로 구체적인 문제를 해결할 수 있다면 JAX를 권장합니다. 최소한의 수정만으로 기존 PyTorch 구현을 재사용하려는 팀에는 덜 직접적인 선택입니다.

장점과 단점

  • 조합 가능한 미분 및 프로그램 변환 기능
  • 유연한 배열 및 가속기 프로그래밍
  • 연구 중심 기술 스택의 유용한 기반
  • 추적 및 상태 관련 의미론을 익혀야 함
  • 완전한 학습 스택을 구성하려면 추가 구성 요소가 필요함

JAX 살펴보기

5. TensorFlow

TensorFlow는 이미 TensorFlow 모델과 데이터 파이프라인, 배포 인프라를 갖춘 팀에 여전히 중요한 선택지입니다. 신경망을 구축하고 학습하는 데 필요한 수치 연산 및 실행 기반을 제공하며, 이를 지원하는 도구로 구성된 폭넓은 생태계도 갖추고 있습니다. 여기서 TensorFlow를 가장 강력하게 추천할 만한 이유는 이미 운영 중인 프로덕션 스택과의 연속성을 유지하거나, 명확한 통합 요건을 충족할 수 있기 때문입니다.

Keras는 상위 수준의 모델 인터페이스를 제공할 수 있지만, 두 프로젝트를 분리할 수 없는 관계로 봐서는 안 됩니다. Keras는 이제 여러 백엔드를 지원합니다. TensorFlow에 특화된 작업에서는 개발자가 TensorFlow의 텐서 연산, 자동 미분, 데이터 파이프라인 도구, 분산 학습 기능을 직접 사용할 수 있습니다. 이러한 차이를 이해하면 프로젝트가 Keras의 관례에 의존하는지, TensorFlow 연산에 의존하는지, 아니면 둘 다에 의존하는지 파악하는 데 도움이 됩니다.

내보낸 산출물과 필요한 연산자를 포함해, 사용할 서빙 경로나 기기 경로가 적절한지 초기에 검증하세요. Python에서 학습이 성공했다고 해서 모든 모델이 모든 대상 런타임으로 문제없이 변환된다는 뜻은 아닙니다. 이 독자층을 위한 보다 범용적인 시작점보다 TensorFlow의 순위를 낮게 두지만, 이미 정착된 시스템에서 벗어나 마이그레이션해도 얻는 이점이 거의 없을 수 있다는 점은 고려해야 합니다. 프레임워크를 바꾸면 모델 품질이 향상될 것이라고 가정하지 말고, 기존 자산과 배포 요건, 측정된 엔지니어링 비용을 바탕으로 선택하세요.

장단점

  • 기존 TensorFlow 인프라를 갖춘 환경에 유용
  • 통합된 수치 연산 및 데이터 처리 도구
  • 성숙한 학습 및 내보내기 워크플로
  • 배포 호환성은 모델에 따라 다름
  • Keras와 TensorFlow의 버전 경계를 주의해야 함

TensorFlow 살펴보기

6. PyTorch Lightning

PyTorch Lightning은 PyTorch 학습에 구조를 더해 팀이 동일한 실행 및 실험 관리 로직을 반복해서 구현하지 않도록 합니다. 개발자는 모델의 동작과 학습 단계를 정의하고, 프레임워크가 주변의 여러 작업을 처리합니다. 여러 실험에서 검증, 로깅, 체크포인트, 정밀도 설정, 기기 구성을 일관되게 유지해야 할 때 유용합니다.

새로운 모델링 기능이 아니라 일관성을 제공한다는 점이 장점입니다. 공통된 학습 구조를 사용하면 동료들이 실험을 이해하고 구성을 재현하기가 쉬워집니다. 분산 실행을 더 체계적으로 구성할 수도 있지만, 선택한 전략은 여전히 모델과 하드웨어에 맞아야 합니다. Lightning은 자체 인프라에서도 실행할 수 있으므로, 이 라이브러리를 도입한다고 해서 호스팅 학습 서비스를 구매해야 하는 것은 아닙니다.

이 추상화 계층을 사용하려면 개발자가 학습 수명 주기를 익혀야 합니다. 학습 동작이 일반적이지 않다면 프레임워크가 의도한 알고리즘을 알아서 추론할 것이라고 가정하지 말고, 콜백 실행 순서와 옵티마이저 제어, 체크포인트 내용을 살펴보세요. 프로젝트마다 학습 인프라가 중복되고 있다면 Lightning을 추천합니다. 소규모 실험이나 매우 독특한 연구 루프에서는 기본 PyTorch가 더 이해하기 쉬울 수 있으며, 나중에 구조를 추가하는 것도 충분히 합리적인 선택입니다.

장단점

  • 학습 인프라 코드를 반복해서 작성하는 일을 줄여 줌
  • 실험 및 체크포인트 구조의 일관성
  • 다양한 정밀도 및 실행 전략 지원
  • 학습 수명 주기에 대한 이해가 필요함
  • 일반적이지 않은 루프에는 더 세밀한 제어가 필요할 수 있음

PyTorch Lightning 살펴보기

7. Flax

Flax는 JAX 생태계에서 사용할 수 있는 신경망 구성 요소를 제공합니다. 현재 문서는 개발자가 일반적인 Python 객체로 모델을 표현하면서도 JAX 변환 기능을 활용할 수 있게 해 주는 NNX를 중심으로 설명합니다. 연산에는 JAX를 사용하면서도 계층과 매개변수, 기타 모델 상태를 일관된 방식으로 구성해야 하는 팀에 적합한 선택입니다.

NNX와 이전 Linen API가 함께 사용되고 있으므로, 튜토리얼이나 저장소에서 어떤 API를 사용하는지 확인해야 합니다. 공식 안내에서는 새 사용자에게 NNX를 고려하도록 권장하면서도 Linen이 가까운 시일 내에 지원 중단될 예정은 아니라고 설명합니다. 따라서 기존에 Linen을 사용하는 프로젝트는 최신 예제에서 다른 모델 인터페이스를 쓴다는 이유만으로 서둘러 다시 작성할 필요가 없습니다.

Flax를 사용하더라도 관련 JAX 의미 체계를 익혀야 합니다. 신뢰할 수 있는 학습 시스템을 구축하려면 상태 처리, 난수 관리, 옵티마이저 통합, 체크포인트 복구를 여전히 고려해야 합니다. JAX 스택을 의도적으로 선택하고, 모델 구조와 상태를 계속 살펴볼 수 있어야 하는 팀에 Flax를 추천합니다. 사전 학습된 체크포인트를 기반으로 애플리케이션을 만들 때는 먼저 해당 모델에 어떤 구현이 유지 관리되고 있는지 확인하세요. 프레임워크를 선호한다는 사실만으로 지원되는 로딩 또는 학습 경로가 보장되지는 않습니다.

장단점

  • JAX 프로젝트에 필요한 신경망 구조 제공
  • 익숙한 Python 객체 패턴을 지원하는 NNX
  • 명시적인 모델 상태 구성
  • JAX 지식은 여전히 필요함
  • NNX와 Linen의 예시는 서로 바꿔 사용할 수 없습니다

Flax 살펴보기

8. Diffusers

Hugging Face Diffusers는 디퓨전 모델과 관련 생성형 미디어 파이프라인을 구축하는 데 특화된 라이브러리로 추천할 만합니다. 추론을 빠르게 시작할 수 있는 사전 학습 파이프라인과 생성 과정을 맞춤 설정하려는 개발자를 위한 구성 요소를 함께 제공합니다. 따라서 이미지, 동영상, 오디오 작업에 적합하며, 텐서 프레임워크를 전반적으로 대체하는 용도로 쓰이지는 않습니다.

최신 문서에서는 바로 사용할 수 있는 DiffusionPipeline 워크플로와 여러 블록을 조합해 구성하는 모듈형 파이프라인을 구분합니다. 이러한 구분은 유용합니다. 지원되는 체크포인트를 불러와 어댑터를 시험하는 일은 기본 파이프라인 자체를 변경하는 일과는 다른 엔지니어링 작업이기 때문입니다. 먼저 실험을 지원하는 가장 상위 수준의 인터페이스를 사용하고, 특정 요구 사항이 있을 때 구성 요소 수준으로 내려가면 됩니다.

유용한 평가를 위해서는 리소스 계획이 핵심입니다. 모델 크기, 출력 해상도, 시퀀스 길이, 추론 단계 수, 오프로딩 선택에 따라 메모리 사용량과 생성 시간이 모두 달라질 수 있습니다. 이러한 비용과 함께 출력 품질을 비교하고, 선택한 가중치의 라이선스는 라이브러리 라이선스와 별도로 확인하세요. 생성형 미디어 작업에는 Diffusers를 권장합니다. 일반적인 분류기를 학습하거나 언어만 사용하는 검색 애플리케이션을 구축하는 팀에는 보통 스택의 다른 구성 요소가 필요합니다.

장단점

  • 편리하게 사용할 수 있는 사전 학습 생성 파이프라인
  • 맞춤 설정을 위한 조합형 구성 요소
  • 어댑터 및 최적화 워크플로
  • 생성형 미디어 모델은 많은 리소스를 사용할 수 있음
  • 기능과 라이선스는 체크포인트마다 다름

Diffusers 살펴보기

9. DeepSpeed

DeepSpeed는 딥러닝 학습을 시작할 때 기본으로 선택하는 라이브러리라기보다, 까다로운 모델을 학습하고 실행하기 위한 특화 최적화 라이브러리입니다. DeepSpeed의 ZeRO 방식은 데이터 병렬 작업자 간에 복제되는 학습 상태를 줄입니다. 각 단계에서는 옵티마이저 상태, 그래디언트, 모델 매개변수를 분할해, 사용 가능한 장치에 실용적인 학습 구성을 올리지 못하게 할 수 있는 메모리 부족 문제를 해결합니다.

이러한 메모리 절감에는 상충 관계가 따릅니다. 장치 간 통신, CPU 또는 저장 장치로의 오프로딩, 체크포인트 처리는 처리량과 복구에 영향을 줄 수 있습니다. 모델을 메모리에 올릴 수 있는 구성이라도 다른 방식보다 느리거나 비용이 더 많이 들 수 있습니다. 먼저 메모리를 차지하는 요소를 명확히 파악한 다음, 기존 프레임워크에서 사용할 수 있는 더 단순한 대안과 적절한 ZeRO 단계를 비교하세요.

측정 결과 메모리나 확장성의 제약이 운영 복잡성을 감수할 만큼 큰 경우 DeepSpeed를 권장합니다. 프레임워크, 가속기 스택, 확장 기능, 학습 통합 간의 호환성을 확인한 다음, 대표적인 체크포인트를 저장하고 복원하는 작업을 테스트하세요. 소규모 모델에는 대개 이러한 도구가 필요하지 않습니다. 이 목록에 포함된 것은 어려운 인프라 문제가 발생했을 때 이를 해결하는 일이 중요하기 때문이지, 모든 PyTorch 학습 작업에 분산 런타임을 추가하라는 뜻은 아닙니다.

장단점

  • 복제되는 학습 상태가 차지하는 메모리를 줄일 수 있음
  • 다양한 분할 및 오프로딩 옵션
  • 까다로운 대규모 모델 워크로드에 적합
  • 통신과 오프로딩이 속도에 영향을 줌
  • 구성과 복구를 세심하게 테스트해야 함

DeepSpeed 살펴보기

10. fastai

fastai는 모든 학습 구성 요소를 직접 조합하지 않고도 유용한 딥러닝 기준 모델을 만들고 싶은 학습자와 실무자에게 효율적인 선택입니다. PyTorch 위에 높은 수준의 데이터 및 학습 추상화를 제공하면서도, 하위 수준의 기본 구성 요소에 접근할 수 있게 합니다. 준비된 데이터셋으로 모델을 만들고 평가한 뒤 개선하는 과정까지 빠르게 이어갈 수 있다는 점이 장점입니다.

데이터 블록과 콜백 시스템을 활용하면 일반적인 작업 전반에서 전처리와 학습 동작을 체계적으로 구성할 수 있습니다. 다만 이러한 편의성은 데이터에 관한 가정이 올바를 때만 의미가 있습니다. 고무적인 검증 결과를 신뢰하기 전에 레이블, 데이터 분할, 변환, 평가 지표를 살펴보세요. 잘 다듬어진 학습 인터페이스라고 해서 모든 데이터 누수 문제를 찾아내거나 모델이 다른 입력 집단에도 일반화할 것임을 입증할 수는 없습니다.

교육, 신속한 실험, 추상화 기능으로 요구 사항을 충족할 수 있는 프로젝트에는 fastai를 권장합니다. 기본 설정이 어떤 작업을 수행하는지 파악해야 개선 사항을 설명하고 재현할 수 있습니다. 프로젝트에 매우 이례적인 아키텍처나 배포 파이프라인이 필요해지면 직접 PyTorch를 사용하는 편이 더 명확한 경로일 수 있습니다. 이 목록에서 순위가 낮은 것은 다양한 도구를 함께 소개하는 목록에서 권장되는 역할의 범위가 더 좁기 때문이지, fastai 모델이 본질적으로 더 나쁜 결과를 낸다는 뜻은 아닙니다.

장단점

  • 유용한 기준 모델을 쉽게 학습할 수 있는 경로
  • 계층형 API를 사용하면서도 PyTorch에 접근 가능
  • 재사용 가능한 데이터 및 콜백 추상화
  • 기본 설정도 이해하고 검증해야 합니다
  • 맞춤형 작업 흐름이 복잡한 경우 PyTorch를 사용하면 더 명확하게 구성할 수 있습니다

fastai 살펴보기

중요한 호환성 변경 사항

Transformers v5: Hugging Face의 v5 공식 발표에 따르면, 이전의 TensorFlow 및 Flax 백엔드 지원은 종료되고 PyTorch가 사용됩니다. 이전 백엔드 전용 클래스를 기반으로 구축된 애플리케이션을 업그레이드하기 전에 마이그레이션 지침을 확인하세요. 이번 변경이 JAX나 TensorFlow 자체의 지원 중단을 의미하는 것은 아닙니다.

Keras는 여러 백엔드를 지원합니다: Keras 3 문서에는 TensorFlow, JAX, PyTorch 학습 백엔드와 추론 전용 OpenVINO 백엔드가 설명되어 있습니다. 백엔드 간 이식성은 호환되는 연산과 사용자 지정 구성 요소에 따라 달라지므로 실제 모델로 검증해야 합니다.

Flax에는 서로 다른 API가 있습니다: Flax 문서에서는 신규 사용자에게 NNX를 권장하면서 Linen도 계속 지원합니다. 호환되지 않는 튜토리얼의 코드 조각을 섞지 말고, 프로젝트에서 사용하는 API에 맞는 예제를 선택하세요.

딥러닝 스택을 선택하고 평가하는 방법

  • 작업부터 살펴보세요: 사전 학습 모델을 사용할 때는 주변 프레임워크를 선택하기 전에 지원되는 체크포인트를 확인하세요. 사용자 지정 아키텍처를 구축한다면 계산 방식과 학습 동작을 제어할 수 있는지를 우선시하세요. 소규모 표 형식 데이터 문제에서는 딥러닝을 선택하기 전에 신경망을 사용하지 않는 기준 모델과 비교하세요.
  • 전체 환경의 호환성을 확인하세요: Python, 프레임워크, 가속기 런타임, 드라이버 및 확장 기능의 호환성을 함께 확인하세요. 각 패키지를 개별적으로 최신 버전으로 설치하는 것은 신뢰할 수 있는 호환성 확보 방법이 아닙니다.
  • 학습 처리량 외에도 측정하세요: 데이터 로딩, 컴파일, 최대 메모리 사용량, 체크포인트 저장 공간, 추론 지연 시간, 최종 모델의 품질을 측정 항목에 포함하세요. 최초 실행 시의 설정 과정과 정상 상태에서의 측정값을 구분하세요.
  • 복구를 테스트하세요: 학습을 재개하는 데 필요한 상태가 포함된 체크포인트를 저장하고 복원하세요. 비용이 많이 드는 실행을 시작하기 전에 복원된 작업이 예상대로 작동하는지 확인하세요.
  • 배포용 산출물을 검증하세요: 내보낸 모델을 실제로 사용할 서버 또는 기기 런타임에서 초기에 테스트하세요. 학습이 성공적으로 끝났다고 해서 내보낸 모델이 지원되는 연산자를 사용하거나, 허용 가능한 지연 시간을 제공하거나, 기기의 메모리 용량을 충족한다는 보장은 없습니다.
  • 평가를 재현할 수 있도록 하세요: 데이터 분할, 전처리, 모델 개정 버전, 패키지 버전, 정밀도 설정 및 지표를 기록하세요. 사전 학습 가중치의 라이선스는 소프트웨어 라이선스와 별도로 확인하세요.

자연어 처리 작업 흐름에 대해서는 Python 자연어 처리 라이브러리 가이드를 참조하세요. 학습 프레임워크가 아니라 가중치를 선택하는 경우에는 오픈소스 및 오픈 웨이트 LLM 추천을 비교해 보세요. 패키지의 인기보다 작업과 하드웨어 제약을 기준으로 선택해야 합니다.

어떤 딥러닝 라이브러리를 선택해야 할까요?

모델 개발의 폭넓은 유연성이 필요하다면 PyTorch, 간결한 멀티 백엔드 인터페이스를 원한다면 Keras, 사전 학습된 파운데이션 모델이 핵심 자산이라면 Transformers부터 시작하세요. 연구 과제에 JAX 변환 기능과 신경망 개발이 적합하다면 JAX와 Flax를 선택하세요. 기존 모델과 배포 인프라를 고려할 때 가장 실용적인 선택이라면 TensorFlow를 우선적으로 사용하세요.

반복적인 학습 인프라를 체계화해야 한다면 PyTorch Lightning을, 생성형 미디어 파이프라인에는 Diffusers를, 실측 메모리 사용량이나 분산 학습 제약을 고려할 때 필요성이 확인된다면 DeepSpeed를 추가하세요. 빠르게 학습하고 유용한 기준 모델을 구축하려면 fastai를 사용하세요. 서로 겹치는 추상화가 많이 모인 구성보다 작고 잘 이해된 스택이 검증하고 유지 관리하기 쉽습니다.

Alex는 Unite.AI의 AI 기반 뉴스 운영을 이끌고 있습니다. 저널리즘, 조사, 자동화를 결합해 인공지능에 관한 소식을 시의적절하게, 확장 가능한 방식으로 보도할 수 있도록 지원합니다. 그의 업무는 매체의 편집 기준을 유지하면서 새로운 AI 동향을 효율적으로 찾아 보도하는 데 기여합니다.