λ² μ€νΈ
2024λ 5μ 5κ°μ§ μ΅κ³ μ μ€ν μμ€ LLM
오픈 소스 AI는 폐쇄형 시스템과 동등한 수준에 도달했습니다. 이 다섯 가지 대규모 언어 모델(LLM)은 반복되는 API 비용이나 벤더 잠금 없이 기업급 성능을 제공합니다. 각 모델은 온디바이스 推論부터 대규모 다국어 지원까지 다양한 사용 사례를 처리합니다.
이 가이드는 GPT-OSS-120B, DeepSeek-R1, Qwen3-235B, LLaMA 4 및 Mixtral-8x22B의 기능, 비용 및 배포 요구 사항에 대한 세부 정보를 설명합니다.
퀵 비교
| 도구 | 최적화 | 시작 가격 | 주요 기능 |
|---|---|---|---|
| GPT-OSS-120B | 싱글 GPU 배포 | 무료 (Apache 2.0) | 80GB GPU에서 120B 파라미터 실행 |
| DeepSeek-R1 | 복잡한 推論 작업 | 무료 (MIT) | 671B 파라미터 및 투명한 推論 |
| Qwen3-235B | 다국어 애플리케이션 | 무료 (Apache 2.0) | 119+ 언어 지원 및 하이브리드 推論 |
| LLaMA 4 | 다중 모달 처리 | 무료 (사용자 정의 라이선스) | 10M 토큰 컨텍스트 창 |
| Mixtral-8x22B | 비용 효율적인 생산 | 무료 (Apache 2.0) | 75% 컴퓨팅 비용 절감 |
1. GPT-OSS-120B
OpenAI는 2025년 8월 GPT-2 이후 첫 번째 오픈 웨이트 모델을 출시했습니다. GPT-OSS-120B는 117억 개의 총 파라미터 중 5.1억 개의 활성 파라미터를 사용하는 전문가 모음 아키텍처를 사용합니다. 이 稀疏 디자인으로 인해 싱글 80GB GPU에서 실행할 수 있습니다.
모델은 o4-mini의 성능과 일치합니다. MMLU 테스트에서 90%의 정확도를 달성하며 GPQA 推論 작업에서 약 80%의 정확도를 달성합니다. 코드 생성은 62%의 패스@1을 달성하며 폐쇄형 대안과 경쟁합니다. 128,000토큰 컨텍스트 창은 문서 분석을 위해 충분한 크기입니다.
OpenAI는 o3 및 기타 최전선 시스템에서 기술을 사용하여 모델을 훈련했습니다.焦点은 실제 배포에 있었습니다. o200k_harmony 토크나이저를 모델과 함께 오픈 소스로 공개했습니다.
장단점
- 싱글 80GB GPU 배포로 인프라 비용을 절감할 수 있습니다.
- 네이티브 128K 컨텍스트 창으로 문서 분석을 처리할 수 있습니다.
- Apache 2.0 라이선스로 상업적 사용과 수정이 가능합니다.
- PyTorch, Triton 및 Metal의 참조 구현으로 통합을 단순화할 수 있습니다.
- 90%의 MMLU 정확도로 폐쇄형 모델과 경쟁합니다.
- 영어 중심의 훈련으로 다국어 기능이 제한됩니다.
- 5.1B의 활성 파라미터로 전문가 모델과 비교하여 성능이 낮을 수 있습니다.
- 80GB VRAM이 필요하여 소비자급 GPU 배포가 불가능합니다.
- 자원 제약 환경을 위한 蒸留 변형이 아직 없습니다.
- 다른 모델과 비교하여 도메인 전문성이 제한적입니다.
가격: GPT-OSS-120B는 Apache 2.0 라이선스를 사용하며 재발급 비용이 없습니다. 80GB 모델을 실행할 수 있는 하드웨어가 필요합니다. 클라우드 배포의 경우 적절한 인스턴스 유형에 따라 시간당 약 3-5달러의 비용이 발생합니다. 자체 호스팅의 경우 GPU를 한 번 구매하면 됩니다.
구독 비용이 없습니다. API 제한이 없습니다. 벤더 잠금이 없습니다.
2. DeepSeek-R1
DeepSeek-R1은 투명한 推論을 위해 모델을 구축했습니다. 아키텍처는 671억 개의 총 파라미터를 사용하며 37억 개의 파라미터가 활성화됩니다. 훈련은 전통적인 지도 학습 없이 강화 학습을 사용하여 推論 패턴을 자연스럽게 생성했습니다.
모델은 97%의 MATH-500 정확도를 달성하며 OpenAI의 o1과 비교하여 복잡한 推論 작업에서 경쟁합니다. DeepSeek-R1의 차별점은 推論 과정을 관찰할 수 있다는 것입니다. 모델은 단순한答案 대신 推論 과정을 보여줍니다.
DeepSeek는 1.5B에서 70B 파라미터까지 6개의 蒸留 변형을 출시했습니다. 이러한 모델은 하이엔드 소비자 GPU에서 에지 디바이스까지 다양한 하드웨어에서 실행할 수 있습니다.
장단점
- 97%의 MATH-500 정확도로 오픈 소스 모델에서 최고의 수학 推論 성능을 제공합니다.
- 투명한 推論 과정을 통해 검증과 디버깅이 가능합니다.
- 671B 파라미터로 깊은 분석 기능을 제공합니다.
- 여섯 가지 蒸留 변형으로 다양한 하드웨어에서 배포할 수 있습니다.
- MIT 라이선스로 상업적 사용이 가능합니다.
- 671B 파라미터로 인해 배포에 상당한 인프라가 필요합니다.
- 推論 모드가 활성화되면 대기 시간이 증가할 수 있습니다.
- 영어 중심의 훈련으로 다국어 성능이 제한됩니다.
- 강화 학습 접근법으로 설명이冗長할 수 있습니다.
- 커뮤니티 툴링이 아직 성숙하지 않습니다.
가격: DeepSeek-R1은 MIT 라이선스를 사용하며 사용 비용이 없습니다. 671B 모델은 8개의 A100 GPU가 필요합니다. 蒸留 모델은 더 저렴합니다.
DeepSeek는 무료 API 액세스를 제공하며 생산 배포에는 자체 호스팅이나 클라우드 인프라가 필요합니다.
3. Qwen3-235B
Alibaba의 Qwen3-235B는 하이브리드 推論을 오픈 소스 모델에 도입했습니다. 사용자는 작업 복잡성에 따라 推論 노력을 제어할 수 있습니다. 빠른 고객 서비스 응답이 필요한 경우 저 推論 모드를 사용할 수 있습니다.
아키텍처는 235억 개의 총 파라미터를 사용하며 22억 개의 파라미터가 활성화됩니다. 각 레이어에는 128개의 전문가가 있으며 토큰당 8개의 전문가가 활성화됩니다. 이 전문가 선택은 효율적인 처리를 가능하게 합니다. 모델은 119개 이상의 언어로 훈련되었으며 이전 Qwen 버전보다 10배 더 많은 다국어 데이터를 사용했습니다.
성능은 87-88%의 MMLU 정확도로 강력한 다국어 벤치마크를 제공합니다. 모델은 Asia, Europe 및 기타 시장에서 C-Eval 및 지역별 평가에서 강력한 성능을 제공합니다.
장단점
- 119개 이상의 언어를 지원하여 글로벌 배포가 가능합니다.
- 하이브리드 推論 제어가 비용-성능 트레이드오프를 최적화합니다.
- 128K 토큰 컨텍스트 창이 문서 분석을 처리할 수 있습니다.
- Apache 2.0 라이선스로 상업적 수정이 가능합니다.
- 87%의 MMLU 성능으로 최고의 오픈 소스 모델과 경쟁합니다.
- 235B 파라미터로 다중 GPU 설정이 필요합니다.
- 37%의 코드 생성 성능이 전문가 모델에 비해 낮습니다.
- 중국어 편향으로 다른 언어의 성능이 낮습니다.
- 思考 모드 선택이 어플리케이션 논리에 복잡성을 추가합니다.
- 커뮤니티 툴링이 아직 성숙하지 않습니다.
가격: Qwen3-235B는 Apache 2.0 라이선스를 사용하며 사용 비용이 없습니다. 235B 모델은 4-8개의 A100 GPU가 필요합니다. Alibaba Cloud는 관리형 엔드포인트를 제공하며 토큰당 0.002달러의 비용이 발생합니다.
7B, 14B, 72B 모델은 소비자급 하드웨어에서 실행할 수 있습니다.
4. LLaMA 4
Meta의 LLaMA 4는 네이티브 다중 모달 기능을 제공합니다. Scout 변형은 109억 개의 총 파라미터를 사용하며 17억 개의 파라미터가 활성화됩니다. Maverick는 더 큰 전문가 풀을 사용합니다. 두 모델 모두 초기 융합 기술을 사용하여 모달리티를 통합합니다.
컨텍스트 창은 10M 토큰까지 지원하며 표준 컨텍스트 창은 128K 토큰입니다. 모델은 30조 개의 토큰으로 훈련되었으며 LLaMA 3의 훈련 믹스보다 2배 더 많습니다.
성능은 LLaMA 4가 GPT-4o와 Gemini 2.0 Flash를超越하는 것을 보여줍니다. Meta는 메타P라는 기술을 개발하여 일관된 성능을 제공합니다.
장단점
- 10M 토큰 컨텍스트 창이 코드베이스 또는 데이터셋을 처리할 수 있습니다.
- 네이티브 다중 모달 처리가 텍스트, 이미지, 비디오 입력을 처리할 수 있습니다.
- 30조 개의 토큰으로 훈련되어 포괄적인 지식 범위를 제공합니다.
- 여러 가지 크기의 변형이 에지 배포부터 데이터 센터 규모까지 있습니다.
- GPT-4o를超越하는 코딩 및 推論 벤치마크 성능을 제공합니다.
- 사용자 정의 상업적 라이선스로 대규모 배포에는 검토가 필요합니다.
- 다중 모달 융합이 배포 파이프라인에 복잡성을 추가합니다.
- 10M 컨텍스트 창이 메모리 요구량을 증가시킵니다.
- 모델 크기 변형이 어떤 변형을 사용할지에 대해 혼동을 일으킵니다.
- 문서화가 아직 새 기능에 대해 완성되지 않았습니다.
가격: LLaMA 4는 사용자 정의 상업적 라이선스를 사용하며 대부분의 사용에는 무료입니다. Scout 변형은 2-4개의 H100 GPU가 필요합니다. Maverick는 4-8개의 H100 GPU가 필요합니다. Meta는 무료 API 액세스를 제공하며 사용량 제한이 있습니다.
소비자급 하드웨어에서 실행할 수 있는 더 작은 LLaMA 변형이 있습니다.
5. Mixtral-8x22B
Mistral AI의 Mixtral-8x22B는 75%의 컴퓨팅 비용을 절감합니다. 모델은 8개의 22억 개의 파라미터를 사용하며 39억 개의 파라미터가 활성화됩니다. 이 稀疏 활성화는 성능을 유지하면서 더 빠르게 실행됩니다.
모델은 네이티브 함수 호출을 지원하여 어플리케이션 개발을 단순화합니다. 다국어 성능은 유럽 언어에서 강력합니다.
수학 推論은 90.8%의 GSM8K 정확도를 달성하며 HumanEval 및 MBPP 벤치마크에서 강력한 성능을 제공합니다.
장단점
- 75%의 컴퓨팅 비용 절감으로 인프라 비용을ลด습니다.
- 네이티브 함수 호출이 API 통합을 단순화합니다.
- 유럽 언어에서 강력한 다국어 지원을 제공합니다.
- 90.8%의 GSM8K 정확도로 수학 推論에서 강력한 성능을 제공합니다.
- Apache 2.0 라이선스로 상업적 사용이 가능합니다.
- 64K 컨텍스트 창이 경쟁 모델보다 짧습니다.
- 유럽 언어에 편향되어 아시아 언어의 성능이 낮습니다.
- 39B의 활성 파라미터로 복잡한 推論 작업에서 성능이 낮을 수 있습니다.
- 전문가 라우팅 논리가 배포에 복잡성을 추가합니다.
- 커뮤니티가 아직 성숙하지 않습니다.
가격: Mixtral-8x22B는 Apache 2.0 라이선스를 사용하며 사용 비용이 없습니다. 2-4개의 A100 GPU가 필요합니다. Mistral은 관리형 API 액세스를 제공하며 입력 토큰당 2달러의 비용이 발생합니다.
자체 호스팅은 초기 하드웨어 투자 후에 토큰당 비용을 제거합니다.
어떤 모델을 선택해야 합니까?
하드웨어가 즉시 사용 가능한 옵션을 결정합니다. GPT-OSS-120B는 싱글 80GB GPU에서 실행할 수 있습니다. DeepSeek-R1의 蒸留 변형은 자원 제약을 처리할 수 있습니다.
다국어 요구 사항은 Qwen3-235B 또는 Mixtral-8x22B를 가리킵니다. LLaMA 4는 다중 모달 기능이나 128K 토큰을超越하는 컨텍스트 창이 필요한 경우 적합합니다.
비용 감소 배포는 Mixtral-8x22B를 선호합니다. 75%의 컴퓨팅 비용 절감은 규모에서 빠르게 누적됩니다. 연구 및 개발은 DeepSeek-R1의 투명한 推論을 통해 推論 논리를 검증할 수 있습니다.
모든 다섯 모델은 사용 비용이 없습니다. API 제한이 없습니다. 벤더 잠금이 없습니다. 배포, 데이터 개인 정보 및 모델 수정을 제어합니다. 오픈 소스 AI는 폐쇄형 시스템과 동등한 수준에 도달했습니다.
FAQ
이 오픈 소스 LLM을 실행하기 위해 어떤 하드웨어가 필요합니까?
최소 요구 사항은 모델마다 다릅니다. GPT-OSS-120B는 싱글 80GB GPU가 필요합니다. DeepSeek-R1의 전체 버전은 8개의 A100 GPU가 필요합니다. Qwen3-235B와 LLaMA 4는 2-8개의 GPU가 필요합니다. Mixtral-8x22B는 2-4개의 A100 GPU가 필요합니다.
GPT-4 또는 Claude 성능과 비교할 수 있습니까?
예, 특정 벤치마크에서입니다. DeepSeek-R1은 OpenAI o1과 비교하여 97%의 MATH-500 정확도를 달성합니다. LLaMA 4는 GPT-4o를超越하는 코딩 벤치마크 성능을 제공합니다.
다국어를 가장 잘 처리하는 모델은 무엇입니까?
Qwen3-235B는 119개 이상의 언어를 지원하며 이전 모델보다 10배 더 많은 다국어 데이터로 훈련되었습니다. Mixtral-8x22B는 유럽 언어에서 강력한 성능을 제공합니다.
하드웨어 비용 외에 사용 비용이 있습니까?
자체 호스팅의 경우 재발급 비용이 없습니다. LLaMA 4는 사용자 정의 상업적 라이선스를 사용하며 대부분의 사용에는 무료입니다. 클라우드 호스팅의 경우 제공업체와 인스턴스 유형에 따라 다릅니다.
전문가 모음과 밀도 모델의 차이는 무엇입니까?
전문가 모음 아키텍처는 입력마다 일부 파라미터만 활성화하여 효율성을 달성합니다. GPT-OSS-120B는 117B 파라미터 중 5.1B 파라미터만 활성화합니다. 밀도 모델은 모든 입력에 대해 모든 파라미터를 활성화합니다. 전문가 모음 모델은 70-75%의 컴퓨팅 비용을 절감하면서 밀도 모델과 유사한 규모에서 성능을 제공합니다.
