베스트
최고의 오픈소스 LLM 10선 (11월 2026)

최고의 오픈소스 LLM은 실제로 필요한 작업에 배포하고, 평가하고, 유지 관리할 수 있는 모델입니다. 워크스테이션에서 실행되는 모델이 클러스터가 필요한 더 높은 점수의 모델보다 더 유용할 수 있습니다. 반대로 까다로운 코딩 에이전트를 운영하는 조직이라면 더 뛰어난 작업 성능을 위해 상당한 인프라 비용을 감수하는 것이 합리적일 수 있습니다.
이 가이드의 모든 모델을 성능, 배포 실용성, 라이선스, 문서화 수준, 명시된 사용 사례에 대한 적합성을 기준으로 독립적으로 평가했습니다. 이 순위는 새로 직접 수행한 벤치마크가 아니라 편집진의 평가입니다. 공개된 성능 주장은 링크된 모델 개발자가 제공한 자료를 바탕으로 하며, 서로 다른 테스트 환경이나 설정에서 나온 결과는 직접 비교할 수 없습니다. 실제로 활용하기 쉬운지도 중요한 평가 기준으로 삼았으며, 이 때문에 Qwen3.8-27B, Gemma 4, gpt-oss가 목록 상위에 올랐습니다.
범위: 이 가이드에서는 오픈소스 LLM과 공개 가중치 LLM을 모두 다룹니다. 다운로드할 수 있는 가중치에 학습 데이터나 제한 없는 사용 권한이 반드시 포함되는 것은 아닙니다. 각 항목에는 체크포인트 또는 모델 제품군과 라이선스를 명시했습니다. 이전 버전이나 같은 개발자가 만든 다른 모델의 라이선스를 기준으로 삼지 마세요. 2026년 10월 14일 검토.
오픈소스 및 공개 가중치 LLM 비교
| AI 도구 | 추천 대상 | 기능 |
|---|---|---|
| Qwen3.8-27B | 자체 호스팅 애플리케이션에 가장 균형 잡힌 선택 | 밀집형 27B 언어 모델; 비전 기능; 기본 262K 컨텍스트; Apache 2.0 |
| Gemma 4 | 로컬 멀티모달 AI를 위한 다양한 크기 구성 | E2B, E4B, 12B, 26B A4B 및 31B 버전; Apache 2.0 |
| gpt-oss | 접근성이 뛰어난 텍스트 추론 모델 | 20B 및 120B 버전; 설정 가능한 추론; MXFP4; Apache 2.0 |
| DeepSeek V4 | 대규모 범용 추론 및 코딩에 적합 | Pro-0813 공식 출시 버전; Pro 및 Flash 크기; 100만 토큰 컨텍스트; MIT |
| GLM-5.3 | 서버급 코딩 에이전트에 적합 | 사후 학습 개선; 장기간 수행하는 코딩 작업; GLM-5.3 전용 라이선스 |
| Kimi K3 | 대규모 멀티모달 에이전트 워크플로에 적합 | 기본 비전 기능; 총 2.8T 및 활성 104B 매개변수; 1M 컨텍스트; 전용 라이선스 |
| Mistral Small 4 | 비즈니스 애플리케이션에 적합한 통합 모델 | 총 119B, 활성 6.5B; 텍스트 및 이미지; 256K 컨텍스트; Apache 2.0 |
| Devstral Small 2 | 목적이 분명한 로컬 코딩 에이전트 선택지 | 매개변수 24B; 코드베이스 도구; 비전 기능; 256K 컨텍스트; Apache 2.0 |
| Nemotron 3 Nano | 효율적인 에이전트 추론 실험에 적합 | 총 30B, 활성 3.5B; Mamba 및 어텐션 하이브리드; NVIDIA 라이선스 |
| Olmo 3.1 | 투명한 연구와 모델 개조에 적합 | 32B Instruct 및 Think 버전; 학습 자료; Apache 2.0 |
1. Qwen3.8-27B
대규모 GPU 클러스터로 바로 옮기지 않으면서도 성능과 적응성이 뛰어난 모델을 찾는 개발자에게 Qwen3.8-27B를 가장 먼저 추천합니다. 밀집형 언어 모델에 이미지와 동영상을 기본적으로 이해하는 기능을 결합해 코딩, 문서 분석, 연구 보조, 스크린샷 해석이 필요한 애플리케이션에 유용합니다. 이 모델이 이 자리에 오른 것은 역량과 배포 실용성의 균형을 갖췄기 때문이지, 모든 벤치마크에서 우승한다는 뜻은 아닙니다.
이 모델은 추론 방식을 설정할 수 있으며 기본 262,144토큰 컨텍스트 창을 지원하고, 이를 100만 토큰까지 확장할 수 있습니다. 이 차이는 중요합니다. 컨텍스트를 확장하려면 별도 설정과 추가 리소스가 필요하므로 워크스테이션에서 기본적으로 이용할 수 있는 기능으로 여겨서는 안 됩니다. 내부 문서 보조 도구를 구축한다면 먼저 적당한 컨텍스트 크기와 검색 기능으로 시작한 뒤, 입력을 길게 했을 때 답변이 측정 가능한 수준으로 개선되는 경우에만 확장하세요.
이 체크포인트에는 Apache 2.0 라이선스가 적용됩니다. 양자화 버전을 사용하면 로컬 실험에 더 쉽게 접근할 수 있지만, 언어 모델과 비전 구성 요소, 캐시, 런타임 모두 메모리를 사용합니다. 해당 아키텍처와 멀티모달 입력을 명시적으로 지원하는 구현을 선택하세요. 텍스트만 성공적으로 불러왔다고 해서 이미지, 도구 호출 또는 확장된 컨텍스트가 제대로 작동한다는 뜻은 아닙니다.
장단점
- 코딩, 추론, 시각적 이해 기능을 유용하게 결합
- 클러스터급 모델을 대신할 실용적인 대안
- 사용 조건이 폭넓은 체크포인트 라이선스
- 정밀도를 높이면 여전히 상당한 메모리가 필요
- 컨텍스트를 확장하면 배포 부담이 커짐
2. Gemma 4
Gemma 4는 멀티모달 애플리케이션을 다양한 하드웨어 예산에 맞추는 데 가장 유용한 모델군입니다. Google은 유효 매개변수 수가 적은 모델, 12B 모델, 26B 전문가 혼합 모델, 밀집형 31B 모델 등 여러 크기의 모델을 제공합니다. 덕분에 모든 사용자가 가장 큰 체크포인트를 구동할 수 있다고 가정하지 않고도 개발자는 성능이 제한된 기기부터 워크스테이션까지 선택할 수 있습니다.
모델군 안에서도 기능이 서로 다릅니다. 31B 모델은 텍스트와 이미지를 입력받고, E2B, E4B, 12B는 오디오 입력도 지원합니다. 소형 변형 모델의 컨텍스트 길이는 128K이며, 대형 구성은 256K를 제공합니다. 문서 또는 음성 애플리케이션을 구축할 때는 먼저 입력 요건에 맞는 체크포인트를 선택해야 합니다. 필요한 모달리티를 지원하지 않는다면 가장 큰 모델이 반드시 가장 적합한 것은 아닙니다.
Gemma 4는 Apache 2.0 라이선스를 적용하지만, 하드웨어 계획에는 여전히 주의가 필요합니다. E2B와 E4B의 유효 매개변수 수에는 규모가 큰 일부 임베딩 구성 요소가 포함되지 않으므로, 모델명만으로 메모리 요구량을 정확히 가늠할 수는 없습니다. 배포 선택의 폭이 넓다는 점에서 이 모델군을 높이 평가하지만, 고정된 워크스테이션 한 대로 최대 성능을 내려는 독자는 자신의 문서와 프롬프트를 사용해 적절한 Gemma 모델과 Qwen을 직접 비교해야 합니다.
장단점
- 다양한 배포 예산에 맞는 여러 크기
- 모델군 전반의 이미지 지원
- 일부 변형 모델의 오디오 입력 지원
- 체크포인트에 따라 모달리티와 컨텍스트 길이가 다름
- 유효 매개변수 수만으로는 메모리 요구량을 파악하기 어려움
3. gpt-oss
OpenAI의 gpt-oss는 비공개 텍스트 추론과 도구를 활용하는 어시스턴트를 구축하기 위한 실용적인 출발점입니다. 이 모델군에는 20b와 120b 변형 모델이 있으며, 소형 모델은 보다 접근하기 쉬운 하드웨어를 겨냥합니다. 배포 대상이 명확하다는 점에서 높은 순위를 차지합니다. 사용자는 1조 매개변수 모델에 필요한 인프라부터 마련하지 않고도 로컬 추론 시스템을 구축할 수 있습니다.
공식 릴리스는 전문가 가중치에 MXFP4 양자화를 적용합니다. OpenAI는 20b 모델이 16GB 메모리에서, 120b 모델이 80GB GPU에서 작동한다고 안내합니다. 다만 이 수치는 모든 컨텍스트 길이, 런타임 또는 동시 사용자 수를 보장하는 것으로 해석해서는 안 됩니다. 추론 강도를 조절할 수 있으며, 애플리케이션에 필요한 실행 계층이 제공되면 구조화된 출력과 도구 호출도 지원합니다.
두 모델 모두 Apache 2.0 라이선스를 적용하며 올바른 Harmony 형식이 필요합니다. 텍스트만 처리하므로 시각적 문서 워크플로에는 다른 구성 요소가 필요합니다. 코딩 어시스턴트로 사용할 경우 쓰기 권한을 부여하기 전에 도구 스키마와 오류 복구 기능을 검증해야 합니다. gpt-oss를 선택할 가장 큰 이유는 제어하기 쉽고 비교적 접근성이 높은 텍스트 추론입니다. 네이티브 이미지 처리를 우선하는 사용자는 다른 모델부터 살펴봐야 합니다.
장단점
- 소형 모델은 문서에 명시된 메모리 요구량이 비교적 접근하기 쉬움
- 추론 강도와 도구 지원을 설정할 수 있음
- 제약이 적은 라이선스
- 네이티브 이미지 및 오디오 입력을 지원하지 않음
- 올바른 Harmony 형식이 필수
4. DeepSeek V4
DeepSeek V4는 대규모 추론을 지원할 수 있고 폭넓은 추론 및 코딩 기능을 원하는 조직에 적합한 선택입니다. 중요한 업데이트는 이전 Pro 프리뷰를 대체하는 공식 Pro-0813 릴리스입니다. 평가할 때는 V4라는 이름이 붙은 모든 엔드포인트를 동일한 것으로 간주하지 말고 정확한 체크포인트를 확인해야 합니다. 특히 결과를 비교하거나 에이전트 동작의 변화를 디버깅할 때 중요합니다.
이 모델군에는 총 매개변수 1.6조 개 중 토큰당 490억 개를 활성화하는 Pro와, 총 2,840억 개 중 130억 개를 활성화하는 Flash가 있습니다. 아키텍처는 백만 토큰 컨텍스트를 지원하며, 공식 Pro 릴리스에는 추측 디코딩 모듈이 추가되었습니다. 이러한 설계는 상당한 규모에서 효율성을 높이는 데 초점을 맞춥니다. 활성화 매개변수는 연산량을 나타내며, 나머지 전문가 가중치를 저장할 필요까지 없애 주는 것은 아닙니다.
이 릴리스는 MIT 라이선스를 적용합니다. 배포 복잡성으로 대상 사용자가 크게 제한되기 때문에 워크스테이션 중심의 선두 모델보다 낮은 순위에 두었으며, 소형 모델이 언제나 이 모델보다 뛰어나기 때문은 아닙니다. 중앙 추론 서비스를 구축하는 팀이라면 작업 완료당 비용, 동시 처리 능력, 도구 신뢰성을 기준으로 Pro와 Flash를 비교해야 합니다. 빠르게 사용할 로컬 어시스턴트를 찾는 개인 개발자는 이 가이드의 다른 부분에 소개된 소형 체크포인트부터 살펴보는 것이 좋습니다.
장단점
- 공식 릴리스가 이전 프리뷰보다 개선됨
- Pro와 Flash가 서로 다른 규모의 선택지를 제공함
- MIT 라이선스
- 대형 전문가 체크포인트에는 상당한 인프라가 필요함
- 긴 컨텍스트의 처리량은 워크로드별 평가가 필요함
5. GLM-5.3
GLM-5.3은 까다로운 소프트웨어 엔지니어링과 장시간 이어지는 에이전트 작업을 위해 Z.ai가 업데이트한 공개 가중치 모델입니다. GLM-5.2와 동일한 기반 모델을 사용하며, 성능 개선은 사후 학습을 통해 이뤄졌습니다. 개발사는 코딩 및 에이전트 벤치마크 전반에서 상당한 성능 향상을 보고했습니다. 따라서 이전 세대의 순위와 설명을 그대로 유지하기보다 GLM-5.3을 평가하는 것이 적절합니다.
GLM-5.3의 장점은 도구와 파일, 중간 결과물을 활용해 작업을 지속적으로 수행한다는 데 있습니다. 하지만 모델에 공개된 에이전트 점수는 평가 하네스, 추론 예산, 컨텍스트 관리 방식, 허용된 시간에도 영향을 받습니다. 저장소 작업을 돕는 어시스턴트를 평가할 때는 요청한 변경을 완료하는지, 회귀 오류를 일으키는지, 도구를 올바르게 사용하는지 확인해야 합니다. 벤치마크의 대표 점수만으로는 다른 개발 환경에서 이러한 결과를 달성할 수 있는지 판단할 수 없습니다.
라이선스 차이는 중요합니다. GLM-5.3은 맞춤형 라이선스를 사용하며, 이 글에서 이전에 소개한 GLM-5.2에 붙어 있던 MIT 라이선스와는 다릅니다. 이 라이선스에는 특정 대규모 모델 서비스 사업자를 대상으로 한 추가 검토 조건이 포함되어 있습니다. 상당한 규모의 체크포인트를 운용하려면 서버급 인프라도 고려해야 합니다. GLM-5.3은 기업용 코딩 모델 후보에 포함할 만하지만, 별다른 설정 없이 노트북에서 실행하기를 원하는 사용자에게 기본 선택지로 권하기는 어렵습니다.
장단점
- 지속적인 코딩 및 에이전트 작업에 초점을 맞춰 업데이트
- 다운로드 가능한 가중치와 문서화된 서빙 경로
- 개발사의 상세한 평가 자료
- 맞춤형 라이선스이므로 버전별 검토가 필요
- 대부분의 개인용 컴퓨터로는 감당하기 어려운 인프라 요구 사항
6. Kimi K3
Kimi K3는 시각적 이해와 장시간 이어지는 추론 및 도구 사용을 결합하려는 조직에 적합한 특화 모델입니다. Moonshot의 모델은 총 2조 8천억 개의 매개변수를 보유하며, 토큰당 약 1,040억 개가 활성화됩니다. 네이티브 비전 기능과 100만 토큰의 컨텍스트 창도 갖췄습니다. 하나의 시스템에서 코드, 스크린샷, 문서, 장시간의 대화 기록을 모두 다뤄야 하는 어시스턴트에 적합합니다.
통합 방식에 관한 세부 사항이 특히 중요합니다. Kimi K3는 추론 기능을 활성화한 상태로 작동하며, 추론 내용과 도구 호출 정보를 포함한 완전한 어시스턴트 메시지를 대화가 이어지는 동안 보존해야 합니다. 따라서 최종 답변만 저장하는 애플리케이션은 의도된 대화 형식을 올바르게 처리하지 못할 수 있습니다. 다른 모델과 비교하기 전에 서빙 계층과 에이전트 프레임워크가 필요한 대화 기록을 제대로 보존하는지 확인하세요.
맞춤형 라이선스와 매우 큰 체크포인트를 고려하면, 이는 모델 선택뿐 아니라 인프라에 관한 결정이기도 합니다. 네이티브 양자화는 서빙 효율을 높이는 데 도움이 되지만, 일반적인 워크스테이션용 모델로 바꿔 주지는 않습니다. 까다로운 멀티모달 워크플로를 통해 운영 비용을 정당화할 수 있는 팀에 Kimi K3를 권합니다. 일반적인 텍스트 요약이나 소규모 문서 모음에는 대개 이 정도 규모가 필요하지 않습니다.
장단점
- 긴 컨텍스트 추론과 네이티브 시각 이해 기능을 함께 제공
- 도구 기반의 장시간 워크플로에 맞게 설계
- 공개된 가중치로 통제된 배포 가능
- 매우 큰 인프라 사용량
- 맞춤형 라이선스 및 대화 형식 관련 요구 사항
7. Mistral Small 4
Mistral Small 4는 일반적인 지시 수행, 추론, 코딩, 이미지 이해 기능을 하나의 모델에 결합했습니다. 요청마다 별도의 특화 모델을 관리하는 대신 일관된 인터페이스에서 여러 기능을 제공해야 하는 비즈니스 애플리케이션에 적합합니다. 이러한 운영상의 다재다능함이 이 모델의 위치를 뒷받침하며, 특히 상당한 규모의 추론 서비스를 운영하는 데 익숙한 팀에 매력적입니다.
이름에 Small이 들어가지만 총 매개변수 수는 1,190억 개이며, 토큰당 65억 개가 활성화됩니다. 256K 컨텍스트 창과 조정 가능한 추론 수준을 지원하므로, 일상적인 질문에는 짧게 답하고 어려운 작업에는 더 깊이 숙고하도록 서비스를 설정할 수 있습니다. 전문가 혼합 구조는 활성 연산량을 줄여 주지만, 전체 가중치가 차지하는 저장 공간과 메모리 부담은 여전히 상당합니다.
체크포인트는 Apache 2.0 라이선스를 사용합니다. 공식 양자화 및 추측 디코딩 옵션을 활용해 최적화할 수 있지만, 그 효과는 하드웨어와 런타임 지원 여부에 따라 달라집니다. 스크린샷을 읽고 구조화된 동작을 수행하는 고객 지원 어시스턴트에 사용하려면 이미지 이해 품질, 스키마 준수 여부, 응답 시간을 함께 테스트하세요. 여러 기능을 통합해 운영이 간소화될 때 이 모델을 선택하되, 이름만 보고 8B 노트북 모델 수준의 사용량을 기대해서는 안 됩니다.
장단점
- 추론, 지시 수행, 코딩, 시각 이해 기능을 결합
- 요청별로 추론 수준 조정 가능
- Apache 2.0 라이선스
- Small이라는 이름이 전체 모델 규모를 축소해 보이게 함
- 최적화 효과는 배포 환경에 따라 달라짐
8. Devstral Small 2
Devstral Small 2는 주로 저장소를 탐색하고 파일을 수정하며 소프트웨어 엔지니어링 에이전트 안에서 작동하는 모델을 원하는 개발자에게 적합한 대안입니다. 240억 개의 매개변수로 구성되어 있어 앞서 소개한 대규모 코딩 시스템보다 배포 부담이 적습니다. 같은 평가에서 최신 범용 모델도 검토할 만하지만, Devstral Small 2는 전문 모델로서 여전히 유용합니다.
Mistral은 256K 컨텍스트 창, 이미지 이해 기능, Vibe 코딩 환경과의 통합을 문서화하고 있습니다. 이 모델의 가치는 인상적인 코드 조각을 단독으로 생성할 수 있는지보다 편집과 테스트를 아우르는 전체 작업 흐름을 얼마나 잘 처리하는지에 달려 있습니다. 경쟁 모델과 동일한 도구와 권한을 사용해 저장소 구조, 프로그래밍 언어, 종속성 제약 조건, 테스트 모음에서 성능을 평가하세요.
이 모델은 Apache 2.0 라이선스로 공개되었습니다. Mistral은 일반 소비자용 GPU와 32GB Mac에서 배포할 수 있는 가능성을 제시하지만, 실제로 실행 가능한 규모는 정밀도, 컨텍스트, 런타임 오버헤드에 따라 달라집니다. 한 번의 프롬프트로 거대한 저장소를 처리하려 하기 전에 짧은 세션과 호환되는 양자화 설정부터 시작하세요. 전용 코딩 워크스테이션용으로는 이 모델을 추천하지만, 광범위한 조사나 음성 기능, 범용 멀티모달 지원이 필요한 팀은 이 모델의 좁은 초점을 상위권 범용 모델과 비교해 보는 것이 좋습니다.
장점과 단점
- 저장소 및 도구 작업 흐름에 맞춰 설계됨
- 최상위 코딩 모델보다 부담이 적은 규모
- 이미지 이해 기능과 유연한 라이선스
- 전문 분야에 초점을 맞춰 범용 비서 작업에는 활용도가 낮음
- 최대 컨텍스트가 소비자용 하드웨어에서의 실행을 보장하지는 않음
9. Nemotron 3 Nano
NVIDIA의 Nemotron 3 Nano는 텍스트 기반 에이전트의 효율성을 높이려는 개발자에게 흥미로운 선택지입니다. Mamba 구성 요소와 어텐션, 전문가 혼합 계층을 결합했으며, 전체 매개변수는 300억 개이고 토큰당 활성화되는 매개변수는 약 35억 개입니다. 이 모델을 평가할 이유는 아키텍처가 운영 환경에 적합한지 살펴보는 데 있습니다. Nano라는 이름만 보고 어떤 기기에서든 실행할 수 있다고 가정해서는 안 됩니다.
이 모델은 채팅 템플릿을 통해 추론 모드와 비추론 모드를 지원합니다. 따라서 애플리케이션은 어려운 요청에는 더 긴 숙고 시간을 할당하고 간단한 요청에는 더 빠르게 응답하도록 설정할 수 있습니다. 하이브리드 아키텍처이므로 런타임 지원 여부도 필수적인 선택 기준입니다. 표준 트랜스포머 최적화가 모두 적용된다고 가정하지 말고, 사용할 엔진과 양자화 형식, 하드웨어 조합을 정확히 확인하세요.
이 모델은 NVIDIA Nemotron Open Model License로 공개되었습니다. 반복 가능한 추론 벤치마크를 구축하고 배포 환경을 조정할 의향이 있는 팀이라면 전문 모델 후보로 고려할 가치가 있습니다. 출력 품질과 함께 정답에 도달하는 시간, 메모리 사용량, 동시 요청 처리 성능을 비교하세요. 바로 사용할 수 있는 시각 비서를 주로 찾는 독자에게는 이 순위에서 앞서 소개한 멀티모달 모델이 그 목적에 더 적합합니다.
장점과 단점
- 하이브리드 아키텍처를 바탕으로 효율성에 초점을 둔 대안
- 추론 동작을 설정할 수 있음
- 상세한 기술 문서
- 텍스트 중심 모델로, 기본 시각 비서는 아님
- 런타임 지원 및 맞춤형 라이선스 확인 필요
10. Olmo 3.1
Ai2의 Olmo 3.1은 개방성이 다운로드 버튼 하나로 끝나는 것이 아니기 때문에 주목할 만합니다. 32B Instruct 모델은 학습 데이터 세트와 코드, 중간 체크포인트, 방법론을 공개하는 생태계의 일부입니다. 학습 과정의 선택이 모델 동작에 어떤 영향을 미치는지 연구하는 사람에게는 이러한 자료가 개발 과정에 거의 접근할 수 없는 모델의 더 높은 점수보다 유용할 수 있습니다.
이 제품군에는 Instruct와 Think 버전이 있으며, 관련 문서에는 사전 학습과 후속 학습 단계가 연결되어 설명되어 있습니다. 덕분에 적용 방식에 관한 선택을 살펴보고 모델 개발의 각 단계를 비교하기가 더 쉽습니다. 비서 용도로는 지시 튜닝된 체크포인트부터 사용하세요. 기본 체크포인트는 용도가 다르므로 대화형 사용에 이미 최적화된 것처럼 평가해서는 안 됩니다.
Olmo 3.1은 Apache 2.0 라이선스를 사용하며, 주로 영어 텍스트를 처리하는 모델입니다. 최첨단 성능을 앞선다는 뜻이 아니라 투명성에 특화된 모델로 평가했습니다. 연구 그룹이나 교육자, 모델 적용 방식을 연구하는 팀이라면 이 모델을 선택할 충분한 이유가 있습니다. 네이티브 이미지 이해 기능이나 폭넓은 다국어 지원, 최고 수준의 즉시 사용 가능한 코딩 에이전트를 원하는 프로덕션 환경의 구매자는 먼저 앞서 소개한 대안을 평가해야 합니다.
장점과 단점
- 학습 자료를 바탕으로 모델을 살펴보고 연구할 수 있음
- 후속 학습 단계와 버전이 다양함
- Apache 2.0 라이선스
- 영어 텍스트 중심이라 일부 용도에는 제약이 있음
- 연구 투명성이 뛰어난 작업 정확도를 보장하지는 않는다
메모리는 얼마나 필요할까?
실제 체크포인트 크기와 런타임에 명시된 요구 사항부터 확인하세요. 가중치만 대략 추산하려면 매개변수 수에 가중치당 비트 수를 곱한 뒤 8로 나눕니다. 4비트의 30B 모델은 양자화 메타데이터, 비양자화 구성 요소, 컨텍스트 캐시, 임시 버퍼와 운영체제에 필요한 공간을 고려하기 전에도 약 15GB가 필요합니다. 이는 산술적으로 계산한 최소치일 뿐, 16GB 시스템에서 실행할 수 있다는 보장은 아닙니다.
전문가 혼합 모델에서는 가중치 저장 공간을 추산할 때 전체 매개변수 수를 사용하세요. 활성화된 매개변수 수는 토큰당 연산량을 설명하는 데 도움이 되지만, 나머지 전문가가 사라진다는 뜻은 아닙니다. CPU 오프로딩으로 GPU 메모리 요구량을 줄일 수 있지만 속도가 크게 느려질 수 있습니다. Mac의 통합 메모리는 시스템과 공유하므로 모델이 전부 사용할 수 있는 메모리로 간주해서는 안 됩니다.
- 메모리가 제한된 개인용 컴퓨터: 더 작은 Gemma 변형으로 시작하거나 지원되는 구성에서 gpt-oss-20b를 평가하세요. 여유 메모리를 확보하고 초기에는 컨텍스트 길이를 짧게 설정하세요.
- 메모리가 더 넉넉한 워크스테이션: 양자화된 Qwen3.8-27B, 적절한 Gemma 변형, Devstral Small 2를 비교하세요. 이미지 지원 여부는 텍스트 추론과 별도로 확인하세요.
- 서버와 클러스터: 작업의 가치가 서비스 제공 비용과 운영 복잡성을 정당화한다면 DeepSeek V4, GLM-5.3, Kimi K3 또는 더 큰 구성을 고려하세요.
모델의 최대 컨텍스트 길이가 일상적인 사용에 권장되는 설정이라는 뜻은 아닙니다. 입력이 길어질수록 메모리와 처리 요구량이 늘어나며, 동시에 사용하는 사람이 많아지면 필요한 리소스도 그만큼 증가합니다. 설치 방법과 모델, 런타임, 인터페이스의 차이는 로컬에서 LLM을 실행하는 도구 가이드를 참고하세요.
오픈소스, 공개 가중치, 프라이빗 배포
가중치에 접근할 수 있으면 추론을 어디서 실행할지 제어할 수 있지만, 그렇다고 전체 학습 레시피까지 자동으로 제공되거나 모든 용도가 허용되는 것은 아닙니다. Apache 2.0 및 MIT 라이선스가 표시된 모델도 해당 체크포인트의 라이선스를 직접 확인해야 합니다. GLM-5.3, Kimi K3, Nemotron은 각자 고유한 모델 라이선스를 사용합니다. 최종 가중치뿐 아니라 개발 과정에 대한 접근도 중요하다면 Olmo가 특히 적합합니다.
전체 애플리케이션을 그렇게 구성하면 자체 호스팅으로 프롬프트가 인프라 밖으로 나가지 않도록 할 수 있습니다. 하지만 클라우드 임베딩, 원격 검색, 로깅 서비스, 에이전트 도구는 여전히 데이터를 다른 곳으로 전송할 수 있습니다. 전체 워크플로를 평가하고 지연 시간뿐 아니라 오답과 작업 실패도 측정하세요. 파일을 수정하거나 비즈니스 시스템과 상호작용하는 도구에는 권한을 제한하고, 작업의 성격상 필요한 경우 승인 단계를 두세요.
어떤 오픈 LLM을 선택해야 할까?
실용적인 첫 비교를 위해 범용 멀티모달 애플리케이션에는 Qwen3.8-27B, 다양한 로컬 모델 크기 중에서 선택하려면 Gemma 4, 쉽게 활용할 수 있는 텍스트 추론 모델을 찾는다면 gpt-oss부터 살펴보세요. 이 모델들은 중앙 추론 클러스터를 구축하기 전에 유용한 출발점이 됩니다.
서버 규모의 까다로운 작업에는 폭넓은 추론 및 코딩 성능을 갖춘 DeepSeek V4, 장시간 작동하는 소프트웨어 에이전트에 적합한 GLM-5.3, 멀티모달 워크플로에 적합한 Kimi K3를 비교하세요. 하나의 모델로 여러 비즈니스 작업을 처리하면서 추론 방식을 설정해야 한다면 Mistral Small 4도 평가해 볼 만합니다.
각 전문 모델은 서로 다른 요구에 대응합니다. 코딩에 집중하는 워크스테이션에는 Devstral Small 2, 효율성을 중시하는 텍스트 에이전트에는 Nemotron 3 Nano, 투명한 연구와 적용을 중시한다면 Olmo 3.1을 살펴보세요. 하드웨어와 라이선스 요구 사항에 맞는 모델 두세 개를 고른 다음, 배포 모델을 결정하기 전에 동일한 대표 작업으로 평가하세요.











