5년 2025월 최고의 오픈소스 LLM XNUMX선

LLM 대규모 언어 모델 (LLM)은 오늘날 AI의 초석으로 등장하여 혁신을 주도하고 기술과 상호 작용하는 방식을 재편하고 있습니다.

이러한 모델이 점점 더 정교해짐에 따라 이에 대한 액세스를 민주화하는 데 점점 더 중점을 두고 있습니다. 특히 오픈 소스 모델은 이러한 민주화에서 중추적인 역할을 하며 연구원, 개발자 및 애호가 모두에게 복잡성을 깊이 탐구하고 특정 작업에 맞게 미세 조정하거나 기반을 구축할 수 있는 기회를 제공합니다.

이 블로그에서는 AI 커뮤니티에 파장을 일으키고 있는 최고의 오픈 소스 LLM 중 일부를 살펴보겠습니다. 각각은 고유한 강점과 기능을 제공합니다.

1. 라마 3

Meta의 Llama 3은 오픈 소스 대규모 언어 모델 라인업에서 획기적인 도약을 나타냅니다. 2년에 출시된 획기적인 Llama 2023의 후속작인 Llama 3는 8B 및 70B 매개변수 규모에서 공개적으로 사용 가능한 모델에 대한 새로운 최첨단 기술을 확립했습니다. 이는 단순한 증분 업데이트가 아닙니다. 이는 개발자가 AI에 대한 공개 연구와 혁신을 촉진하는 동시에 최첨단 자연어 애플리케이션을 구축할 수 있게 해주는 혁신적인 발전입니다.

Llama 3의 독보적인 성능은 사전 훈련 프로세스와 아키텍처의 대폭적인 개선 덕분입니다. 이 모델은 공개적으로 사용 가능한 소스의 15조 개 이상의 토큰으로 구성된 대규모 데이터 세트로 훈련되었습니다. 이는 Llama 7보다 2배 더 많은 데이터입니다. 여기에는 Llama 4의 코딩 기능을 향상시키기 위한 3배 더 많은 코드 데이터와 30개 이상의 상당한 범위가 포함됩니다. 미래의 다국어 버전을 위한 기반을 마련하기 위한 언어입니다. 이 데이터를 선별하기 위해 광범위한 필터링이 사용되어 Llama 3가 최고 품질의 소스에서만 학습할 수 있도록 했습니다.

그러나 Llama 3의 향상된 기능은 단순한 데이터 추가 이상의 것입니다. 모델 아키텍처 및 교육 프로세스에 대한 최첨단 최적화를 통해 추론 능력, 코드 생성, 지침 따르기 및 응답 다양성이 크게 향상되었습니다. 향상된 토크나이저를 통해 Llama 3는 이전 버전보다 토큰 효율성이 최대 15% 향상되었습니다. 그룹화된 쿼리 주의를 통해 8B 모델은 이전 7B 모델과 추론 패리티를 유지할 수 있습니다.

출처: 메타

최종 결과는 다양하고 복잡한 언어 작업에 탁월한 언어 모델입니다.

• 창조적인 세대: Llama 3는 이야기, 대본, 음악 작품, 시 등의 형태로 매우 일관되고 창의적인 텍스트를 생성할 수 있습니다.
• 코딩과 추론: 향상된 코드 훈련 데이터 덕분에 Llama 3는 복잡한 문제를 해결하기 위한 믿을 수 없을 만큼 강력한 코딩 및 논리적 추론 기술을 자랑합니다.
• 질문 답변: Llama 3는 광범위한 지식 기반에 걸쳐 정보를 연결함으로써 다양한 주제에 대한 질문에 대해 깊은 지식을 갖춘 답변을 제공할 수 있습니다.
• 요약: Llama 3은 긴 기사와 사실적인 내용을 간결하면서도 포괄적으로 요약하는 데 능숙합니다.
• 다음 지시 사항: Llama 3의 가장 인상적인 업적 중 하나는 개방형 작업에 대한 복잡한 다단계 지침을 정확하게 따르는 능력입니다.

라마 시리즈의 미래는 밝습니다. Meta는 이미 더 커질 뿐만 아니라 다국어 및 다중 모드를 지원하는 3B 이상의 매개변수를 갖춘 Llama 400 버전을 개발하고 있습니다. 초기 테스트에서는 이러한 초대형 모델이 최고의 독점 시스템과 경쟁할 수 있는 유망한 결과를 제공한다는 것을 보여줍니다.

출처: 메타

라마 3 방문 →

2. 꽃

2022년 BLOOM 프로젝트는 AI 회사인 Hugging Face가 주도하고 1,000개국 이상에서 70명 이상의 자원 봉사 연구원이 참여하는 176년 간의 공동 노력 끝에 공개되었습니다. BLOOM(BigScience Large Open-science Open-access Multilingual Language Model)은 자동 회귀 텍스트 생성을 위해 설계된 XNUMX억 매개변수의 대규모 언어 모델로, 주어진 텍스트 프롬프트를 확장하여 일관된 스토리, 스크립트, 시, 기사 등을 생성할 수 있습니다.

BLOOM을 차별화하는 점은 개방형 액세스 특성입니다. 기술 회사에서 개발한 대부분의 다른 대규모 언어 모델과 달리 모델, 소스 코드 및 교육 데이터는 모두 오픈 라이센스 하에서 무료로 사용할 수 있습니다. 이러한 개방성은 더 넓은 AI 커뮤니티에서 모델을 지속적으로 검토, 활용 및 개선하도록 유도합니다.

BLOOM은 1.6개 자연어와 46개 프로그래밍 언어에 걸쳐 있는 방대한 13TB 데이터 세트(ROOTS 코퍼스)에 대한 교육을 받았으며, 데이터의 30% 이상이 영어인 인상적인 다국어 기능을 자랑합니다. 스페인어 및 아랍어와 같은 많은 언어의 경우 BLOOM이 해당 크기의 첫 번째 모델입니다.

이 모델은 프랑스 정부의 컴퓨팅 보조금으로 가능해진 3.5개의 NVIDIA A384 GPU를 사용하여 프랑스의 Jean Zay 슈퍼컴퓨터에서 100개월 동안 훈련되었습니다. 이는 5만 시간 이상의 컴퓨팅에 해당합니다. 수정된 GPT 아키텍처를 기반으로 BLOOM은 벤치마크에서 경쟁력 있는 성능을 달성합니다.

BLOOM의 주요 강점:

• 오픈 액세스: BLOOM의 모델, 코드 및 교육 데이터는 무료로 제공되므로 강력한 언어 모델에 대한 액세스를 민주화하고 공개 연구를 가능하게 합니다.
• 다국어 능력: 46개 자연어와 13개 프로그래밍 언어에 걸친 데이터로 훈련된 BLOOM은 광범위한 다국어 기능을 갖추고 있습니다.
• 다양한 언어 능력: 텍스트 생성부터 질문 답변, 요약, 번역 및 코드 생성에 이르기까지 BLOOM은 다양한 언어 작업에서 탁월합니다.
• 책임감 있는 AI 개발: BLOOM은 책임 있는 AI 관행에 중점을 두고 개발되었으며 악의적인 사용 사례를 금지하는 라이선스에 따라 출시됩니다.
• 손쉬운 배포: 개발자는 Hugging Face Transformers 라이브러리를 통해 BLOOM에 액세스하고 Accelerate를 사용하여 배포할 수 있습니다.

앞으로 BigScience 팀은 BLOOM을 더 많은 언어로 확장하고 모델을 압축하며 이를 고급 아키텍처의 출발점으로 사용할 계획입니다. BLOOM은 대규모 언어 모델을 더욱 투명하고 모든 사람이 액세스할 수 있도록 만드는 주요 단계를 나타냅니다.

블룸 방문 →

3. MPT-7B

MosaicML Foundations는 최신 오픈 소스 LLM인 MPT-7B를 도입하여 이 공간에 크게 기여했습니다. MosaicML Pretrained Transformer의 약어인 MPT-7B는 GPT 스타일의 디코더 전용 변환기 모델입니다. 이 모델은 성능 최적화된 레이어 구현 및 더 큰 교육 안정성을 보장하는 아키텍처 변경을 포함하여 몇 가지 향상된 기능을 자랑합니다.

MPT-7B의 뛰어난 기능은 1조 개의 텍스트 및 코드 토큰으로 구성된 광범위한 데이터 세트에 대한 교육입니다. 이 엄격한 교육은 9.5일 동안 MosaicML 플랫폼에서 실행되었습니다.

MPT-7B의 오픈 소스 특성은 상용 애플리케이션을 위한 귀중한 도구로 자리매김합니다. 비즈니스 및 조직의 예측 분석 및 의사 결정 프로세스에 상당한 영향을 미칠 가능성이 있습니다.

기본 모델 외에도 MosaicML Foundations는 짧은 형식의 지침을 따르는 MPT-7B-Instruct, 대화 생성을 위한 MPT-7B-Chat 및 MPT-7B-StoryWriter-65k+와 같은 특정 작업에 맞춤화된 특수 모델도 출시하고 있습니다. 긴 형식의 스토리 생성을 위해.

MPT-7B의 개발 여정은 MosaicML 팀이 데이터 준비에서 배포까지 모든 단계를 몇 주 내에 관리하는 포괄적인 과정이었습니다. 데이터는 다양한 리포지토리에서 제공되었으며 팀은 EleutherAI의 GPT-NeoX 및 20B 토크나이저와 같은 도구를 활용하여 다양하고 포괄적인 교육 믹스를 보장했습니다.

MPT-7B의 주요 기능 개요:

• 상업용 라이선스: MPT-7B는 상업적 사용이 허가되어 비즈니스에 귀중한 자산이 됩니다.
• 광범위한 교육 데이터: 이 모델은 1조 토큰의 방대한 데이터 세트에 대한 교육을 자랑합니다.
• 긴 입력 처리: MPT-7B는 손상 없이 매우 긴 입력을 처리하도록 설계되었습니다.
• 속도와 효율성: 이 모델은 신속한 교육 및 추론에 최적화되어 시기 적절한 결과를 보장합니다.
• 오픈 소스 코드: MPT-7B는 효율적인 오픈 소스 교육 코드와 함께 제공되어 투명성과 사용 편의성을 높입니다.
• 비교 우수성: MPT-7B는 LLaMA-7B와 일치하는 품질로 20B-7B 범위의 다른 오픈 소스 모델보다 우수함을 입증했습니다.

MPT-7B 방문 →

4. 팔콘 2

*Falcon 180의 전신인 Falcon 2B에 대한 동영상

Falcon 2는 아부다비에 있는 TII(Technology Innovation Institute)의 최신 세대 오픈 소스 대형 언어 모델로, 7년에 출시된 이전 Falcon 40B, 180B 및 2023B 모델의 성공을 기반으로 합니다. Falcon 2 시리즈에는 현재 다음이 포함됩니다. :

• 팔콘 2 11B: Hugging Face 리더보드에서 검증한 바와 같이 Meta의 LLaMA 11 3B보다 성능이 뛰어나고 표준 벤치마크에서 Google의 Gemma 8B 모델과 동등한 성능을 발휘하는 7억 매개변수 인과 디코더 전용 모델입니다.
• 팔콘 2 11B VLM: 비전-언어 기능을 갖춘 Falcon 2 11B의 획기적인 다중 모드 버전으로, 이 기능을 제공하는 유일한 오픈 소스 모델 중 하나입니다.

출처: TII

Falcon 2 모델은 Apache 2.0을 기반으로 하는 허용적인 TII Falcon License 2.0에 따라 완전히 오픈 소스로 제공되지만 책임 있는 AI 개발을 촉진하기 위한 허용 가능한 사용 정책이 적용됩니다. 이를 통해 연구 및 대부분의 상업용 응용 프로그램에 모델을 무료로 사용할 수 있습니다.

Falcon 2 모델은 고품질 웹 데이터, 서적, 기술 문서, 코드 및 대화가 다양하게 혼합된 향상된 RefinedWeb 데이터 세트에서 5조 개 이상의 토큰을 대상으로 훈련되었습니다. 최상의 데이터를 추출하기 위해 광범위한 필터링 및 중복 제거 기술이 사용되었습니다. 여전히 주로 영어에 초점을 맞추고 있지만 훈련 데이터의 일부는 독일어, 스페인어, 프랑스어, 이탈리아어와 같은 다른 언어도 다루며 미래의 다국어 모델을 위한 토대를 마련합니다.

Falcon 2는 다른 개방형 모델에 비해 더 작은 규모에서 강력한 성능을 구현하는 최적화된 디코더 전용 변환기 아키텍처를 활용합니다. TII는 향후 릴리스에서 전문가 혼합과 같은 기술을 사용하여 효율성을 더욱 높일 계획입니다.

원시 기능 측면에서 Falcon 2 11B는 다음을 포함하여 광범위한 자연어 작업에서 탁월합니다.

• 스토리, 기사 등 일관성 있는 긴 형식 콘텐츠의 텍스트 생성
• 다양한 주제에 대한 정보를 연결하여 지식이 풍부한 질문 답변
• 긴 기사나 사실적 내용을 고품질로 요약
• 미세 조정 시 정확한 지시 따르기
• 코딩 및 추론 벤치마크에서 견고한 성능

Falcon 2 11B VLM 변형에는 이미지를 이해하고 시각적 및 언어 입력을 기반으로 텍스트를 생성하는 고유한 기능이 추가되었습니다. 이를 통해 시각적 질문 답변, 이미지 캡션, 비전-언어 추론과 같은 강력한 다중 모드 사용 사례가 가능해집니다.

앞으로 TII는 효율성과 개방형 액세스에 중점을 두면서 더 큰 모델 크기로 Falcon 2 시리즈를 확장하려는 계획을 공유했습니다. 전문가 혼합과 같은 기술을 활용하여 계산 요구 사항을 크게 늘리지 않고도 기능을 확장할 수 있습니다.

팔콘 2 방문하기 →

5. 비쿠나-13B

LMSYS ORG는 Vicuna-13B를 통해 오픈 소스 LLM 영역에서 중요한 성과를 거두었습니다. 이 오픈 소스 챗봇은 공개 API를 사용하여 ShareGPT.com에서 가져온 약 70개의 사용자 공유 대화에서 LLaMA를 미세 조정하여 꼼꼼하게 훈련되었습니다. 데이터 품질을 보장하기 위해 대화를 HTML에서 다시 마크다운으로 변환하고 필터링하여 부적절하거나 품질이 낮은 샘플을 제거했습니다. 긴 대화도 모델의 최대 컨텍스트 길이에 맞는 더 작은 세그먼트로 나누어졌습니다.

GPT-4가 심사위원 역할을 한 예비 평가에서는 Vicuna-13B가 OpenAI ChatGPT 및 Google Bard와 같은 유명 모델의 품질을 90% 이상 달성한 것으로 나타났습니다. 놀랍게도 Vicuna-13B는 당시 90% 이상의 사례에서 LLaMA 및 Stanford Alpaca와 같은 다른 주목할만한 모델보다 성능이 뛰어났습니다. Vicuna-13B의 전체 교육 프로세스는 스팟 인스턴스, 그래디언트 체크포인트, 플래시 어텐션과 같은 기술을 활용하여 약 $300의 비용으로 실행되어 메모리 사용량을 최적화하고 비용을 절감했습니다. 그 기능을 살펴보는 데 관심이 있는 사람들을 위해 코드, 가중치 및 온라인 데모가 비상업적 목적으로 공개적으로 제공되었습니다.

Vicuna의 훈련 레시피는 Stanford의 Alpaca 모델을 기반으로 하며 몇 가지 주요 개선 사항이 포함되어 있습니다.

• 다단계 대화: 훈련 손실은 다단계 대화를 고려하여 조정되며, 챗봇의 출력에 대해서만 미세 조정 손실을 계산합니다.
• 메모리 최적화: 최대 컨텍스트 길이가 Alpaca의 512에서 Vicuna의 2048로 확장되어 GPU 메모리 요구 사항이 늘어나더라도 더 긴 컨텍스트를 이해할 수 있습니다. 이는 그래디언트 체크포인트와 플래시 어텐션을 통해 해결됩니다.
• 비용 절감 : 40배 더 큰 데이터 세트와 4배 더 긴 시퀀스 길이로 인해 교육 비용 문제가 발생했지만 SkyPilot을 통해 관리형 스팟 인스턴스를 사용하면 비용이 크게 절감되었습니다(82B 모델의 경우 140달러에서 7달러로, 135B 모델의 경우 300달러에서 13달러로).

Vicuna를 서비스하기 위해 온프레미스 클러스터 또는 클라우드에서 유연하게 연결될 수 있는 작업자를 사용하여 여러 모델을 처리할 수 있는 분산 서비스 시스템이 구축되었습니다. 내결함성 컨트롤러와 관리형 스팟 인스턴스를 활용하면 이 시스템이 여러 클라우드의 저렴한 스팟 인스턴스와 잘 작동하여 서비스 비용을 최소화할 수 있습니다. 현재는 경량 구현이지만 최신 연구를 통합하여 서비스 인프라를 더욱 향상시키는 작업이 진행 중입니다.

Vicuna-13B의 주요 특징:

• 오픈 소스 특성: Vicuna-13B는 공개 액세스가 가능하여 투명성과 커뮤니티 참여를 촉진합니다.
• 광범위한 교육 데이터: 이 모델은 70개의 사용자 공유 대화에 대해 학습되어 다양한 상호 작용에 대한 포괄적인 이해를 보장합니다.
• 비용 효율적인 교육: 관리형 스팟 인스턴스, 그래디언트 체크포인트, 플래시 어텐션과 같은 기술을 통해 300B 모델의 경우 약 13달러의 비용 효율적인 교육이 가능했습니다.
• 강화된 훈련 방법: Vicuna는 다중 턴 대화 처리, 메모리 최적화 및 비용 절감을 위한 개선 사항을 갖춘 Alpaca 레시피를 기반으로 구축되었습니다.
• 분산 서비스 인프라: Vicuna를 공개적으로 액세스할 수 있도록 유연하고 비용 효율적인 분산 서비스 시스템이 구축되었습니다.
• 온라인 데모 가용성: 사용자는 대화식 온라인 데모를 통해 Vicuna-13B의 기능을 테스트하고 경험할 수 있습니다.

분석은 GPT-4를 사용한 예비 비과학 평가를 기반으로 했다는 점에 유의하는 것이 중요합니다. 아직은 엄격한 평가가 필요합니다.

비쿠나-13B 방문 →

대규모 언어 모델의 확장 영역