Kan du bygga stora språkmodeller som ChatGPT till hälften av kostnaden?

Stora språkmodeller (LLM) som GPT-3 och ChatGPT har revolutionerat AI genom att erbjuda naturlig språkförståelse och innehållsgenereringsförmågor. Men deras utveckling kommer med ett högt pris, vilket begränsar tillgänglighet och ytterligare forskning. Forskare uppskattar att träning av GPT-3 kostade OpenAI runt $5 miljoner. Trots detta erkände Microsoft (MSFT ) potentialen och investerade $1 miljard 2019 och $10 miljarder 2023 i OpenAI:s GPT-3 och ChatGPT-venture.

LLM är maskinlärningsmodeller som tränas på omfattande textdata för NLP-tillämpningar. De baseras på transformerarkitektur och använder uppmärksamhetsmekanismer för NLP-uppgifter som frågesvar, maskinöversättning, sentimentanalys etc.

Frågan uppstår: kan effektiviteten hos dessa stora modeller ökas samtidigt som beräkningskostnaden och träningstiden minskas?

Flera tillvägagångssätt, som Progressiva neuronnät, Nätverksmorfism, intra-lagers modellparallellism, kunskapsarv etc., har utvecklats för att minska beräkningskostnaden för träning av neuronnät. Den nya LiGO (Linjär tillväxtoperator) -metoden vi kommer att diskutera sätter en ny standard. Den halverar beräkningskostnaden för träning av LLM.

Innan vi diskuterar denna teknik är det viktigt att undersöka de faktorer som bidrar till den höga kostnaden för att skapa LLM.

Kostnaden för att bygga stora språkmodeller

Tre stora utgifter för utveckling av LLM är följande:

1. Beräkningsresurser

Byggande av LLM kräver omfattande beräkningsresurser för att träna på stora datamängder. De måste bearbeta miljarder parametrar och lära sig komplexa mönster från omfattande textdata.

Investering i specialiserad hårdvara som Grafikprocessorer (GPU) och Tensorprocessorer (TPU) krävs för att bygga och träna LLM för att uppnå toppprestationer.

Till exempel tränades GPT-3 på en superdator med 10000 företagsklass-GPU (H100 och A100) och 285 000 CPU-kärnor.

2. Energiförbrukning

De omfattande beräkningsresurser som krävs för att bygga LLM resulterar i betydande energiförbrukning. Till exempel tog träning av 175 miljarder parametrar GPT-3 14,8 dagar med 10 000 V100-GPU, vilket motsvarar 3,55 miljoner GPU-timmar. En sådan hög nivå av energiförbrukning har betydande miljöeffekter.

3. Data lagring och hantering

LLM tränas på stora datamängder. Till exempel tränades GPT-3 på en omfattande samling textdata, inklusive Common Crawl, WebText2, Books1, Books2 och Wikipedia, bland andra källor. Betydande infrastrukturinvestering krävs för att samla in, kurera och lagra dessa datamängder.

Det krävs också molnlagring för data lagring och mänsklig expertis för data förbearbetning och versionshantering. Dessutom tillkommer kostnader för att säkerställa att din datastrategi följer regler som GDPR.

LiGO-tekniken: Halvera kostnaden för att bygga stora språkmodeller

LiGO (Linjär tillväxtoperator) är en ny teknik som utvecklats av forskare vid MIT för att minska beräkningskostnaden för träning av LLM med 50%. Metoden innebär att initiera vikterna för större modeller från mindre förtränade modeller, vilket möjliggör effektiv skalning av neuronnät.

Bild från artikeln: Lär dig att växa förtränade modeller för effektiv transformerträning

Yoon Kim, den seniora författaren till artikeln, säger:

”Det har uppskattats att träning av modeller i samma skala som ChatGPT kan kosta miljoner dollar för en enda träningsomgång. Kan vi förbättra effektiviteten i dessa träningsmetoder så att vi kan få bra modeller på kortare tid och till lägre kostnad? Vi föreslår att göra detta genom att utnyttja mindre språkmodeller som tidigare har tränats.”

Denna metod behåller prestandafördelarna med större modeller med minskad beräkningskostnad och träningstid jämfört med att träna en stor modell från scratch. LiGO använder en datastyrd linjär tillväxtoperator som kombinerar djup- och breddoperatorer för optimal prestanda.

Artikeln använde olika datamängder för att genomföra textbaserade experiment, inklusive den engelska Wikipediakorpusen för träning av BERT- och RoBERTa-modeller och C4-datamängden för träning av GPT2.

LiGO-teknikens experiment omfattade att växa BERT-Small till BERT-Base, BERT-Base till BERT-Large, RoBERTaSmall till RoBERTa-Base, GPT2-Base till GPT2-Medium och CaiT-XS till CaiT-S.

Forskarna jämförde sin metod med flera andra baslinjer, inklusive träning från scratch, progressiv träning, bert2BERT och KI.

LiGO-tekniken erbjöd 44,7% besparingar i FLOPs (flyttalsoperationer per sekund) och 40,7% besparingar i väggklocktid jämfört med att träna BERT-Base från scratch genom att återanvända BERT-Small-modellen. LiGO-tillväxtoperator överträffar StackBERT, MSLT, bert2BERT och KI i effektiv träning.

Fördelarna med att använda en träningsoptimeringsteknik som LiGO

LiGO är en effektiv neural nätverksträningsmetod som har flera fördelar som listas nedan:

1. Snabbare träning

Som nämnts tidigare är snabbare träning den främsta fördelen med LiGO-tekniken. Den tränar LLM på halva tiden, vilket ökar produktiviteten och minskar kostnaderna.

2. Resurseffektiv

LiGO är resurseffektiv eftersom den minimerar väggklocktid och FLOPs, vilket leder till en mer kostnadseffektiv och miljövänlig tillvägagångssätt för träning av stora transformermodeller.

3. Generalisering

LiGO-tekniken har förbättrat prestandan för både språk- och visionstransformermodeller, vilket tyder på att det är en generaliserbar teknik som kan tillämpas på olika uppgifter.

Att bygga kommersiella AI-produkter är bara en aspekt av de totala kostnaderna förknippade med AI-system. En annan betydande komponent av kostnaderna kommer från dagliga operationer. Till exempel kostar det OpenAI runt $700 000 varje dag att svara på frågor med hjälp av ChatGPT. Forskare förväntas fortsätta att undersöka tillvägagångssätt som gör LLM mer kostnadseffektiva under träning och mer tillgängliga under körning.

För mer AI-relaterat innehåll, besök unite.ai.