Kunnen grote taalmodellen zoals ChatGPT tegen de helft van de kosten worden gebouwd?

Grote taalmodellen (LLM’s) zoals GPT-3 en ChatGPT hebben de AI-revolutie in gang gezet door natuurlijke taalbegrip en inhoudsgeneratie mogelijk te maken. Maar hun ontwikkeling gaat gepaard met een hoge prijs, waardoor de toegankelijkheid en verdere onderzoek worden beperkt. Onderzoekers schatten dat de training van GPT-3 OpenAI ongeveer $5 miljoen heeft gekost. Desondanks heeft Microsoft (MSFT ) het potentieel erkend en in 2019 $1 miljard en in 2023 $10 miljard geïnvesteerd in OpenAI’s GPT-3 en ChatGPT-onderneming.

LLM’s zijn machine learning-modellen die zijn getraind op uitgebreide tekstuele gegevens voor NLP-toepassingen. Ze zijn gebaseerd op transformer-architectuur en gebruiken aandachtmechanismen voor NLP-taken zoals vraagbeantwoording, machinetaalvertaling, sentimentanalyse enz.

De vraag rijst: kan de efficiëntie van deze grote modellen worden verhoogd terwijl tegelijkertijd de computationele kosten en de trainingsduur worden verlaagd?

Er zijn verschillende benaderingen ontwikkeld om de computationele kosten van het trainen van neurale netwerken te verlagen, zoals Progressive Neural Networks, Network Morphism, intra-layer model parallelism, kennisoverdracht enz. De nieuwe LiGO (Lineaire Groei Operator) benadering die we zullen bespreken, zet een nieuwe benchmark. Het halveert de computationele kosten van het trainen van LLM’s.

Voordat we deze techniek bespreken, is het essentieel om de factoren te onderzoeken die bijdragen aan de hoge prijs van het maken van LLM’s.

Kosten van het bouwen van grote taalmodellen

Drie belangrijke uitgaven voor het ontwikkelen van LLM’s zijn als volgt:

1. Computationele middelen

Het bouwen van LLM’s vereist enorme computationele middelen om te trainen op grote datasets. Ze moeten miljarden parameters verwerken en complexe patronen leren uit grote tekstuele gegevens.

Investeringen in gespecialiseerde hardware zoals Graphics Processing Units (GPUs) en Tensor Processing Units (TPUs) zijn nodig om LLM’s te bouwen en te trainen om state-of-the-art prestaties te bereiken.

Bijvoorbeeld werd GPT-3 getraind op een supercomputer met 10.000 enterprise-grade GPUs (H100 en A100) en 285.000 CPU-kernen.

2. Energieverbruik

De intensieve computationele middelen die nodig zijn voor het bouwen van LLM’s resulteren in aanzienlijk energieverbruik. Bijvoorbeeld duurde het trainen van 175 miljard parameters GPT-3 14,8 dagen met 10.000 V100 GPUs, wat overeenkomt met 3,55 miljoen GPU-uren. Zo’n hoog energieverbruik heeft significante milieueffecten.

3. Gegevensopslag en -beheer

LLM’s worden getraind op grote datasets. Bijvoorbeeld werd GPT-3 getraind op een uitgebreide verzameling van tekstuele gegevens, waaronder Common Crawl, WebText2, Books1, Books2 en Wikipedia, onder andere. Aanzienlijke infrastructuurinvesteringen zijn nodig om deze datasets te verzamelen, te cureren en op te slaan.

Ook is cloudopslag nodig voor gegevensopslag en menselijke expertise voor gegevensvoorbewerking en versiebeheer. Bovendien voegt het zorgen voor naleving van regelgeving zoals GDPR toe aan de kosten.

LiGO-techniek: verlaag de kosten van het bouwen van grote taalmodellen tot de helft

LiGO (Lineaire Groei Operator) is een novatechniek ontwikkeld door onderzoekers aan het MIT om de computationele kosten van het trainen van LLM’s met 50% te verlagen. De methode bestaat uit het initialiseren van de gewichten van grotere modellen vanuit die van kleinere voorge trainde modellen, waardoor een efficiënte schaling van neurale netwerken mogelijk wordt.

Afbeelding uit het artikel: Learning to Grow Pretrained Models For Efficient Transformer Training

Yoon Kim, de senior auteur van het artikel, zegt:

“Het is geschat dat het trainen van modellen op de schaal van wat ChatGPT zou kunnen doen, miljoenen dollars kan kosten voor één trainingsrun. Kunnen we de efficiëntie van deze trainingsmethoden verbeteren, zodat we nog steeds goede modellen kunnen krijgen in minder tijd en voor minder geld? We stellen voor om dit te doen door kleinere taalmodellen te gebruiken die eerder zijn getraind.”

Deze methode behoudt de prestatievoordelen van grotere modellen met verlaagde computationele kosten en trainingsduur in vergelijking met het trainen van een groot model van scratch. LiGO gebruikt een gegevensgestuurde lineaire groeioperator die diepte- en breedteoperators combineert voor optimale prestaties.

Het artikel gebruikte verschillende datasets voor tekstgebaseerde experimenten, waaronder de Engelse Wikipedia-corpus voor het trainen van BERT- en RoBERTa-modellen en de C4-dataset voor het trainen van GPT2.

De LiGO-techniekexperimenten omvatten het groeien van BERT-Small naar BERT-Base, BERT-Base naar BERT-Large, RoBERTa-Small naar RoBERTa-Base, GPT2-Base naar GPT2-Medium en CaiT-XS naar CaiT-S.

De onderzoekers vergeleken hun benadering met verschillende andere baselines, waaronder trainen van scratch, progressief trainen, bert2BERT en KI.

De LiGO-techniek bood 44,7% besparing in FLOPs (floating-point operaties per seconde) en 40,7% besparing in wandtijd in vergelijking met het trainen van BERT-Base van scratch door het hergebruiken van het BERT-Small-model. De LiGO-groeioperator presteert beter dan StackBERT, MSLT, bert2BERT en KI in efficiënte training.

Voordelen van het gebruik van een trainingsoptimalisatietechniek zoals LiGO

LiGO is een efficiënte neurale netwerktrainingsmethode die verschillende voordelen heeft, zoals:

1. Snellere training

Zoals eerder vermeld, is snellere training het belangrijkste voordeel van de LiGO-techniek. Het traint LLM’s in de helft van de tijd, waardoor de productiviteit toeneemt en de kosten worden verlaagd.

2. Bronnefficiënt

LiGO is bronnen efficiënt omdat het de wandtijd en FLOPs minimaliseert, waardoor een meer kosteneffectieve en milieuvriendelijke benadering voor het trainen van grote transformermodellen ontstaat.

3. Generalisatie

De LiGO-techniek heeft de prestaties van zowel taal- als visietransformers verbeterd, wat aangeeft dat het een generaliseerbare techniek is die op verschillende taken kan worden toegepast.

Het bouwen van commerciële AI-producten is slechts één facet van de totale kosten die gemoeid zijn met AI-systemen. Een andere significante component van de kosten komt voort uit de dagelijkse operaties. Bijvoorbeeld kost het OpenAI ongeveer $700.000 per dag om vragen te beantwoorden met ChatGPT. Onderzoekers zullen naar verwachting blijven zoeken naar benaderingen die LLM’s kostenefficiënt maken tijdens de training en toegankelijker maken tijdens de runtime.

Voor meer AI-gerelateerde inhoud, bezoek unite.ai.