Het opnieuw bekijken van schaalwetten in AI-ontwikkeling

Als ontwikkelaars en onderzoekers de grenzen van de prestaties van LLM’s verleggen, rijzen er vragen over efficiëntie. Tot voor kort lag de focus op het vergroten van de grootte van modellen en de hoeveelheid trainingsgegevens, met weinig aandacht voor numerieke precisie – het aantal bits dat wordt gebruikt om getallen te representeren tijdens berekeningen.

Een recente studie van onderzoekers van Harvard, Stanford en andere instellingen heeft deze traditionele perspectief omgekeerd. Hun bevindingen suggereren dat precisie een veel belangrijkere rol speelt bij het optimaliseren van modelprestaties dan eerder erkend. Deze openbaring heeft verstrekkende gevolgen voor de toekomst van AI, waarbij een nieuwe dimensie wordt toegevoegd aan de schaalwetten die modelontwikkeling leiden.

Precisie in focus

Numerieke precisie in AI verwijst naar het niveau van detail dat wordt gebruikt om getallen te representeren tijdens berekeningen, meestal gemeten in bits. Bijvoorbeeld, een precisie van 16 bits vertegenwoordigt getallen met meer granulariteit dan 8-bit precisie, maar vereist meer rekenkracht. Hoewel dit een technische nuance kan lijken, heeft precisie een directe invloed op de efficiëntie en prestaties van AI-modellen.

De studie, getiteld Schaalwetten voor precisie, gaat dieper in op de vaak over het hoofd gezien relatie tussen precisie en modelprestaties. Door een uitgebreide reeks van meer dan 465 trainingsruns uit te voeren, testten de onderzoekers modellen met variabele precisie, variërend van zo laag als 3 bits tot 16 bits. De modellen, die tot 1,7 miljard parameters bevatten, werden getraind op maximaal 26 miljard tokens.