De strijd tussen open source en closed source taalmodellen: een technische analyse

Grote taalmodellen (LLM’s) hebben de afgelopen jaren de AI-gemeenschap gefascineerd, met doorbraken in natuurlijke taalverwerking. Achter de hype ligt een complexe discussie – zouden deze krachtige modellen open source of closed source moeten zijn?

In dit artikel analyseren we de technische differentiatie tussen deze benaderingen om de kansen en beperkingen van elk te begrijpen. We behandelen de volgende belangrijke aspecten:

• Definiëren van open source en closed source LLM’s
• Architecturale transparantie en aanpasbaarheid
• Prestatiebenchmarking
• Computational vereisten
• Toepassingsbreedte
• Toegankelijkheid en licentie
• Dataprivacy en vertrouwelijkheid
• Commerciële ondersteuning en financiering

Aan het einde hebt u een geïnformeerde visie op de technische compromissen tussen open source en closed source LLM’s om uw eigen AI-strategie te begeleiden. Laten we erin duiken!

Definiëren van open source en closed source LLM’s

Open source LLM’s hebben openbaar toegankelijke modelarchitecturen, broncode en gewichtparameters. Dit stelt onderzoekers in staat om interne componenten te inspecteren, kwaliteit te evalueren, resultaten te reproduceren en aangepaste varianten te bouwen. Voorbeelden zijn Anthropic’s ConstitutionalAI, Meta’s LLaMA en EleutherAI’s GPT-NeoX.

In tegenstelling tot closed source LLM’s behandelen modelarchitectuur en gewichten als eigendomsrechten. Commerciële entiteiten zoals Anthropic, DeepMind en OpenAI ontwikkelen ze intern. Zonder toegang tot code of ontwerpdetails zijn reproduceerbaarheid en aanpasbaarheid beperkt.

Architecturale transparantie en aanpasbaarheid

Toegang tot open source LLM-interne componenten ontgrendelt aanpasbaarheidsmogelijkheden die eenvoudigweg niet mogelijk zijn met closed source-alternatieven.

Door de modelarchitectuur aan te passen, kunnen onderzoekers technieken verkennen zoals het introduceren van spaarzame connectiviteit tussen lagen of het toevoegen van speciale classificatietokens om prestaties op niche-taken te verbeteren. Met toegang tot gewichtparameters kunnen ontwikkelaars bestaande representaties overdragen of varianten initialiseren met vooraf getrainde bouwstenen zoals T5- en BERT-embeddings.

Deze aanpasbaarheid stelt open source LLM’s in staat om beter gespecialiseerde domeinen te bedienen, zoals biomedisch onderzoek, codegeneratie en onderwijs. Echter, de benodigde expertise kan de drempel verhogen voor het leveren van productiekwaliteitimplementaties.

Closed source LLM’s bieden beperkte aanpasbaarheid, omdat hun technische details eigendom zijn. Echter, hun backers committeren uitgebreide middelen voor intern onderzoek en ontwikkeling. De resulterende systemen duwen de grenzen van wat mogelijk is met een gegeneraliseerde LLM-architectuur.

Terwijl ze minder flexibel zijn, excelleren closed source LLM’s in breed toepasbare natuurlijke taaltaken. Ze vereenvoudigen ook integratie door te voldoen aan gevestigde interfaces zoals de OpenAPI-standaard.

Prestatiebenchmarking

Ondanks architecturale transparantie introduceert het meten van open source LLM-prestaties uitdagingen. Hun flexibiliteit maakt het mogelijk om talloze configuraties en afstemmingsstrategieën te hebben. Het staat ook modellen toe die als “open source” worden voorafgegaan, om eigenlijk propriëtaire technieken te includeren die vergelijkingen vertroebelen.

Closed source LLM’s hebben duidelijk gedefinieerde prestatiedoelen, omdat hun backers specifieke metricadrempels benchmarken en adverteren. Bijvoorbeeld, Anthropic publiceert de nauwkeurigheid van ConstitutionalAI op gecureerde NLU-probleemsets. Microsoft (MSFT ) benadrukt hoe GPT-4 de menselijke baselines op het SuperGLUE-taalbegripsinstrument overschrijdt.

Dat gezegd hebbende, deze smal gedefinieerde benchmarks werden bekritiseerd voor het overschatten van prestaties op echte taken en het ondervertegenwoordigen van fouten. Echt onbevooroordeelde LLM-evaluatie blijft een open onderzoeksfrage – voor zowel open source- als closed source-benaderingen.

Computational vereisten

Het trainen van grote taalmodellen vraagt om uitgebreide computationele middelen. OpenAI besteedde miljoenen aan het trainen van GPT-3 op cloud-infrastructuur, terwijl Anthropic meer dan $10 miljoen aan GPUs verbruikte voor ConstitutionalAI.

De rekening voor dergelijke modellen sluit individuen en kleine teams uit de open source-gemeenschap uit. In feite moest EleutherAI het GPT-J-model vanwege exploderende hostingkosten uit de publieke toegang verwijderen.

Zonder diepe zakken, zijn open source LLM-succesverhalen afhankelijk van gedoneerde computationele middelen. LAION curateerde hun technisch gefocuste LAION-5B-model met behulp van crowdsourced data. Het non-profit Anthropic ConstitutionalAI-project maakte gebruik van vrijwilligerscomputing.

De grote technologie-ondersteuning van bedrijven zoals Google (GOOGL ), Meta en Baidu biedt closed source-inspanningen de financiële brandstof die nodig is om LLM-ontwikkeling te industrialiseren. Dit maakt het mogelijk om te schalen naar lengtes die ondenkbaar zijn voor grassroots-initiatieven – zie DeepMind’s 280 miljard parameter Gopher-model.

Toepassingsbreedte

De aanpasbaarheid van open source LLM’s stelt onderzoekers in staat om zeer gespecialiseerde use cases aan te pakken. Onderzoekers kunnen agressief modelinterne componenten aanpassen om prestaties op niche-taken te verbeteren, zoals eiwitstructuurvoorspelling, codegeneratie en wiskundige bewijsverificatie.

Dat gezegd hebbende, garandeert toegang tot en bewerken van code niet noodzakelijk een effectieve domeinspecifieke oplossing zonder de juiste data. Uitgebreide trainingsdatasets voor smalle toepassingen nemen aanzienlijke inspanning om te cureren en up-to-date te houden.

Hier profiteren closed source LLM’s van de middelen om trainingsdata van interne repositories en commerciële partners te verkrijgen. Bijvoorbeeld, DeepMind licentieert databases zoals ChEMBL voor chemie en UniProt voor eiwitten om de toepassingsbereik te vergroten. Industriële schaaldata-toegang stelt modellen zoals Gopher in staat om opmerkelijke aanpasbaarheid te bereiken ondanks architecturale ondoorzichtigheid.

Toegankelijkheid en licentie

De permissieve licentie van open source LLM’s bevordert gratis toegang en samenwerking. Modellen zoals GPT-NeoX, LLaMA en Jurassic-1 Jumbo gebruiken overeenkomsten zoals Creative Commons en Apache 2.0 om niet-commercieel onderzoek en eerlijke commercialisering mogelijk te maken.

In tegenstelling tot closed source LLM’s, die beperkende licenties hebben die modeltoegang beperken. Commerciële entiteiten controleren toegang strikt om potentiële inkomstenstromen van voorspellings-API’s en ondernemingspartnerschappen te beschermen.

Organisaties zoals Anthropic en Cohere rekenen voor toegang tot ConstitutionalAI- en Cohere-512-interfaces. Echter, dit riskeert belangrijke onderzoeksgebieden uit te sluiten en ontwikkeling te laten afwijken naar goed gefinancierde industrieën.

Open licenties stellen ook uitdagingen, met name rondom toekenning en aansprakelijkheid. Voor onderzoeksgevallen bieden de vrijheden die open source-toegankelijkheid biedt, duidelijke voordelen.

Dataprivacy en vertrouwelijkheid

Trainingsdatasets voor LLM’s aggregaten typisch inhoud van diverse online bronnen zoals webpagina’s, wetenschappelijke artikelen en discussieforums. Dit riskeert het blootleggen van persoonlijk identificeerbare of anderszins gevoelige informatie in modeluitvoer.

Voor open source LLM’s biedt het onderzoeken van datasetcompositie de beste garantie tegen vertrouwelijkheidsproblemen. Het evalueren van gegevensbronnen, filterprocedures en het documenteren van zorgwekkende voorbeelden die tijdens testing worden gevonden, kan helpen kwetsbaarheden te identificeren.

Helaas sluiten closed source LLM’s dergelijke openbare audit uit. In plaats daarvan moeten consumenten vertrouwen op de strengheid van interne reviewprocessen op basis van aangekondigde beleid. Azure Cognitive Services belooft bijvoorbeeld persoonlijke gegevens te filteren, terwijl Google formele privacybeoordelingen en gegevenslabeling specificeert.

Al met al, open source LLM’s empoweren een meer proactieve identificatie van vertrouwelijkheidsrisico’s in AI-systemen voordat deze fouten zich op grote schaal manifesteren. Closed tegenhangers bieden relatief beperkte transparantie in gegevensbehandelingspraktijken.

Commerciële ondersteuning en financiering

De mogelijkheid om closed source LLM’s te commercialiseren, stimuleert aanzienlijke commerciële investeringen voor ontwikkeling en onderhoud. Microsoft ging bijvoorbeeld een multibilliondollar-partnerschap aan met OpenAI rond GPT-modellen, in afwachting van lucratieve rendementen.

In tegenstelling tot open source LLM’s, die afhankelijk zijn van vrijwilligers die persoonlijke tijd besteden aan onderhoud of subsidies die beperkte financiering bieden. Deze middelenasymmetrie riskeert de continuïteit en levensduur van open source-projecten.

Echter, de barrières voor commercialisering bevrijden open source-gemeenschappen om zich te concentreren op wetenschappelijke vooruitgang boven winst. En de gedecentraliseerde aard van open ecosystemen vermindert de afhankelijkheid van de duurzame interesse van een enkele backer.

Uiteindelijk draagt elke benadering compromissen met betrekking tot middelen en stimulansen. Closed source LLM’s genieten van grotere financieringszekerheid, maar concentreren invloed. Open ecosystemen bevorderen diversiteit, maar lijden onder verhoogde onzekerheid.

Navigeren in het open source vs closed source LLM-landschap

Het kiezen tussen open source of closed source LLM’s vereist het afstemmen van organisatorische prioriteiten zoals aanpasbaarheid, toegankelijkheid en schaalbaarheid met modelmogelijkheden.

Voor onderzoekers en startups bieden open source meer controle om modellen aan te passen aan specifieke taken. De licentie faciliteert ook gratis delen van inzichten tussen medewerkers. Echter, de last van het verkrijgen van trainingsdata en infrastructuur kan de haalbaarheid in de praktijk ondermijnen.

Omgekeerd beloven closed source LLM’s aanzienlijke kwaliteitsverbeteringen dankzij overvloedige financiering en data. Echter, beperkingen rondom toegang en aanpassingen beperken wetenschappelijke transparantie, terwijl implementaties worden gebonden aan vendor-roadmaps.

In de praktijk kunnen open standaarden rond architectuurspecificaties, modelcheckpoints en evaluatiegegevens helpen om de nadelen van beide benaderingen te compenseren. Gedeelde fundamenten zoals Google’s Transformer of Oxford’s REALTO-benchmarks verbeteren reproduceerbaarheid. Interoperabiliteitsstandaarden zoals ONNX laten het mengen van componenten van open en closed sources toe.

Uiteindelijk is het belangrijkste om het juiste instrument – open source of closed source – voor de taak te kiezen. De commerciële entiteiten die closed source LLM’s ondersteunen, hebben onmiskenbare invloed. Maar de passie en principes van open wetenschapsgemeenschappen zullen blijven spelen een cruciale rol bij het stimuleren van AI-vooruitgang.