La battaglia tra modelli linguistici open source e closed source: un'analisi tecnica

I modelli linguistici di grandi dimensioni (LLM) hanno affascinato la comunità dell'intelligenza artificiale negli ultimi anni, guidando scoperte nell'elaborazione del linguaggio naturale. Dietro questa pubblicità si nasconde un dibattito complesso: questi potenti modelli dovrebbero essere open source o closed source?

In questo post analizzeremo la differenziazione tecnica tra questi approcci per comprendere le opportunità e i limiti che ciascuno presenta. Tratteremo i seguenti aspetti chiave:

• Definizione di LLM open source e closed source
• Trasparenza architettonica e personalizzazione
• Analisi comparativa delle prestazioni
• Requisiti computazionali
• Versatilità applicativa
• Accessibilità e licenze
• Privacy e riservatezza dei dati
• Supporto e supporto commerciale

Alla fine, avrai una prospettiva informata sui compromessi tecnici tra LLM open source e closed source per guidare la tua strategia di intelligenza artificiale. Immergiamoci!

Definizione di LLM Open Source e Closed Source

Gli LLM open source dispongono di architetture di modelli, codice sorgente e parametri di peso accessibili al pubblico. Ciò consente ai ricercatori di ispezionare i componenti interni, valutare la qualità, riprodurre i risultati e creare varianti personalizzate. Esempi principali includono ConstitutionalAI di Anthropic, LLaMA di Meta e GPT-NeoX di EleutherAI.

Al contrario, i LLM closed source trattano l’architettura e i pesi del modello come risorse proprietarie. Entità commerciali come Anthropic, DeepMind e OpenAI li sviluppano internamente. Senza codice accessibile o dettagli di progettazione, riproducibilità e personalizzazione sono soggetti a limitazioni.

Trasparenza architettonica e personalizzazione

L'accesso agli interni LLM open source sblocca opportunità di personalizzazione semplicemente non possibili con alternative closed source.

Adattando l'architettura del modello, i ricercatori possono esplorare tecniche come l'introduzione di una connettività sparsa tra i livelli o l'aggiunta di token di classificazione dedicati per migliorare le prestazioni su attività di nicchia. Con l'accesso ai parametri di peso, gli sviluppatori possono trasferire e apprendere rappresentazioni esistenti o inizializzare varianti con elementi costitutivi preaddestrati come gli incorporamenti T5 e BERT.

Questa personalizzazione consente ai LLM open source di servire meglio settori specializzati come la ricerca biomedica, la generazione di codice e l'istruzione. Tuttavia, le competenze richieste possono innalzare gli ostacoli alla fornitura di implementazioni di qualità produttiva.

I LLM closed source offrono una personalizzazione limitata poiché i loro dettagli tecnici rimangono proprietari. Tuttavia, i loro sostenitori impegnano ampie risorse nella ricerca e nello sviluppo interni. I sistemi risultanti spingono oltre i limiti di ciò che è possibile fare con un'architettura LLM generalizzata.

Pertanto, sebbene meno flessibili, i LLM closed source eccellono in attività di linguaggio naturale ampiamente applicabili. Semplificano inoltre l'integrazione conformandosi a interfacce consolidate come lo standard OpenAPI.

Benchmarking delle prestazioni

Nonostante la trasparenza dell’architettura, la misurazione delle prestazioni LLM open source introduce delle sfide. La loro flessibilità consente innumerevoli possibili configurazioni e strategie di ottimizzazione. Consente inoltre ai modelli con il prefisso “open source” di includere effettivamente tecniche proprietarie che distorcono i confronti.

I LLM closed source vantano obiettivi di prestazione più chiaramente definiti poiché i loro sostenitori confrontano e pubblicizzano soglie metriche specifiche. Ad esempio, Anthropic pubblicizza l'accuratezza di ConstitutionalAI sui set di problemi NLU curati. Microsoft evidenzia come GPT-4 superi le linee di base umane nel toolkit di comprensione del linguaggio SuperGLUE.

Detto questo, questi benchmark dalla definizione ristretta sono stati criticati per aver sopravvalutato le prestazioni nelle attività del mondo reale e per aver sottorappresentato i fallimenti. La valutazione LLM veramente imparziale rimane una questione di ricerca aperta, sia per gli approcci open source che per quelli closed source.

Requisiti computazionali

L'addestramento di modelli linguistici di grandi dimensioni richiede ampie risorse computazionali. OpenAI ha speso milioni per addestrare GPT-3 sull'infrastruttura cloud, mentre Anthropic ha consumato oltre 10 milioni di dollari in GPU per ConstitutionalAI.

Il conto per tali modelli esclude la maggior parte degli individui e dei piccoli team dalla comunità open source. Infatti, EleutherAI ha dovuto rimuovere il modello GPT-J dall'accesso pubblico a causa dell'esplosione dei costi di hosting.

Senza tasche profonde, le storie di successo LLM open source sfruttano le risorse informatiche donate. LAION ha curato il modello LAION-5B incentrato sulla tecnologia utilizzando dati provenienti dal crowdsourcing. Il progetto no-profit Anthropic ConstitutionalAI ha utilizzato il calcolo volontario.

Il grande sostegno tecnologico di aziende come Google, Meta e Baidu fornisce agli sforzi closed source il carburante finanziario necessario per industrializzare lo sviluppo LLM. Ciò consente di raggiungere livelli insondabili per le iniziative di base: basta vedere il modello Gopher da 280 miliardi di parametri di DeepMind.

Versatilità applicativa

La personalizzazione degli LLM open source consente di affrontare casi d'uso altamente specializzati. I ricercatori possono modificare in modo aggressivo le parti interne del modello per migliorare le prestazioni in attività di nicchia come la previsione della struttura delle proteine, la generazione di documentazione di codice e la verifica di prove matematiche.

Detto questo, la possibilità di accedere e modificare il codice non garantisce una soluzione efficace specifica per il dominio senza i dati giusti. I set di dati di addestramento completi per applicazioni ristrette richiedono uno sforzo significativo per curare e mantenersi aggiornati.

In questo caso i LLM closed source beneficiano delle risorse per reperire dati di formazione da repository interni e partner commerciali. Ad esempio, DeepMind concede in licenza database come ChEMBL per la chimica e UniProt per le proteine ​​per espandere la portata delle applicazioni. L’accesso ai dati su scala industriale consente a modelli come Gopher di raggiungere una notevole versatilità nonostante l’opacità dell’architettura.

Accessibilità e licenza

La licenza permissiva dei LLM open source promuove il libero accesso e la collaborazione. Modelli come GPT-NeoX, LLaMA e Jurassic-1 Jumbo utilizzano accordi come Creative Commons e Apache 2.0 per consentire la ricerca non commerciale e una commercializzazione equa.

Al contrario, i LLM closed source prevedono licenze restrittive che limitano la disponibilità del modello. Le entità commerciali controllano rigorosamente l'accesso per salvaguardare i potenziali flussi di entrate derivanti dalle API di previsione e dalle partnership aziendali.

Comprensibilmente, organizzazioni come Anthropic e Cohere fanno pagare l'accesso alle interfacce ConstitutionalAI e Cohere-512. Tuttavia, ciò rischia di prezzare importanti settori di ricerca, distorcendo lo sviluppo verso industrie ben finanziate.

Anche le licenze aperte pongono sfide, in particolare per quanto riguarda l’attribuzione e la responsabilità. Per i casi d’uso della ricerca, tuttavia, le libertà garantite dall’accessibilità open source offrono chiari vantaggi.

Privacy e riservatezza dei dati

I set di dati di formazione per LLM in genere aggregano contenuti da varie fonti online come pagine Web, articoli scientifici e forum di discussione. Ciò rischia di far emergere informazioni personali identificabili o comunque sensibili negli output del modello.

Per i LLM open source, l'esame accurato della composizione del set di dati fornisce la migliore protezione contro i problemi di riservatezza. La valutazione delle origini dati, delle procedure di filtraggio e della documentazione relativa agli esempi rilevati durante i test può aiutare a identificare le vulnerabilità.

Sfortunatamente, i LLM closed source impediscono tale controllo pubblico. I consumatori devono invece fare affidamento sul rigore dei processi di revisione interna basati sulle politiche annunciate. Per contesto, Servizi cognitivi di Azure promette di filtrare i dati personali mentre Google specifica revisioni formali della privacy ed etichettatura dei dati.

Nel complesso, i LLM open source consentono un’identificazione più proattiva dei rischi di riservatezza nei sistemi di intelligenza artificiale prima che tali difetti si manifestino su larga scala. Le controparti chiuse offrono una trasparenza relativamente limitata nelle pratiche di gestione dei dati.

Supporto e supporto commerciale

Il potenziale di monetizzazione degli LLM closed source incentiva significativi investimenti commerciali per lo sviluppo e la manutenzione. Ad esempio, prevedendo rendimenti redditizi dal suo portafoglio Azure AI, Microsoft ha accettato partnership multimiliardarie con OpenAI sui modelli GPT.

Al contrario, i LLM open source si basano su volontari che assegnano tempo personale per la manutenzione o su sovvenzioni che forniscono finanziamenti a termine limitato. Questa asimmetria delle risorse mette a rischio la continuità e la longevità dei progetti open source.

Tuttavia, gli ostacoli alla commercializzazione consentono anche alle comunità open source di concentrarsi sul progresso scientifico piuttosto che sul profitto. E la natura decentralizzata degli ecosistemi aperti mitiga l’eccessivo affidamento sull’interesse duraturo di ogni singolo finanziatore.

In definitiva, ciascun approccio comporta dei compromessi in termini di risorse e incentivi. Gli LLM closed source godono di una maggiore sicurezza di finanziamento ma concentrano l’influenza. Gli ecosistemi aperti promuovono la diversità ma soffrono di una maggiore incertezza.

Navigazione nel panorama LLM Open Source e Closed Source

La decisione tra LLM open source o closed source richiede la corrispondenza delle priorità organizzative come personalizzazione, accessibilità e scalabilità con le funzionalità del modello.

Per ricercatori e startup, l’open source garantisce maggiore controllo per adattare i modelli a compiti specifici. La licenza facilita inoltre la condivisione gratuita delle informazioni tra i collaboratori. Tuttavia, l’onere di reperire dati e infrastrutture per la formazione può minare la fattibilità nel mondo reale.

Al contrario, i LLM closed source promettono notevoli miglioramenti della qualità grazie a ampi finanziamenti e dati. Tuttavia, le restrizioni sull’accesso e sulle modifiche limitano la trasparenza scientifica vincolando le implementazioni alle roadmap dei fornitori.

In pratica, gli standard aperti relativi alle specifiche dell’architettura, ai punti di controllo del modello e ai dati di valutazione possono aiutare a compensare gli svantaggi di entrambi gli approcci. Fondamenti condivisi come Transformer di Google o i benchmark REALTO di Oxford migliorano la riproducibilità. Gli standard di interoperabilità come ONNX consentono di combinare componenti da fonti aperte e chiuse.

In definitiva, ciò che conta è scegliere lo strumento giusto, open source o chiuso, per il lavoro da svolgere. Le entità commerciali che sostengono i LLM closed source esercitano un'influenza innegabile. Ma la passione e i principi delle comunità di scienza aperta continueranno a svolgere un ruolo cruciale nel guidare il progresso dell’IA.