Julien Salinas, Fondatore e CTO di NLP Cloud – Serie di Interviste

Julien Salinas è il Fondatore e CTO di NLP Cloud. La piattaforma NLP Cloud fornisce modelli NLP di alta prestazione e pronti per la produzione basati su spaCy e HuggingFace transformers, per diversi casi d’uso, tra cui NER, analisi dei sentimenti, classificazione del testo, riassunto, risposta alle domande, generazione del testo, traduzione, rilevamento della lingua, correzione grammaticale e ortografica, classificazione delle intenzioni e similarità semantica.

Cosa ti ha inizialmente interessato all’informatica?

Ho iniziato a programmare alla scuola di business! So che sembra sorprendente. In realtà, mi sono reso conto rapidamente che il business in sé era noioso e che sarei stato limitato se non avessi avuto le competenze tecniche per realizzare i miei progetti.

Il primo progetto all’epoca era un piccolo sito web per il mio insegnante di musica, poi un altro per la mia famiglia, poi ho iniziato a imparare Python… e così via. Ora sono uno sviluppatore Python/Go e DevOps da 15 anni.

Puoi condividere la storia di come è nata NLP Cloud?

È iniziata 2 anni fa, quando mi sono reso conto che, come sviluppatore, era abbastanza difficile deployare correttamente i modelli di machine learning in produzione.

Ero sbalordito dai progressi fatti da framework come Hugging Face Transformers e spaCy, e sono stato in grado di sfruttare modelli NLP molto avanzati nei miei progetti. Ma utilizzare questi modelli in produzione era un’altra bestia e, sorprendentemente, non riuscivo a trovare alcun No-Ops cloud interessante per NLP sul mercato.

Quindi, ho deciso di creare la mia piattaforma per il deploy di modelli NLP. Molto rapidamente abbiamo ricevuto un grande feedback dai clienti e abbiamo aggiunto molte funzionalità in base a questi feedback (modelli pre-addestrati, fine-tuning, playground…).

La piattaforma NLP Cloud supporta l’alternativa open-source GPT-3, GPT-J. Cosa è specificamente GPT-J?

GPT-J è stato rilasciato da un team di ricercatori chiamato EleutherAI nel giugno di quest’anno. Credono che GPT-3 dovrebbe essere un modello open-source, come i suoi predecessori (GPT e GPT-2). Affermano che, anche se dovremmo tutti preoccuparci del possibile uso improprio di modelli AI potenti come GPT, non è una buona ragione per non rendere questi modelli open-source. Al contrario: credono che se i modelli AI rimangono open-source, è il modo migliore per la comunità per capire come funzionano questi modelli sotto il cofano e assicurarsi che questi modelli non si comportino in modo errato (misoginia, razzismo, …).

GPT-J è un equivalente diretto di GPT-3 Curie, poiché entrambi sono stati addestrati su più o meno 6 miliardi di parametri.

Entrambi possono essere utilizzati quasi in modo intercambiabile.

Perché GPT-J è un’alternativa superiore a GPT-3?

GPT-3 appartiene a Microsoft (MSFT ) e l’unico modo per le persone di utilizzarlo è attraverso l’API ufficiale GPT-3.

Ma questa API è molto costosa e estremamente restrittiva: è necessario richiedere l’accesso all’API e, anche se la tua applicazione viene accettata, il tuo accesso può essere chiuso in qualsiasi momento se considerano che il tuo modello di business non è conforme alle loro linee guida. Ad esempio, non puoi generare “testo aperto” (lungo testo composto da più paragrafi) poiché è contro la loro politica.

Non ci sono tali restrizioni con GPT-J, poiché è open-source e chiunque può installarlo e utilizzarlo.

Quali sono stati alcuni dei challenge tecnici nell’integrare GPT-J su NLP Cloud?

GPT-J è complesso da installare a causa del suo alto consumo di risorse (RAM, CPU, GPU…). Funziona senza una GPU, ma è così lento che è molto poco pratico.

Alla fine, l’hardware necessario per eseguire GPT-J è molto costoso, quindi, per ridurre i costi, abbiamo dovuto lavorare su molti dettagli di implementazione.

Inoltre, per garantire l’alta disponibilità di GPT-J su NLP Cloud e renderlo adatto per la produzione, abbiamo dovuto lavorare su strategie di ridondanza e failover per GPT-J che possono essere abbastanza impegnative.

Puoi discutere alcuni dei modelli AI pre-addestrati offerti?

Stiamo facendo del nostro meglio per selezionare il miglior modello AI pre-addestrato per ogni caso d’uso.

Per il riassunto del testo, il migliore – a nostro parere – è Facebook’s Bart Large CNN, che fornisce risultati molto buoni, ma che può essere abbastanza lento senza una GPU.

Per la classificazione del testo, abbiamo implementato Facebook’s Bart Large MNLI (per la classificazione inglese) e Joe Davison’s XLM Roberta Large XLNI (per le lingue non inglesi). Entrambi sono veloci e molto precisi.

Per la risposta alle domande, utilizziamo Deepset’s Roberta Base Squad 2. È veloce e preciso, ma per una risposta alle domande più avanzata, potresti voler utilizzare GPT-J.

E molti altri!

Quali sono alcuni dei migliori casi d’uso per NLP Cloud?

I casi d’uso che sembrano essere utilizzati di più sono il riassunto del testo, la classificazione del testo e la generazione del testo con GPT-J per la generazione di descrizioni di prodotti, parafrasi, generazione di articoli…

Ma i casi d’uso che possiamo vedere tra i nostri clienti sono estremamente diversificati e è impressionante vedere così tante grandi idee che emergono!

C’è qualcos’altro che vorresti condividere su NLP Cloud?

Sembra che l’AI per la comprensione del testo e la generazione del testo sia finalmente utilizzata “per realtà” in prodotti o flussi di lavoro interni, da sempre più aziende.

È bello vedere che NLP non è più solo un campo di ricerca puro, ma che ci sono casi d’uso aziendali reali che possono sfruttare NLP.

su NLP Cloud continueremo a fare del nostro meglio per rendere facile per chiunque testare e utilizzare NLP in produzione.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare NLP Cloud.