Julien Salinas, zakladatel a technický ředitel NLP Cloud – rozhovor

Julien Salinas je zakladatel a technický ředitel NLP Cloud. Platforma NLP Cloud poskytuje vysoce výkonné modely NLP připravené pro produkční použití, založené na spaCy a HuggingFace transformerech, pro různé použití, včetně NER, sentimentální analýzy, textové klasifikace, sumarizace, otázek a odpovědí, generování textu, překladu, detekce jazyka, korekce gramatiky a pravopisu, klasifikace záměrů a semantické podobnosti.

Co vás původně zaujalo o počítačových vědách?

Začal jsem programovat na… obchodní škole! Víte, že to zní překvapivě. Ve skutečnosti jsem si rychle uvědomil, že byznysem samotným je nudné a že bych byl rychle omezen, pokud bych neměl technické dovednosti k realizaci svých projektů.

Můj první projekt v té době byla malá webová stránka pro mého učitele hudby, poté další pro mou rodinu, a poté jsem začal učit Python… a tak dále. Nyní jsem Python/Go vývojář a DevOps již 15 let.

Můžete sdílet příběh o vzniku NLP Cloud?

Začalo to před 2 lety, kdy jsem si uvědomil, že jako vývojář je obtížné správně nasadit modely strojového učení do produkce.

Byl jsem ohromen pokrokem, kterého dosáhly rámce jako Hugging Face Transformers a spaCy, a byl jsem schopen využít velmi pokročilé modely NLP ve svých projektech. Ale použití těchto modelů v produkci bylo jiná věc a, překvapivě, jsem nenašel na trhu žádný zajímavý No-Ops cloud pro NLP.

Proto jsem se rozhodl spustit svou vlastní platformu pro nasazení modelů NLP. Velmi brzy jsme měli skvělé zpětné vazby od zákazníků a přidali jsme mnoho funkcí na základě těchto zpětných vazeb (předtrénované modely, jemné ladění, playground…).

Platforma NLP Cloud podporuje otevřenou alternativu GPT-3 GPT-J. Co je GPT-J konkrétně?

GPT-J byl vydán týmem výzkumníků z EleutherAI v červnu tohoto roku. Věří, že GPT-3 by měl být otevřený model, stejně jako jeho předchůdci (GPT a GPT-2). Tvrdí, že i když bychom měli všichni být znepokojení nad možným zneužíváním mocných modelů AI, jako je GPT, není to dobrý důvod, proč by tyto modely neměly být otevřené. Naopak: věří, že pokud modely AI zůstanou otevřené, je to nejlepší způsob, jak zajistit, aby tyto modely nefungovaly špatně (misogynie, rasismus, …).

GPT-J je přímým ekvivalentem GPT-3 Curie, protože oba jsou trénovány na více než 6 miliardách parametrů.

Oba lze téměř použít vzájemně.

Proč je GPT-J lepší alternativou k GPT-3?

GPT-3 patří Microsoftu a jediný způsob, jak jej použít, je prostřednictvím oficiálního API GPT-3.

Ale toto API je velmi drahé a extrémně restriktivní: musíte požádat o přístup k API a, i když vaše aplikace získá přístup, může být váš přístup zrušen kdykoli, pokud Microsoft (MSFT ) rozhodne, že váš obchodní model nesplňuje jejich směrnice. Například nemůžete generovat “otevřený” text (dlouhý text složený z několika odstavců), protože to je proti jejich politice.

Neexistují žádné takové omezení s GPT-J, protože je otevřený a kdokoli jej může nainstalovat a použít.

Jaké byly některé technické výzvy při integraci GPT-J do NLP Cloud?

GPT-J je složitý na instalaci kvůli jeho vysoké spotřebě zdrojů (RAM, CPU, GPU…). Funkční je bez GPU, ale je to tak pomalé, že je to velmi nepraktické.

Nakonec je hardware potřebný pro běh GPT-J velmi drahý, takže jsme museli pracovat na mnoha detailech implementace, abychom snížili náklady.

Kromě toho jsme museli pracovat na redundanci a strategiích selhání pro GPT-J, aby byla zajištěna vysoká dostupnost na NLP Cloud a aby byla vhodná pro produkci, což může být docela výzvou.

Můžete diskutovat o některých předtrénovaných modelech AI, které jsou nabízeny?

Naší snahou je vybrat nejlepší předtrénovaný model AI pro každý případ použití.

Pro sumarizaci textu je podle našeho názoru nejlepší model Facebook’s Bart Large CNN, který poskytuje velmi dobré výsledky, ale může být docela pomalý bez GPU.

Pro textovou klasifikaci jsme implementovali Facebook’s Bart Large MNLI (pro anglickou klasifikaci) a Joe Davison’s XLM Roberta Large XLNI (pro neanglické jazyky). Oba jsou rychlé a velmi přesné.

Pro otázku a odpověď používáme Deepset’s Roberta Base Squad 2. Je rychlý a přesný, ale pro pokročilejší otázku a odpověď můžete chtít použít GPT-J.

A mnoho dalších!

Jaké jsou některé z nejlepších použití NLP Cloud?

Případy použití, které se zdají být používány nejčastěji, jsou sumarizace textu, textová klasifikace a generování textu pomocí GPT-J pro generování produktových popisů, parafrázování, generování článků…

Ale případy použití, které můžeme vidět u našich zákazníků, jsou extrémně rozmanité, a je to docela úžasné sledovat tolik skvělých nápadů!

Je něco jiného, co byste chtěli sdílet o NLP Cloud?

Zdá se nám, že AI pro porozumění textu a generování textu je konečně používána “najisto” v skutečných produktech nebo interních pracovních postupech, stále více společnostmi.

Je skvělé vidět, že NLP není již pouze čistým výzkumným oborem, ale že existují skutečné obchodní případy, které mohou využít NLP.

Na NLP Cloud budeme pokračovat v našich nejlepších snahách, aby bylo pro každého snadné testovat a používat NLP v produkci.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit NLP Cloud.