Ricky Costa, CEO van Quantum Stat – Interview Serie

Ricky Costa is de CEO van Quantum Stat, een bedrijf dat bedrijfsoplossingen biedt voor NLP en AI-initiatieven

Wat heeft je aanvankelijk geïnteresseerd in kunstmatige intelligentie?

Toeval. Ik las een boek over waarschijnlijkheid toen ik een beroemde stelling tegenkwam. Op dat moment vroeg ik me af of ik deze stelling kon toepassen op een natuurtaalprobleem dat ik op het werk probeerde op te lossen. Het bleek dat het algoritme al bestond, zonder dat ik het wist, en het heette de Naïeve Bayes, een heel beroemde en eenvoudige generatieve model gebruikt in klassieke machine learning. Die stelling was de Bayes-stelling. Ik voelde dat deze samenloop een aanwijzing was en een zaadje van nieuwsgierigheid plantte om meer te leren.

Je bent de CEO van Quantum Stat, een bedrijf dat oplossingen biedt voor Natural Language Processing. Hoe ben je in deze positie terechtgekomen?

Wanneer er een revolutie is in een nieuwe technologie, zijn sommige bedrijven meer terughoudend dan anderen als ze worden geconfronteerd met het onbekende. Ik heb mijn bedrijf opgericht omdat het nastreven van het onbekende leuk is voor mij. Ik voelde ook dat het de juiste tijd was om de field van NLP te betreden, gezien alle geweldige onderzoek dat de afgelopen 2 jaar is verschenen. De NLP-gemeenschap heeft nu de capaciteit om veel meer te bereiken met minder, gezien de nieuwe NLP-technieken die minder data nodig hebben om de prestaties te schalen.

Voor lezers die mogelijk niet bekend zijn met dit veld, kun je ons vertellen wat Natural Language Processing doet?

NLP is een subveld van AI en analytics dat probeert natuurlijke taal in tekst, spraak of multimodale learning (tekst en afbeeldingen/video) te begrijpen en te berekenen tot het punt waarop je inzicht en/of een waardevolle dienst levert. Waarde kan uit verschillende hoeken komen, van informatieopslag in een bedrijfsinterne bestandssysteem, tot het classificeren van sentiment in het nieuws, of een GPT-2 Twitter-bot die helpt bij je sociale media-marketing (zoals de een die we een paar weken geleden hebben gebouwd).

Je hebt een Bachelor of Arts van Hunter College in Experimentele Psychologie. Voel je dat het begrijpen van de menselijke hersenen en menselijke psychologie een pluspunt is bij het begrijpen en uitbreiden van het veld van Natural Language Processing?

Dit is tegenstrijdig, maar helaas niet. De analogie van neuronen en diepe neurale netwerken is simpelweg voor illustratie en intuïtie. Men kan waarschijnlijk meer leren van complexiteitswetenschap en ingenieurswetenschap. De moeilijkheid met het begrijpen van hoe de hersenen werken is dat we te maken hebben met een complex systeem. “Intelligentie” is een emergente verschijnselen van de complexiteit van de hersenen die interacteert met zijn omgeving, en heel moeilijk te begrijpen. Psychologie en andere sociale wetenschappen, die afhankelijk zijn van “reductionisme” (top-down), werken niet onder dit complexe paradigma. Hier is de intuïtie: stel je voor dat iemand probeert het Beatles-nummer “Let it Be” te reduceren tot de C-majeur schaal. Er is niets in die schaal dat voorspelt dat “Let it Be” zal ontstaan uit het. Hetzelfde geldt voor iemand die probeert gedrag te reduceren tot neurale activiteit in de hersenen.

Kun je ons vertellen waarom Big Data zo belangrijk is bij Deep Learning en meer specifiek Natural Language Processing?

Op dit moment, omdat diepe leermodellen data interpoleren, hoe meer data je in het model voert, hoe minder randgevallen het zal zien wanneer het een inferentie maakt in de wild. Deze architectuur “stimuleert” grote datasets om door modellen te worden berekend om de nauwkeurigheid van de output te verhogen. Echter, als we meer intelligente gedrag van AI-modellen willen bereiken, moeten we verder kijken dan hoeveel data we hebben en meer naar hoe we de capaciteit van modellen kunnen verbeteren om efficiënter te redeneren, wat intuïtief niet veel data zou moeten vereisen. Vanuit een complexiteitsperspectief laten de experimenten met cellulair automaten die in de afgelopen eeuw zijn uitgevoerd door natuurkundigen John von Neumann en Stephen Wolfram zien dat complexiteit kan ontstaan uit eenvoudige initiële condities en regels. Wat deze condities/regels zouden moeten zijn met betrekking tot AI, is wat iedereen zoekt.

Je hebt onlangs de ‘Big Bad NLP Database’ gelanceerd. Wat is deze database en waarom is het belangrijk voor mensen in de AI-industrie?

Deze database is gemaakt voor NLP-ontwikkelaars om toegang te hebben tot alle relevante datasets in de industrie. Deze database helpt bij het indexeren van datasets, wat een mooi neveneffect heeft van het kunnen door gebruikers worden doorzocht. Het voorbewerken van data neemt de meeste tijd in beslag in de implementatiepijplijn, en deze database probeert dit probleem zo veel mogelijk te mitigeren. Bovendien is het een gratis platform voor iedereen, ongeacht of je een academisch onderzoeker, beoefenaar of onafhankelijk AI-guru bent die NLP-data wilt leren kennen. Link

Quantum Stat biedt momenteel eind-tot-eind-oplossingen. Wat zijn enkele van deze oplossingen?

We helpen bedrijven hun NLP-modelleringpijplijn te faciliteren door ontwikkeling aan te bieden op elk stadium. We kunnen een breed scala aan diensten aanbieden, van gegevensschoonmaak in de voorbewerkingsfase tot modelserverimplementatie in productie (deze diensten worden ook op onze homepage benadrukt). Niet alle AI-projecten komen tot stand vanwege de onzekere aard van hoe jouw specifieke data/projectarchitectuur werkt met een state-of-the-art-model. Gezien deze onzekerheid, bieden onze diensten bedrijven de kans om te itereren op hun project voor een fractie van de kosten van het inhuren van een fulltime ML-engineer.

Wat is de meest interessante recente vooruitgang in AI?

De belangrijkste vooruitgang van de laatste tijd is het transformer-model, je hebt misschien van gehoord: BERT, RoBERTa, ALBERT, T5 enz. Deze transformer-modellen zijn heel aantrekkelijk omdat ze onderzoekers in staat stellen om state-of-the-art-prestaties te bereiken met kleinere datasets. Voordat transformers bestonden, had een ontwikkelaar een heel grote dataset nodig om een model van scratch te trainen. Aangezien deze transformers zijn voorgetraind op miljarden woorden, maakt het het mogelijk om sneller AI-projecten te itereren en het is waar we op dit moment voornamelijk mee bezig zijn.

Is er nog iets anders dat je over Quantum Stat wilt delen?

We werken aan een nieuw project dat gaat over financiële markt sentimentanalyse dat binnenkort zal worden uitgebracht. We hebben meerdere transformers gebruikt om ongekende inzichten te geven in hoe financieel nieuws zich in real-time ontvouwt. Blijf op de hoogte!

Om meer te leren, bezoek Quantum Stat of lees ons artikel over de Big Bad NLP Database.