Ricky Costa, VD för Quantum Stat – Intervju-serie

Ricky Costa är VD för Quantum Stat, ett företag som erbjuder affärslösningar för NLP och AI-initiativ

Vad fick dig initialt intresserad av artificiell intelligens?

Slump. Jag läste en bok om sannolikhet när jag stötte på en berömd sats. Vid den tiden undrade jag naivt om jag kunde tillämpa denna sats på ett naturligt språkproblem jag försökte lösa på jobbet. Det visade sig att algoritmen redan existerade, utan att jag visste om det, och den kallades Naïve Bayes, en mycket berömd och enkel generativ modell som används i klassisk maskinlärning. Den satsen var Bayes sats. Jag kände att denna slump var en ledtråd och sådde ett frö av nyfikenhet att fortsätta lära mig mer.

Du är VD för Quantum Stat, ett företag som erbjuder lösningar för Natural Language Processing. Hur hamnade du i denna position?

När det finns en revolution inom en ny teknik är vissa företag mer tveksamma än andra när de står inför det okända. Jag startade mitt företag för att jag tycker att det är roligt att följa det okända. Jag kände också att det var rätt tid att gå in i NLP-området med tanke på all den fantastiska forskning som har kommit de senaste två åren. NLP-samhället har nu möjlighet att uppnå mycket mer med mindre, tack vare de nya NLP-teknikerna som kräver mindre data för att skala prestanda.

För läsare som kanske inte är bekanta med detta område, kan du berätta för oss vad Natural Language Processing gör?

NLP är ett underområde till AI och analys som försöker förstå naturligt språk i text, tal eller multimodalt lärande (text och bilder/video) och beräkna det till den punkt där du driver insikt och/eller tillhandahåller en värdefull tjänst. Värde kan komma från flera vinklar, från informationsåtervinning i ett företags interna filsystem till att klassificera sentiment i nyheter eller en GPT-2 Twitter-bot som hjälper till med din sociala marknadsföring (som den vi byggde för några veckor sedan).

Du har en kandidatexamen i experimentell psykologi från Hunter College. Känner du att förståelse för den mänskliga hjärnan och mänsklig psykologi är en tillgång när det gäller att förstå och expandera NLP-området?

Detta är kontroversiellt, men tyvärr nej. Analogin med neuroner och djupa neurala nätverk är enbart för illustration och för att skapa intuition. Man kan förmodligen lära sig mycket mer från komplexitetsteori och ingenjörsvetenskap. Svårigheten med att förstå hur hjärnan fungerar är att vi har att göra med ett komplext system. “Intelligens” är ett emergent fenomen från hjärnans komplexitet som interagerar med dess miljö, och det är mycket svårt att fastställa. Psykologi och andra samhällsvetenskaper, som är beroende av “reduktionism” (top-down), fungerar inte under detta komplexa paradigm. Här är intuitionen: föreställ dig att någon försöker reducera Beatles-låten “Let it Be” till C-durskalan. Det finns ingenting i den skalan som förutsäger att “Let it Be” kommer att uppstå från den. Samma sak gäller för någon som försöker reducera beteende till neural aktivitet i hjärnan.

Kan du berätta för oss varför Big Data är så viktigt när det gäller Deep Learning och mer specifikt Natural Language Processing?

Som det är nu, eftersom djupa inlärningsmodeller interpolerar data, ju mer data du matar in i modellen, desto färre kanter kommer den att se när den gör en inferens i vildmarken. Denna arkitektur “uppmuntrar” stora datamängder att beräknas av modeller för att öka utdatans noggrannhet. Men om vi vill uppnå intelligentare beteende hos AI-modeller, måste vi titta bortom hur mycket data vi har och mer mot hur vi kan förbättra modellens förmåga att resonera mer effektivt, vilket intuitivt sett inte borde kräva mycket data. Från ett komplext perspektiv visar de cellulära automata-experiment som fysikerna John von Neumann och Stephen Wolfram genomförde i det förra århundradet att komplexitet kan uppstå från enkla initiala villkor och regler. Vad dessa villkor och regler ska vara i fråga om AI, är vad alla letar efter.

Du lanserade nyligen “Big Bad NLP Database”. Vad är denna databas och varför är den viktig för dem i AI-branschen?

Denna databas skapades för att NLP-utvecklare ska ha en smidig tillgång till alla relevanta datamängder inom branschen. Denna databas hjälper till att indexera datamängder, vilket har en trevlig sekundär effekt som möjliggör att användare kan fråga dem. Förbearbetning av data tar den största delen av tiden i distributionspipelinen, och denna databas försöker mildra detta problem så mycket som möjligt. Dessutom är det en gratisplattform för alla, oavsett om du är en akademisk forskare, praktiker eller oberoende AI-guru som vill komma igång med NLP-data. Länk

Quantum Stat erbjuder för närvarande slut-till-slut-lösningar. Vilka är några av dessa lösningar?

Vi hjälper företag att underlätta sin NLP-modelleringpipeline genom att erbjuda utveckling i vilket skede som helst. Vi kan täcka en stor mängd tjänster, från datarengöring i förbearbetningsstadiet till modellserverdistribution i produktion (dessa tjänster är också markerade på vår startsida). Inte alla AI-projekt kommer till fruition på grund av den okända naturen av hur ditt specifika data/projektarkitektur fungerar med en state-of-the-art-modell. Med tanke på denna osäkerhet ger våra tjänster företag en chans att iterera på sitt projekt till en bråkdel av kostnaden för att anställa en fulltidsmaskinläringsingenjör.

Vad är den senaste utvecklingen inom AI som du tycker är mest intressant?

Den viktigaste utvecklingen på senare tid är transformermodellen, du har förmodligen hört talas om den: BERT, RoBERTa, ALBERT, T5 och så vidare. Dessa transformermodeller är mycket tilltalande eftersom de tillåter forskaren att uppnå state-of-the-art-prestanda med mindre datamängder. Före transformer krävde en utvecklare en mycket stor datamängd för att träna en modell från scratch. Eftersom dessa transformer kommer förtränade på miljarder ord, tillåter de en snabbare iteration av AI-projekt och det är vad vi för närvarande är mest involverade i.

Finns det något annat du vill dela om Quantum Stat?

Vi arbetar på ett nytt projekt som handlar om finansiell marknadsanalys som kommer att släppas snart. Vi har utnyttjat flera transformer för att ge en utanför jämförelse till hur finansiella nyheter utvecklas i realtid. Håll utkik!

För att lära dig mer, besök Quantum Stat eller läs vår artikel om Big Bad NLP Database.