Ricky Costa, CEO av Quantum Stat – Intervju-serie

Ricky Costa er administrerende direktør i Quantum Stat, et selskap som tilbyr bedriftsløsninger for NLP og AI-initiativer

Hva var det som først interesserte deg for kunstig intelligens?

Tilfeldighet. Jeg leste en bok om sannsynlighet da jeg kom over en berømt teorem. På den tiden lurte jeg naivt på om jeg kunne bruke dette teoremet på et naturlig språkproblem jeg forsøkte å løse på jobben. Det viser seg at algoritmen allerede eksisterte, uten at jeg visste det, og det var kalt Naïve Bayes, en svært berømt og enkel generativ modell som brukes i klassisk maskinlæring. Teoremet var Bayes’ teorem. Jeg følte at denne tilfeldigheten var en ledetråd, og plantet et frø av nysgjerrighet for å lære mer.

Du er administrerende direktør i Quantum Stat, et selskap som tilbyr løsninger for Natural Language Processing. Hvordan havnet du i denne posisjonen?

Når det skjer en revolusjon i en ny teknologi, er noen selskaper mer nølende enn andre når de står overfor det ukjente. Jeg startet mitt selskap fordi å forfølge det ukjente er gøy for meg. Jeg følte også at det var riktig tid å gå inn i feltet NLP, med tanke på all den fantastiske forskningen som har kommet de siste to årene. NLP-samfunnet har nå evnen til å oppnå mye mer med mindre, takket være de nye NLP-teknikkene som krever mindre data for å skalle ytelse.

For lesere som kanskje ikke er kjent med dette feltet, kan du dele med oss hva Natural Language Processing gjør?

NLP er en undergren av AI og analyser som forsøker å forstå naturlig språk i tekst, tale eller multimodal læring (tekst og bilder/video) og beregne det til et punkt der du driver innsikt og/eller tilbyr en verdifull tjeneste. Verdien kan komme fra flere vinkler, fra informasjonsgjenfinning i et selskaps interne filsystem, til å klassifisere holdninger i nyhetene, eller en GPT-2 Twitter-robot som hjelper med din sosiale medie-markedsføring (som den vi bygde for noen uker siden).

Du har en bachelorgrad i eksperimentell psykologi fra Hunter College. Føler du at å forstå menneskehjernen og mennesklig psykologi er en aktivum når det kommer til å forstå og utvide feltet Natural Language Processing?

Dette er kontroversielt, men dessverre nei. Analogien med nevroner og dypt neurale nettverk er bare for illustrasjon og å innprente intuisjon. En kan kanskje lære mye mer fra kompleksitetsvitenskap og ingeniørvitenskap. Vanskeligheten med å forstå hvordan hjernen fungerer er at vi har å gjøre med et komplekst system. “Intelligens” er et emergent fenomen fra hjernens kompleksitet som interagerer med sin omgivelse, og svært vanskelig å pinne ned. Psykologi og andre samfunnsvitenskaper, som er avhengige av “reduksjonisme” (top-down), fungerer ikke under dette komplekse paradigmet. Her er intuisjonen: forestill deg noen som prøver å redusere The Beatles’ sang “Let it Be” til C-dur-skalaen. Det er ingenting i den skalaen som forutsier at “Let it Be” vil oppstå fra den. Det samme gjelder for noen som prøver å redusere atferd til nevralt aktivitet i hjernen.

Kan du dele med oss hvorfor Big Data er så viktig når det kommer til Deep Learning og mer spesifikt Natural Language Processing?

Som det står nå, fordi dyptlæringsmodeller interpolerer data, jo mer data du matet inn i modellen, jo færre eksempler vil den se når den gjør en inferens i villmarken. Denne arkitekturen “motiverer” store datasett til å bli beregnet av modeller for å øke nøyaktigheten av utgangen. Men hvis vi vil oppnå mer intelligent atferd hos AI-modeller, må vi se beyond hvor mye data vi har og mer mot hvordan vi kan forbedre modellens evne til å resonnere mer effektivt, som intuitivt sett ikke burde kreve mye data. Fra et kompleksitetsperspektiv, viser de cellulære automata-eksperimentene som ble utført i det forrige århundre av fysikerne John von Neumann og Stephen Wolfram at kompleksitet kan oppstå fra enkle initialbetingelser og regler. Hva disse betingelsene/reglene bør være med hensyn til AI, er hva alle jakter på.

Du lanserte nylig ‘Big Bad NLP Database’. Hva er denne databasen og hvorfor er den viktig for dem i AI-bransjen?

Denne databasen ble skapt for NLP-utviklere for å ha en sømløs tilgang til alle de relevante datasettene i bransjen. Denne databasen hjelper til å indeksere datasett som har en fin sekundær effekt av å kunne bli spurt av brukerne. Forbearbeiding av data tar det meste av tiden i deployeringspipelinen, og denne databasen prøver å mildne dette problemet så mye som mulig. I tillegg er det en gratis plattform for alle, uavhengig av om du er en akademisk forsker, praktiker eller uavhengig AI-guru som ønsker å komme i gang med NLP-data. Lenke

Quantum Stat tilbyr nå end-to-end-løsninger. Hva er noen av disse løsningene?

Vi hjelper selskaper med å fasilitere deres NLP-modelleringpipeline ved å tilby utvikling på alle stadier. Vi kan dekke en rekke tjenester fra datarensing i forbehandlingsstadiet helt til modellserver-deployment i produksjon (disse tjenestene er også fremhevet på vår hjemmeside). Ikke alle AI-prosjekter kommer til å bli realisert på grunn av den ukjente naturen til hvordan din spesifikke data/prosjektarkitektur fungerer med en state-of-the-art-modell. Gitt denne usikkerheten, gir våre tjenester selskaper en mulighet til å iterere på prosjektet til en brøkdel av kostnaden av å ansette en fulltids ML-ingeniør.

Hva er den nyeste fremgangen i AI som du finner mest interessant?

Den viktigste fremgangen på sist tid er transformer-modellen, du har kanskje hørt om den: BERT, RoBERTa, ALBERT, T5 og så videre. Disse transformer-modellene er svært tiltrekkende fordi de tillater forskeren å oppnå state-of-the-art-ytelse med mindre datasett. Før transformatorer, ville en utvikler trenge et svært stort datasett for å trene en modell fra scratch. Siden disse transformatorer kommer forhåndsrentet på milliarder av ord, tillater det raskere iterasjon av AI-prosjekter, og det er det vi hovedsakelig er involvert i for øyeblikket.

Er det noe annet du ønsker å dele om Quantum Stat?

Vi arbeider på et nytt prosjekt som handler med finansiell markedssentimentanalyse som vil bli lansert snart. Vi har utnyttet flere transformatorer for å gi utenforliggende innsikt i hvordan finansielle nyheter utvikler seg i sanntid. Hold øye med!

For å lære mer, besøk Quantum Stat eller les vår artikkel om Big Bad NLP Database.