Ricky Costa, administrerende direktør for Quantum Stat – Interviewserie

Ricky Costa er administrerende direktør for Quantum Stat, et selskap som tilbyr løsninger for bedriftsøkonomi og kunstig intelligens-initiativer, inkludert NLP

Hvad fik dig først interesseret i kunstig intelligens?

Tilfældighed. Jeg læste en bog om sandsynlighed, da jeg stødte på en berømt teorem. På det tidspunkt undrede jeg mig naivt over, om jeg kunne anvende dette teorem på et naturligt sprogproblem, jeg forsøgte at løse på arbejdet. Det viste sig, at algoritmen allerede eksisterede, uden at jeg kendte til det, og det kaldtes Naïve Bayes, en meget berømt og enkel generativ model, der anvendes i klassisk maskinlæring. Det teorem var Bayes’ teorem. Jeg følte, at denne tilfældighed var et tegn, og plantede et frø af nysgerrighed til at lære mere.

Du er administrerende direktør for Quantum Stat, et selskap som tilbyr løsninger for Natural Language Processing. Hvordan endte du i denne position?

Når der sker en revolution i en ny teknologi, er nogle selskaper mere tilbageholdende end andre med hensyn til at møde det ukendte. Jeg startede mit selskap, fordi at forfølge det ukendte er sjovt for mig. Jeg følte også, at det var det rette tidspunkt at gå ind i NLPfeltet, givet alle de fantastiske forskningsresultater, der er kommet i de sidste 2 år. NLP-fællesskabet har nu kapaciteten til at opnå langt mere med langt mindre, takket være de nye NLP-teknikker, der kræver mindre data for at skala performances.

For læsere, der måske ikke er bekendt med dette felt, kan du dele med os, hvad Natural Language Processing gør?

NLP er en underdisciplin til kunstig intelligens og analytics, der forsøger at forstå naturligt sprog i tekst, tale eller multimodal læring (tekst og billeder/video) og beregne det til et punkt, hvor du driver indsigt og/eller tilbyder en værdifuld service. Værdi kan komme fra flere vinkler, fra informationshenting i et selskabs interne filsystem til klassificering af holdninger i nyhederne eller en GPT-2 Twitter-bot, der hjælper med din sociale medie-markedsføring (ligesom den, vi byggede for nogle uger siden).

Du har en bachelorgrad i eksperimentel psykologi fra Hunter College. Føler du, at forståelsen af hjernen og psykologien er en aktiv til at forstå og udvide feltet Natural Language Processing?

Dette er kontroversielt, men desværre nej. Analogien mellem neuroner og dybe neurale netværk er kun til illustration og intuition. Man kan sandsynligvis lære langt mere fra kompleksitetsvidenskab og ingeniørvidenskab. Sværheden ved at forstå, hvordan hjernen fungerer, er, at vi har at gøre med et komplekst system. “Intelligens” er et emergent fænomen fra hjernens kompleksitet, der interagerer med sin omverden, og det er meget svært at fastlægge. Psykologi og andre samfundsvidenskaber, der afhænger af “reduktionisme” (top-down), fungerer ikke under dette komplekse paradigme. Her er intuitionen: Forestil dig, at nogen forsøger at reducere The Beatles’ sang “Let it Be” til C-dur-skalaen. Der er intet ved den skala, der forudsiger, at “Let it Be” vil opstå fra den. Det samme gælder for nogen, der forsøger at reducere adfærd til neurale aktiviteter i hjernen.

Kan du dele med os, hvorfor Big Data er så vigtigt, når det kommer til Deep Learning og mere specifikt Natural Language Processing?

Som det er nu, fordi dybe læringmodeller interpolerer data, jo mere data du foder modellen, desto færre edge-cases vil den se, når den foretager en inferens i det vilde. Denne arkitektur “incentiverer” store datasæt til at blive beregnet af modeller for at øge nøjagtigheden af output. Men hvis vi vil opnå mere intelligent adfærd hos AI-modeller, må vi se beyond, hvordan meget data vi har, og mere mod, hvordan vi kan forbedre modellens evne til at resonere mere effektivt, hvilket intuitivt ikke burde kræve meget data. Fra et kompleksitetsperspektiv viser de cellulære automata-eksperimenter, der er udført i det sidste århundrede af fysikerne John von Neumann og Stephen Wolfram, at kompleksitet kan opstå fra simple begyndelsesbetingelser og regler. Hvad disse betingelser/regler skal være med hensyn til AI, er det, alle jagter.

Du har nyligt lanceret ‘Big Bad NLP Database’. Hvad er denne database, og hvorfor er den vigtig for dem i AI-industrien?

Denne database blev skabt til, at NLP-udviklere kan have en problemfri adgang til alle de relevante datasæt i industrien. Denne database hjælper med at indekserer datasæt, hvilket har en nice sekundær effekt af at kunne blive forespurgt af brugere. Forarbejdning af data tager det meste af tiden i installationsprocessen, og denne database forsøger at mindske dette problem så meget som muligt. Derudover er det en gratis platform for alle, uanset om du er en akademisk forsker, praktiker eller uafhængig AI-guru, der vil komme i gang med NLP-data. Link

Quantum Stat tilbyder i øjeblikket end-to-end-løsninger. Hvad er nogle af disse løsninger?

Vi hjælper selskaber med at facilitere deres NLP-modelpipeline ved at tilbyde udvikling på ethvert stadium. Vi kan dække en bred vifte af services fra datarensning i forarbejdningssammenhængen til modelserverinstallation i produktion (disse services er også fremhævet på vores hjemmeside). Ikke alle AI-projekter kommer til at lykkes på grund af den ukendte natur af, hvordan dit specifikke data/projektarkitektur fungerer med en state-of-the-art-model. Givet denne usikkerhed giver vores services selskaberne en chance til at iterere på deres projekt til en brøkdel af omkostningerne ved at ansætte en fuldtids ML-ingeniør.

Hvad er den seneste udvikling i AI, du finder mest interessant?

Den vigtigste udvikling i den seneste tid er transformermodellen, som du måske har hørt om: BERT, RoBERTa, ALBERT, T5 og så videre. Disse transformermodeller er meget tiltalende, fordi de giver forskeren mulighed for at opnå state-of-the-art-ydelse med mindre datasæt. Før transformatorerne ville en udvikler kræve et meget stort datasæt for at træne en model fra scratch. Da disse transformatorer kommer forudtrænet på milliarder af ord, giver det mulighed for hurtigere iteration af AI-projekter, og det er det, vi primært er involveret i lige nu.

Er der noget andet, du gerne vil dele om Quantum Stat?

Vi arbejder på et nyt projekt om finansmarkedssentimentsanalyse, der snart vil blive udgivet. Vi har udnyttet multiple transformatorer til at give en hidtil uset indsigt i, hvordan finansnyheder udvikler sig i realtid. Hold øje!

For at lære mere besøg Quantum Stat eller læs vores artikel om Big Bad NLP Database.