Dylan Fox, CEO og grunnlegger av AssemblyAI – Intervju-serie

Dylan Fox er CEO og grunnlegger av AssemblyAI, en plattform som automatisk konverterer lyd- og videofiler og direkte lydstrømmer til tekst med AssemblyAIs tale-til-tekst-APIer.

Hva var det som først tiltalte deg til maskinlæring?

Jeg startet med å lære å programmere og deltok i Python-møter i Washington DC, der jeg gikk på college. Gjennom college-kursene, fant jeg meg selv mer og mer tiltrukket av algoritme-typer programmeringsproblemer, som naturlig ledet meg til maskinlæring og NLP.

Før du grunnla AssemblyAI, var du senior programvare-ingeniør hos Cisco, hva jobbet du med?

Hos Cisco, var jeg senior programvare-ingeniør med fokus på maskinlæring for deres samarbeidsprodukter.

Hvordan inspirerte ditt arbeid hos Cisco og et problem med å finne tale-gjenkjenningsteknologi deg til å lansere AssemblyAI?

I noen av mine tidligere jobber, hadde jeg mulighet til å jobbe med mange AI-prosjekter, inkludert flere prosjekter som krevde tale-gjenkjenning. Men alle selskapene som tilbød tale-gjenkjenning som en tjeneste, var utdaterte, vanskelige å kjøpe fra, og kjørte gamle AI-teknologier.

Ettersom jeg ble mer og mer interessert i AI-forskning, la jeg merke til at det var mye arbeid som ble gjort i feltet tale-gjenkjenning og hvor raskt forskningen forbedret seg. Så det var en kombinasjon av faktorer som inspirerte meg til å tenke: “Hva hvis du kunne bygge et Twilio-lignende API-selskap som bruker den nyeste AI-forskningen, som var mye enklere for utviklere å få tilgang til state-of-the-art AI-modeller for tale-gjenkjenning, med en mye bedre utvikler-erfaring.”

Og det var fra der at ideen for AssemblyAI vokste.

Hva er den største utfordringen bak å bygge nøyaktig og pålitelig tale-gjenkjenningsteknologi?

Kostnad og talent er de største utfordringene for noen selskap å takle når det gjelder å bygge nøyaktig og pålitelig tale-gjenkjenningsteknologi.

Dataene er dyre å innhente, og du trenger vanligvis hundretusener av timer for å bygge et robust tale-gjenkjenningssystem. Ikke bare det, kravene til beregning er enorme for å trene. Og å kjøre disse modellene i produksjon er også dyrt, og krever spesialisert talent for å optimalisere og gjøre det økonomisk.

Bygging av disse teknologiene krever også en spesialisert ferdighetssett som er vanskelig å finne. Det er en stor grunn til at kunder kommer til oss for kraftfulle AI-modeller som vi forsker, trener og deployer internt. De får tilgang til år med forskning i state-of-the-art AI-modeller for ASR og NLP, alle med en enkel API.

Utenfor ren transkripsjon av lyd- og videoinnhold tilbyr AssemblyAI også andre modeller, kan du diskutere hva disse modellene er?

Vår samling av AI-modeller går ut over bare sanntids- og asynkron transkripsjon. Vi omtaler disse ekstra modellene som Audio Intelligence-modeller, fordi de hjelper kunder å analysere og bedre forstå lyddata.

Vår Sammendragsmodell gir en sammenfatning, samt tidskodede sammendrag som automatisk segmenterer og genererer en sammenfatning for hver “kapittel” som emner i en samtale endrer seg (liknende YouTube-kapitler).

Vår Sentiment Analyse-modell detekterer sentimentet til hver setning som uttales i lydfiler. Hver setning i en transkripsjon kan markeres som Positiv, Negativ eller Nøytral.

Vår Entitet-gjenkjenning-modell identifiserer et bredt spekter av entiteter som uttales i lydfiler, som person- eller selskapsnavn, e-postadresser, datoer og steder.

Vår Emne-gjenkjenning-modell merker emnene som diskuteres i lyd- og videofiler. De forutsagte emne-merkene følger den standardiserte IAB-taksonomien, som gjør dem egnet for kontekstuell annonsemålretting.

Vår Innhold-modereringsmodell detekterer sensitivt innhold i lyd- og videofiler – som hatytringer, vold, sensitive sosiale problemer, alkohol, narkotika og mer.

Hva er noen av de største bruksområdene for selskaper som bruker AssemblyAI?

De største bruksområdene selskaper har for AssemblyAI dekker fire kategorier: telefoni, video, virtuelle møter og media.

CallRail er et godt eksempel på en kunde i Telefoni-rommet, som utnytter AssemblyAIs AI-modeller – Core Transkripsjon, Automatisk Transkripsjonshøydepunkter og PII-sladding – for å levere en kraftfull Conversational Intelligence-løsning til sine kunder.

Essensielt, kan CallRail nå automatisk fremheve og definere nøkkelinnhold i sine telefoniske samtaler til sine kunder i stor skala – nøkkelinnhold som bestemte kundeforespørsler, ofte stilte spørsmål og hyppig brukte nøkkelord og fraser. Vår PII-sladdingsmodell hjelper dem å automatisk detektere og fjerne sensitiv data funnet i transkripsjonstekst (f.eks. personnummer, kredittkortnummer, personlige adresser og mer).

Video-bruksområder går fra videostrømmingtjenester til videoeditorer som Veed, som bruker AssemblyAIs Core Transkripsjonsmodeller til å forenkle videoeditingsprosessen for brukerne. Veed lar sine brukere transkribere videoer og redigere dem direkte ved hjelp av undertekstene.

I Virtuelle møter, bruker møte-transkripsjonsprogramvare-selskaper som Fathom AssemblyAI til å bygge intelligente funksjoner som hjelper deres brukere å transkribere og fremheve de viktigste øyeblikkene fra sine Zoom-samtaler, og fremmer bedre møte-engasjement og eliminerer kjedelige oppgaver under og etter møter (f.eks. å ta notater).

I Media, ser vi podcast-vertsselskaper for eksempel, som bruker våre Innhold-modererings- og Emne-gjenkjenning-modeller, så de kan tilby bedre annonse-verktøy for merke-sikkerhets-tilfeller og moneterer bruker-generert innhold med dynamiske annonser.

AssemblyAI har nylig samlet inn 30 millioner dollar i en Series B-runde. Hvordan vil dette akselerere AssemblyAIs misjon?

Fremgangen som gjøres i feltet AI er usedvanlig spennende. Vårt mål er å eksponere denne fremgangen til hver enkelt utvikler og produkt-team på internettet – via en enkel sett med API-er. Ettersom vi fortsetter å forskere og trene State-of-the-Art AI-modeller for ASR- og NLP-oppgaver (som tale-gjenkjenning, sammenfatting, språk-identifikasjon og mange andre oppgaver), vil vi fortsette å eksponere disse AI-modellene til utviklere og produkt-team via enkle API-er – tilgjengelig gratis.

AssemblyAI er et sted hvor både utviklere og produkt-team kan komme for å få enkel tilgang til de avanserte AI-modellene de trenger for å bygge spennende nye produkter, tjenester og hele selskaper.

Over de siste 6 månedene, har vi lansert ASR-støtte for 15 nye språk – inkludert spansk, tysk, fransk, italiensk, hindi og japansk, og har gjort store forbedringer av våre Sammendragsmodeller, Sanntids-ASR-modeller, Innhold-modereringsmodeller og utallige andre produktoppdateringer.

Vi har knapt berørt våre Series A-midler, men denne nye finansieringen vil gi oss mulighet til å aggressivt skalere opp våre bestrebelser – uten å forkorte perioden vi kan finansiere driften med tilgjengelig kapital.

Med denne nye finansieringen, vil vi kunne akselerere vår plan for produktutvikling, bygge ut bedre AI-infrastruktur for å akselerere vår AI-forskning og inferens-motorer, og utvide vårt AI-forskningsteam – som i dag inkluderer forskere fra DeepMind, Google (GOOGL ) Brain, Meta AI, BMW og Cisco.

Er det noe annet du ønsker å dele om AssemblyAI?

Vår misjon er å gjøre State-of-the-Art AI-modeller tilgjengelige for utviklere og produkt-team på ekstremt stor skala gjennom en enkel API.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke AssemblyAI.