Modulate får støtte fra Twilio Ventures og forbedrer deteksjonen av AI-genererte stemmer

Modulate har kunngjort nye investeringer fra Twilio Ventures og Kayak-medgründeren Paul English, samtidig som selskapet utvider teknologien virksomheter kan bruke til å identifisere syntetiske innringere og overvåke AI-taleagenter. Selskapet sier at de nyeste modellene kan identifisere en AI-generert stemme på en median på 1,6 sekunder, ned fra 2,25 sekunder, samtidig som de opprettholder en deteksjonsnøyaktighet på over 99,1 % i evalueringen av reelle samtaler med AI og mennesker.

Investeringen kommer etter finansieringen på 25 millioner dollar som Modulate kunngjorde i september, ledet av Future Ventures med deltakelse fra Hyperplane og Lakestar. Selskapet har ikke opplyst hvor store de ytterligere investeringene er. I tillegg til finansieringen legger selskapet til mer enn et dusin lydsignaler i Velma-plattformen sin, slik at virksomheter bedre kan forstå både hvem – eller hva – som ringer, og hvordan en AI-ledet samtale utvikler seg.

Dette skillet blir stadig viktigere for taleautomatisering. En syntetisk innringer kan være en nyttig assistent som bestiller en time, eller en klonet stemme som forsøker å utgi seg for å være en annen. Deteksjon av generert tale gir ett bevisgrunnlag; for å avgjøre hva man skal gjøre med samtalen, må man se bredere på atferden og konteksten.

Raskere deteksjon mens samtalen pågår

Modulate sier at den kortere medianen for deteksjonstid gjør at virksomheter kan identifisere syntetisk tale tidlig nok til å viderekoble samtalen, merke den for gjennomgang eller gjennomføre ytterligere verifisering mens samtalen pågår. Systemet analyserer selve lyden uten å være avhengig av vannmerker som er lagt inn av individuelle leverandører av stemmegenerering, også for nyere tale-til-tale-modeller og modeller med full dupleks.

Endringen fra 2,25 til 1,6 sekunder tilsvarer en reduksjon på rundt 29 % i selskapets rapporterte median. Dette er et mål på deteksjonstid, ikke en garanti for at alle samtaler blir klassifisert innenfor dette tidsrommet, eller at en fullstendig sikkerhetsprosess blir ferdig like raskt. Kunngjøringen oppgir verken størrelsen på evalueringsutvalget eller en oversikt over falske positiver og falske negativer bak nøyaktighetstallet på over 99,1 %.

«Samtaleoperatører – enten de er mennesker eller AI-agenter – må kunne forstå hva som skjer i disse samtalene og reagere på en hensiktsmessig måte mens samtalen fortsatt pågår», sa Carter Huffman, administrerende direktør og medgründer av Modulate.

For kontaktsentre er den praktiske fordelen muligheten til å gripe inn før samtalen er over. Et varsel som kommer etter at en kontoendring er gjennomført eller sensitive opplysninger allerede er delt, har en annen funksjon enn et signal som er tilgjengelig mens samtalen pågår.

Slik kombinerer Velma spesialiserte lydmodeller

Velma bruker det Modulate kaller en lyttemodell i ensemble (Ensemble Listening Model, ELM): en arkitektur som samordner spesialiserte modeller i stedet for å basere seg utelukkende på én generell modell for å tolke et samtaletranskript. Selskapet sier at systemet samler mer enn 100 modeller som dekker signaler som følelser, tonefall, hensikt, talerytme, syntetisk tale og samtaleatferd.

Produktbeskrivelsen forklarer at et orkestreringslag kombinerer signaler på lavere nivå til vurderinger på høyere nivå, samtidig som koblingene til det underliggende bevismaterialet bevares. Tidsstemplede hendelser kan vise hvor en samtale endret seg, slik at driftsteamet får noe mer konkret å undersøke enn en uforklart risikoscore for hele samtalen.

Et samtaletranskript gjengir ordene, men fanger ikke opp alle pauser, avbrytelser, endringer i trykk eller talemønstre. Modulates tilnærming inkluderer akustisk informasjon i analysen, slik at utviklere kan undersøke hvordan en samtale forløper, i tillegg til hva deltakerne sier.

Selskapets dokumentasjon om deepfake-deteksjon viser dette skillet på API-nivå. Den beskriver akustisk klassifisering av lydsegmenter med tidsgrenser, vurderinger og konfidensskårer, og støtter både opptak og direktestrømmer. En konfidensskår for deteksjon er et bevisgrunnlag for en klassifisering, ikke et bevis på innringerens identitet eller hensikter.

Syntetisk tale er ikke det samme som svindel

Modulate skiller uttrykkelig mellom disse spørsmålene i sin veiledning for screening av stemmesvindel: Deepfake-deteksjon vurderer om en stemme er syntetisk, mens samtaleanalyse vurderer atferd. En legitim AI-assistent kan bruke generert tale; en menneskelig innringer kan forsøke seg på sosial manipulering uten å bruke stemmesyntese.

Dette skillet er også viktig for personer som bruker hjelpeteknologi for tale. Et flagg for syntetisk stemme er alene ikke tilstrekkelig grunn til å behandle en innringer som ondsinnet. I den nye versjonen sier Modulate at Velma kan kombinere dette flagget med signaler knyttet til hensikt, manipulering, tonefall og samtaleatferd for å legge til rette for mer velinformert håndtering.

Det praktiske målet er en trinnvis respons: vanlig viderekobling ved tillatt automatisering, ytterligere verifisering når en transaksjon tilsier det, og eskalering når samtalen viser mistenkelig atferd. Deteksjonssystemet gir et bevisgrunnlag; organisasjonens retningslinjer avgjør hvordan den skal reagere.

Overvåking av kvaliteten på AI-taleagenter

De nye signalene fra Velma retter seg også mot et mindre dramatisk, men kommersielt viktig problem: En KI-agent kan høres flytende ut, samtidig som den gir en dårlig serviceopplevelse. Modulate sier at tilleggene gjør det mulig å evaluere responstid, lydkvalitet og misforståelser i samtaler som analyser basert bare på transkripsjoner kan gå glipp av.

På siden sin om sikkerhetsmekanismer for KI beskriver selskapet Velma som et system som overvåker deltakerne, ikke som en samtaleagent i seg selv. Kundene kan konfigurere overvåkingen ut fra driftsprosedyrer og forventet atferd, og deretter sende signaler til eksisterende systemer via API-er og webhooks.

Dette skiller systemet som fører samtalen, fra systemet som vurderer samhandlingen. Det gir teamene en måte å undersøke hvor en agent skaper frustrasjon, bryter med retningslinjene eller ikke svarer på en passende måte, og bruke funnene til å forbedre utrullingen.

Twilios støtte bygger videre på en eksisterende forbindelse

Twilio Ventures fokuserer på KI, utviklerverktøy og virksomheter innen kundeengasjement, noe som gjør lydintelligens relevant for investeringsmandatet deres. Modulate har allerede en teknisk forbindelse til Twilio: En kunngjøring i mai 2025 beskrev kompatibilitet for produktene VoiceVault og ToxMod, blant annet API-er som er kompatible med Twilio Media Streams, for å føre lyd fra direktesamtaler inn i systemene deres.

Den nye investeringen bygger videre på denne historikken, men kunngjøringen fastslår ingen ny eksklusiv distribusjonsavtale. Modulate sier at kapitalen skal støtte forskning, produktutvikling, utvikleradopsjon, partnerskap og flere muligheter for utrulling.

I september satte kunngjøringen om finansiering de samme prioriteringene i sentrum for ekspansjonen utover tidligere bruksområder innen stemmesikkerhet. Med denne oppdateringen bringer selskapet deteksjon og overvåking tettere sammen: Det hjelper virksomheter med å gjenkjenne generert tale, undersøke atferden rundt den og vurdere om deres egne stemmeagenter gjør jobben de er ment å gjøre.