Hoe een mentale gezondheids AI-tool per ongeluk nauwkeurige deepfake-detectie ontdekte

Toen technologiegigant Open AI haar vlaggenschip Sora 2 video- en audiogeneratiemodel in september 2025 lanceerde, zijn deepfake-video’s sociale media-platforms overspoeld, waardoor het publiek steeds meer vertrouwd raakt met potentieel gevaarlijke hyperrealistische inhoud.

Hoewel Open AI de verantwoorde lancering van Sora 2 als topprioriteit beschouwde, beweerde het dat het gebruikers “de tools en opties zou geven om controle te hebben over wat ze in hun feed zien” en controle over hun gelijkenis van begin tot eind, een onderzoek van oktober 2025 vond dat het model valse claim-video’s 80% van de tijd produceerde.

Van video’s die napen naar nieuwsberichten van een Moldavische verkiezingsfunctionaris die stembiljetten vernietigt tot gefabriceerde scènes van een peuter die door immigratiefunctionarissen wordt aangehouden of een woordvoerder van Coca-Cola die aankondigt dat het bedrijf de Super Bowl niet zal sponsoren, de inzet voor het produceren van misinformatie in een verbonden wereld kan niet hoger zijn.

Beyond Sora: Vishing

Zelfs voordat Open AI’s tool werd gelanceerd, was de creatie en online verspreiding van deepfake-bestanden in opkomst. Volgens een rapport van de cybersecurity-firma DeepStrike uit september 2025, steeg de deepfake-inhoud van 500.000 in 2023 tot een verbijsterende 8 miljoen in 2025, waarvan een groot deel voor frauduleuze doeleinden werd gebruikt.

De trend vertoont geen tekenen van vertraging; AI-fraude in de VS alleen wordt verwacht om 40 miljard USD te bereiken in 2027.

Een dergelijke toename is niet beperkt tot hoeveelheid. Met tools zoals Sora 2 en Google’s Veo 3, is de inhoud van AI-gegenereerde gezichten, stemmen en volledige lichaamsprestaties nu realistischer dan ooit. Zoals aangegeven door computerwetenschapper en deepfake-onderzoeker Siwei Luy, zijn hedendaagse modellen in staat om stabiele gezichten te produceren zonder vervorming of vertekening, terwijl stemkloon technologie een “ononderscheidbaar drempel” heeft bereikt.

De waarheid is dat deepfakes de detectie voorbij hollen. Wat technologiebedrijven verkopen als leuke tools om alles te genereren, van olympische gymnastiekritmes tot geavanceerde achtergrondgeluiden, is ook gebruikt door criminelen om bedrijven en individuen aan te vallen. Alleen in de eerste helft van 2025 hebben deepfake-incidenten verliezen van 356 miljoen USD voor bedrijven en 541 miljoen USD voor individuen veroorzaakt.

Traditionele deepfake-detectie – inclusief het identificeren van watermerken, airbrushed gezichten en metadata-controles – faalt. En, aangezien voice deepfakes blijven de tweede meest voorkomende vorm van AI-geactiveerde fraude en voice phishing (vishing) steeg 442% in 2025, worden de gevolgen al gevoeld.

“Een paar seconden audio zijn nu voldoende om een overtuigende kloon te genereren – complete met natuurlijke intonatie, ritme, accent, emotie, pauzes en ademhalinggeluid,” schreef Lyu .

De wetenschap van luisteren naar mensen

Kintsugi, een healthtech-startup die AI-stembiomerkertechnologie ontwikkelt om tekenen van klinische depressie en angst te detecteren. Hun werk begon vanuit een ogenschijnlijk eenvoudige premisse: we moeten naar mensen luisteren.

“Ik ben Kintsugi begonnen vanwege een probleem dat ik persoonlijk heb ervaren. Ik heb bijna vijf maanden gebeld naar mijn provider om een eerste therapie-afspraak te plannen, en niemand heeft ooit teruggebeld. Ik bleef proberen – maar ik herinner me heel duidelijk dat als dit mijn vader of broer was, ze veel eerder zouden hebben opgegeven dan ik,” zei CEO Grace Chang in een gesprek met Unite.AI.

Het in Californië gevestigde bedrijf werd in 2019 opgericht als oplossing voor wat Chang een “triage-bottleneck” noemde. De oprichter geloofde dat het detecteren van ernst eerder en passief kon helpen om mensen sneller naar het juiste niveau van zorg te krijgen. En, via Kintsugi Voice, identificeren stembiomarkers klinische depressie en angst.

Onderzoek overvloedig dat de succesvolle toepassing van AI-gedreven spraak- en stemanalyse als biomarker voor geestelijke gezondheidsaandoeningen aantoont. Een onderzoek uit mei 2025 vond dat akoestische biomarkers vroege tekenen van geestelijke gezondheid en neurodivergentie kunnen detecteren en pleitte voor de integratie van zanganalyses in klinische settings om de cognitieve achteruitgang van patiënten te beoordelen.

Stemmetingen hebben in feite een nauwkeurigheidsgraad van 78% tot 96% bij het identificeren van mensen met depressie versus mensen zonder, volgens de American Psychiatric Association. Een ander onderzoek gebruikte een eenminutetest voor verbale vaardigheid waarin een persoon zoveel mogelijk woorden noemde binnen een bepaalde categorie – en vond 70% tot 83% nauwkeurigheid bij het detecteren van wanneer een onderwerp zowel depressie als angst had.

Om de geestelijke gezondheid van hun gebruikers te beoordelen, vraagt Kintsugi om een korte spraakclip, waarna hun stembiomerkertechnologie de toon, intonatie, toon en pauzes analyseert – markers gevonden die geassocieerd worden met aandoeningen zoals depressie, angst, bipolaire stoornis en dementie.

Wat Chang aanvankelijk niet besefte, was dat de technologie een van de meest dringende uitdagingen van de beveiligingsindustrie had ontsloten: het identificeren van wat menselijke stemmen menselijk maakt.

Van geestelijke gezondheidszorg naar cybersecurity

Tijdens een top in New York in het najaar van 2025, vertelde Chang aan een vriend in de beveiligingssector dat haar team had geëxperimenteerd met synthetische stemmen.

“We waren synthetische gegevens aan het onderzoeken om onze mentale gezondheidsmodellen te trainen, maar de gegenereerde stemmen waren zo anders dan echte menselijke spraak dat we bijna 100% van de tijd konden zien,” zei ze.

“Hij stopte me en zei: ‘Grace – dat is geen opgelost probleem in de beveiliging.’ Dat was het moment waarop alles klikte. Sindsdien hebben gesprekken met beveiligings-, financiële dienstverlenings- en telecombedrijven bevestigd hoe snel deepfake-stem aanvallen toenemen – en hoe groot de behoefte is om menselijke van synthetische stemmen in live gesprekken te onderscheiden,” voegde de CEO toe.

In april vorig jaar waarschuwde de FBI voor een kwaadwillige tekst- en spraakberichtencampagne die zich voordeden als communicaties van senior Amerikaanse functionarissen en die voormalige regeringswerknemers en hun contacten als doelwit hadden. Grote nationale banken in de VS werden ook aangevallen met 5,5 gemiddelde dagelijkse stemmanipulatie fraudepogingen, en het personeel van het Vanderbilt University Medical Center rapporteerde vishing-aanvallen van impersonators die zich voordeden als vrienden, leidinggevenden en collega’s.

Ongeacht, deepfakes stonden niet aanvankelijk centraal in het werk van Kintsugi. Terwijl het team van het bedrijf off-the-shelf-modellen zoals Cartesia, Sesame en ElevenLabs had gebruikt om synthetische stemmen te experimenteren voor administratieve callcenteragenten en uitgaande workflows, was deepfake-fraude niet hun focus in een drukke en toegankelijke markt met modellen zoals Sora.

Menselijke signalen die aangeven dat een stem authentiek is, zijn dezelfde biomarkers die iemand menselijk maken. Ongeacht taal of semantiek, werkt Kintsugi Voice met signaalverwerking en de fysieke latentie van spraak, waarbij subtiele timing, prosodische variabiliteit, cognitieve belasting en fysiologische markers worden vastgelegd die weerspiegelen hoe spraak wordt geproduceerd… niet wat er wordt gezegd.

“Synthetische stemmen kunnen vloeiend klinken, maar ze dragen niet dezelfde biologische en cognitieve artefacten,” zei Chang. Het model van het bedrijf is consistent een top-decile presterende in detectie-accuraatheid, met behulp van slechts 3 tot 5 seconden audio.

Kintsugi kan revolutionair zijn voor mensen die worstelen met geestelijke gezondheid, vooral in gebieden waar het krijgen van behandeling met professionals tijd en middelen kost. Door hetzelfde token poseert de technologie van het bedrijf een revolutie voor deepfake-detectie en cybersecurity in het algemeen: authenticiteitsdetectie in plaats van deepfake-herkenning.

De toekomst ligt bij mensgerichte technologie

Cybersecurity is lange tijd gefocust op de kwaadwillige toepassing van technologieën of de daders zelf. De toevallige ontdekking van Kintsugi, echter, wedt op de mensheid zelf.

“We opereren op een compleet andere oppervlakte: menselijke authenticiteit. LLM’s kunnen geen LLM-gegenereerde inhoud betrouwbaar detecteren, en artifact-gebaseerde methoden zijn broos. Het vastleggen van grote, klinisch gelabelde datasets die echte menselijke variabiliteit coderen, is duur, langzaam en buiten het kerngebied van expertise van de meeste beveiligingsbedrijven — wat deze aanpak moeilijk te repliceren maakt,” merkte Chang op.

De aanpak van het bedrijf suggereert ook een bredere verschuiving: cross-domein innovatie. De voorlopers in de gezondheidszorg kunnen de aanval leiden in AI-gebackte vishing-detectie, net zoals de innovators in de ruimtevaarttechnologie nieuwe noodhulpmechanismen kunnen ondersteunen, of gamers architectuur en stedelijke planning.

Wat Chang betreft, plant ze om een standaard te worden voor het verifiëren van echte mensen en, uiteindelijk, echte intentie via steminteracties.

“Net zoals HTTPS een standaard vertrouwenslaag voor het web werd, geloven we dat ‘bewijs van mens’ een fundamentelere laag voor spraakgebaseerde systemen zal worden. Signal is het begin van die infrastructuur,” zei ze.

Terwijl generatieve AI blijft versnellen, kunnen de meest effectieve waarborgen komen van het begrijpen van wat mensen… nou ja, menselijk maakt.