Modely a platformy AI

Jak nástroj pro duševní zdraví AI náhodou objevil přesnou detekci Deepfake

Salomé Beyer Velez
Přidejte Unite.AI mezi své preferované zdroje na Google

Když technologický gigant Open AI spustil svůj vlajkový model pro generování videa a zvuku Sora 2 v září 2025, deepfake videa zaplavila sociální média, publikum si stále více zvykalo na potenciálně nebezpečný, vysoce realistický obsah.

Ačkoli Open AI považoval zodpovědné spuštění Sora 2 za nejvyšší prioritu, tvrdil, že poskytne uživatelům „nástroje a možnost být ve správě nad tím, co vidí ve svém feedu“ a kontrolu nad jejich podobiznou od začátku do konce, říjnová studie z roku 2025 zjistila, že model produkoval videa s nepravdivými tvrzeními 80 % času.

Od videí, která napodobovala zprávy o moldavském úředníkovi, který ničil volební lístky, až po vymyšlené scény, ve kterých bylo batole zadrženo imigračními úředníky nebo mluvčí Coca-Coly oznámil, že společnost nebude sponzorovat Super Bowl, sázky na výrobu dezinformací v propojeném světě nemohly být vyšší. (KO )

Mimo Sora: Vishing

I předtím, než Open AI spustil svůj nástroj, byla tvorba a online šíření deepfake souborů na vzestupu. Podle zprávy ze září 2025 kyberbezpečnostní firmy DeepStrike se deepfake obsah zvýšil z 500 000 v roce 2023 na ohromujících 8 milionů v roce 2025, z nichž většina byla použita pro podvodné účely.

Trend ukazuje, že se nezastaví; u podvodů s AI jen v USA se očekává, že dosáhnou 40 miliard USD do roku 2027.

Takový nárůst není omezen na množství. S nástroji jako Sora 2 a Googleovým Veo 3 je obsah generovaných AI obličejů, hlasů a plnohodnotných výkonů nyní realističtější než kdykoli předtím. Jak upozornil počítačový vědec a výzkumník deepfake Siwei Luy, současné modely jsou schopny produkovat stabilní tváře bez deformací nebo zkreslení, zatímco klonování hlasu překročil „nerozeznatelný práh“. (GOOGL )

Pravda je, že deepfakes předhánějí detekci. Co technologické společnosti prodávají jako zábavné nástroje pro generování všeho od olympijských gymnastických rutin až po sofistikované zvukové kulisy, bylo také využito kriminálníky k cílení na podniky a jednotlivce. Jen v prvních šesti měsících roku 2025 deepfake incidenty způsobily ztráty ve výši 356 milionů USD pro společnosti a 541 milionů USD pro jednotlivce.

Tradiční detekce deepfakes – včetně identifikace vodoznaků, retušovaných tváří a kontrol metadat – selhává. A zatímco voice deepfakes zůstávají druhou nejčastější formou AI-podporovaného podvodu a voice phishing (vishing) vzrostl o 442 % v roce 2025, důsledky jsou již cítit.

„Několik sekund audio nyní stačí k vygenerování přesvědčivého klonu – včetně přirozené intonace, rytmu, zdůraznění, emocí, pauz a dýchacích hluků,“ napsal Lyu .

Věda naslouchání lidem

Kintsugi, healthtech startup, který vyvíjí AI hlasové biomarker technologii pro detekci příznaků klinické deprese a úzkosti. Jejich práce začala z jednoduché premisy: musíme naslouchat lidem.

„Založila jsem Kintsugi kvůli problému, který jsem osobně zažila. Strávila jsem téměř pět měsíců voláním svého poskytovatele, abych si domluvila první terapeutické sezení, a nikdo mi nikdy nevrátil hovor. Pokračovala jsem – ale pamatuji si, že jsem si myslela velmi jasně, že kdyby to byl můj otec nebo bratr, přestali by dlouho předtím, než jsem přestala já,“ řekla CEO Grace Chang v rozhovoru s Unite.AI.

Kalifornská společnost byla založena v roce 2019 jako řešení „úzkého hrdla při třídění pacientů“. Zakladatelka věřila, že detekce závažnosti dříve a pasivně by mohla pomoci lidem dostat se k správné úrovni péče rychleji. A prostřednictvím Kintsugi Voice, hlasové biomarkery identifikují klinickou depresi a úzkost.

Výzkum potvrzuje úspěšné použití AI-podporované řečové a hlasové analýzy jako biomarkeru pro duševní zdraví. Květnová studie z roku 2025, například, zjistila, že akustické biomarkery mohou detekovat časné příznaky duševních obtíží a neurodivergence, a argumentovala pro integraci analýz zpěvu v klinických prostředích pro hodnocení kognitivního poklesu pacientů.

Hlasové míry, ve skutečnosti, mají přesnost 78 % až 96 % při identifikaci lidí s depresemi versus těch bez nich, podle Americké psychiatrické asociace. Další studie použila jednominutový test verbální plynulosti, ve kterém jedinec jmenoval tolik slov, kolik mohl, v dané kategorii – zjistila přesnost 70 % až 83 % při rozpoznání osob, které měly současně depresi i úzkost.

Kintsugi žádá krátký hlasový klip, po kterém její technologie hlasových biomarkerů analyzuje výšku hlasu, intonaci, zabarvení a pauzy – markery nalezené být spojené s podmínkami, jako je deprese, úzkost, bipolární porucha a demence.

Co Chang původně nevěděla, však bylo, že technologie odemkla jednu z bezpečnostních průmyslových nejnaléhavějších současných výzev: identifikace toho, co dělá lidské hlasy lidskými.

Z duševní péče do kybernetické bezpečnosti

Zatímco se zúčastňovala summitu v New Yorku na konci roku 2025, Chang zmínila svému příteli v oblasti kybernetické bezpečnosti, že experimenty jejího týmu se syntetickými hlasy byly zklamáním.

„Zkoumali jsme syntetická data pro doplnění trénování našich modelů duševního zdraví, ale generované hlasy byly tak odlišné od autentických lidských hlasů, že jsme je dokázali rozlišit téměř ve 100 % případů,“ řekla.

„Zastavil mě a řekl: „Grace – to není vyřešený problém v bezpečnosti.“ To byl moment, kdy všechno zapadlo. Od té doby konverzace se zabezpečením, finančními službami a telekomunikačními společnostmi potvrdily, jak rychle deepfake hlasové útoky rostou – a jak reálná je potřeba rozlišovat lidské a syntetické hlasy v živých hovorech,“ dodala CEO.

V dubnu loňského roku FBI varovala před zlomyslnou textovou a hlasovou zprávou, která se vydávala za komunikaci od vysokých amerických úředníků a cílila na bývalé vládní pracovníky a jejich kontakty. Velké národní banky v USA byly také cíleny průměrně 5,5 pokusy denně o podvod prostřednictvím manipulace s hlasem a nemocniční personál na Vanderbilt University Medical Center hlásila vishing útoky od impersonátorů, kteří se vydávali za přátele, nadřízené a kolegy.

Deepfakes původně nefigurovaly v práci Kintsugi. Zatímco tým společnosti používal off-the-shelf modely, jako je Cartesia, Sesame a ElevenLabs, pro experimentování se syntetickými hlasy pro administrativní pracovníky call center a procesy odchozích hovorů, deepfake podvody nebyly jejich zaměřením uprostřed dostupného trhu s modely, jako je Sora.

Lidské signály, které indikují autenticitu hlasu, jsou stejné biomarkery, které dělají někoho lidským. Nezávisle na jazyku nebo sémantice, Kintsugi Voice funguje se zpracováním signálu a fyzickou latencí řeči, zachycuje jemné časování, prosodickou variabilitu, kognitivní zátěž a fyziologické markery, které odrážejí, jak je řeč produkována… ne co je řečeno.

„Syntetické hlasy mohou znít plynule, ale nemají stejné biologické a kognitivní artefakty,“ řekla Chang. Model společnosti je pravidelně mezi nejlepšími 10 % podle přesnosti detekce a stačí mu pouze 3 až 5 sekund zvuku.

Kintsugi může být revoluční pro ty, kteří bojují s duševním zdravím, zejména v oblastech, kde je obtížné získat odbornou péči. Stejně tak její technologie představuje revoluci pro detekci deepfakes a kybernetickou bezpečnost obecně: autentizační detekce místo detekce deepfakes.

Budoucnost leží v lidsky zaměřené technologii

Kybernetická bezpečnost se dlouho soustředila na zneužití technologií nebo pachatele samotné. Náhodný objev Kintsugi však sází na samotnou lidskost.

„Fungujeme ve zcela jiné oblasti: samotné lidské autenticitě. LLMs nemohou spolehlivě detekovat LLM-generovaný obsah, a metody založené na artefaktech jsou křehké. Zachycení velkých, klinicky označených dat, která kódují skutečnou lidskou variabilitu, je drahé, pomalé a mimo hlavní odbornost většiny bezpečnostních společností — což činí tento přístup obtížným pro replikaci,“ poznamenala Chang.

Přístup startupu také naznačuje širší posun: inovace napříč doménami. Ti, kteří jsou v čele v oblasti zdravotní péče, mohou stát v čele detekce vishingu podporované AI, stejně jako ti, kteří jsou inovátory ve vesmírné technologii, mohou podporovat nové mechanismy pro nouzové reakce, či hráči videoher mohou přispět k architektuře a urbanismu.

Chang plánuje stát se standardem pro ověření skutečných lidí a nakonec i skutečných záměrů prostřednictvím hlasových interakcí.

„Stejně jako HTTPS se stalo výchozí vrstvou důvěry pro web, věříme, že „důkaz lidskosti“ se stane základní vrstvou pro hlasové systémy. Signal je začátek této infrastruktury,“ řekla.

Jak generativní AI pokračuje ve zrychlování, nejúčinnější záruky mohou pocházet z pochopení toho, co dělá lidi… prostě lidskými.

Salomé je novinářka narozená v Medellínu a seniorní reportérka v Espacio Media Incubator. Se znalostmi historie a politiky ve své práci zdůrazňuje společenský význam nově vznikajících technologií. Byla představena mimo jiné v Al Jazeera, Latin America Reports a The Sociable.