Juan E. Riojas, ředitel informačních technologií ve společnosti Bland – rozhovor

Juan E. Riojas je zkušený manažer v oblasti technologií a dat, který zastával vedoucí pozice v oblasti podnikových IT, správy dat, analytiky, provozu a digitální transformace. Před nástupem do společnosti Bland v prosinci 2025 působil jako ředitel informačních technologií ve společnostech Twilio a Rackspace Technology. Předtím zastával vedoucí pozice jako ředitel pro data ve společnosti Informatica a viceprezident pro správu dat a analytiku ve společnosti Gogo. Jeho profesní zkušenosti zahrnují také vedoucí provozní a manažerské pozice ve společnostech Dell, Accenture, Expeditors International, OfficeMax a AxonGroup, díky nimž má rozsáhlé zkušenosti s řízením technologických a datových iniciativ ve velkých organizacích.

Bland je společnost zaměřená na hlasovou AI pro podniky, která vyvíjí AI agenty schopné zvládat příchozí i odchozí telefonní hovory, zákaznickou podporu, plánování, příjem požadavků, směrování a další komplexní pracovní postupy. Její platforma klade důraz na kontrolu nad celým technologickým zázemím. Bland vyvíjí a provozuje vlastní hlasové, jazykové a řečové modely a umožňuje jejich nasazení prostřednictvím Bland Cloud, privátních virtuálních privátních cloudů nebo plně vlastního hostování v podnikových prostředích izolovaných od ostatních sítí. Společnost se zaměřuje zejména na regulovaná prostředí a případy použití citlivé z hlediska bezpečnosti. Nabízí funkce, jako jsou konverzační scénáře, integrace se stávajícími telefonními systémy, nastavitelná doba uchovávání dat, řízení přístupu na základě rolí a funkce pro zajištění souladu s podnikovými požadavky.

Zastával jste pozice CIO ve společnostech Twilio a Rackspace, působil jste jako ředitel pro data ve společnosti Informatica a značnou část kariéry jste se věnoval komunikační infrastruktuře a podnikovým datům. Co vás tyto zkušenosti naučily o překážkách, kterým podniky čelí při zavádění AI, a jak ovlivnily podobu platformy s vlastním hostováním, kterou nyní ve společnosti Bland budujete?

Zkušenosti ze společností Twilio, Rackspace a Informatica mě naučily, že největší překážkou pro zavádění AI v podnicích není technologie, ale důvěra, kontrola a schopnost bezpečně provozovat řešení ve velkém měřítku. Společnosti potřebují vědět, kde se jejich data nacházejí, kdo je spravuje a zda lze AI začlenit do bezpečnostních a řídicích rámců, které budovaly po mnoho let. To ovlivnilo náš přístup ve společnosti Bland: nabízíme firmám platformu s vlastním hostováním, která poskytuje možnosti AI, aniž by je nutila vzdát se kontroly nad vlastní infrastrukturou nebo daty.

Bland je jediná platforma hlasové AI s vlastním hostováním, což znamená, že máte pod kontrolou každou vrstvu orchestrací AI: převod řeči na text, inferenci velkého jazykového modelu (LLM) i převod textu na řeč. Proč se Bland vydal touto cestou a jaké byly nejnáročnější technické výzvy spojené s vlastnictvím celého technologického zázemí hlasové AI?

Rozhodli jsme se provozovat vlastní hosting a vlastnit každou vrstvu – od automatického rozpoznávání řeči (ASR) přes uvažování velkého jazykového modelu (LLM) až po převod textu na řeč (TTS) – ze tří důvodů: latence v konverzaci kratší než 1 sekunda, přísné hranice ochrany osobních údajů a vysoká provozní spolehlivost.

Když propojíte řadu různorodých externích dodavatelů, zpoždění se sčítají. Přidávají se síťová zpoždění při cestě tam i zpět, prodlevy ve frontách jednotlivých systémů i pomalé spouštění neaktivních služeb. Výsledkem jsou nepřirozené pauzy, které narušují plynulost konverzace.

Umístěním našich modelů do společného běhového prostředí a odstraněním závislosti na rozhraních API třetích stran tato zpoždění eliminujeme. Získáváme také plnou suverenitu nad daty a citlivé hlasové přenosy ani přepisy nikdy neunikají k externím poskytovatelům nejpokročilejších modelů.

Nejnáročnější technické výzvy se týkaly koordinace latence, synchronizace streamovaného přenosu a plánování úloh na GPU při vysoké souběžnosti. Hlasová komunikace v reálném čase v obou směrech vyžaduje plynulé generování tokenů v rámci streamování. Modul TTS musí začít syntetizovat zvuk ještě předtím, než LLM dokončí generování věty.

Abychom toho dosáhli, vytvořili jsme vlastní inferenční moduly, nízkolatenční pipeline spekulativního dekódování a úpravy akustických modelů. Tyto prvky společně předcházejí kolísání, řídí střídání účastníků v konverzaci a plynule zvládají přerušení ze strany uživatele, aniž by došlo k přetížení paměti GPU.

Mnoho platforem hlasové AI skládá přepis, uvažování a generování řeči z řešení různých externích poskytovatelů. Jaké výhody a technické kompromisy přináší to, že Bland vlastní a provozuje větší část tohoto technologického zázemí?

Největší výhodou je kontrola latence od začátku do konce. Mezi ASR, LLM a TTS nedochází k žádnému síťovému zpoždění, takže můžeme provozovat sjednocené streamovací pipeline, optimalizovat jednotlivé vrstvy napříč celým systémem a přesně kontrolovat dobu do prvního bajtu. Takovou míru kontroly jednoduše nezískáte, když každou část dodává jiný dodavatel.

Druhou výhodou je jednotné bezpečnostní a kontrolní prostředí. Data nikdy neopouštějí naše kontrolované prostředí, takže zvukové záznamy a přepisy zákazníků zůstávají uvnitř ověřeného perimetru. Odpadá tím riziko spojené se subdodavateli třetích stran a výrazně se zjednodušuje dodržování požadavků HIPAA, SOC 2 a PCI DSS. Každý, kdo prošel bezpečnostním prověřováním dodavatele, ví, jak moc na tom záleží.

Třetí výhodou je předvídatelnost nákladů. Neplatíme přirážky za tokeny ani minuty za používání externích rozhraní API základních modelů, takže naše jednotková ekonomika zůstává ve velkém měřítku předvídatelná. A protože modely vlastníme, můžeme přímo dolaďovat akustické parametry, prozodii i váhy pro uvažování přizpůsobené konkrétním úlohám.

Nic z toho ale není zadarmo. Tento přístup klade vysoké nároky na infrastrukturu a kapitálové výdaje na GPU. Správa rozsáhlých flotil vyhrazených GPU vyžaduje sofistikované plánování, orchestraci a zajištění záložního provozu ve více regionech a náklady na hardware jsou vysoké.

Neseme také odpovědnost za údržbu modelů a jejich specializaci. Výzkum na hranici současných možností nemůžeme přenechat externím dodavatelům. Místo toho průběžně zajišťujeme technické práce spojené s trénováním, vyhodnocováním a údržbou vlastních modelů, které zvládají různá nářečí, různé úrovně hluku v pozadí i různé jazyky.

Nám se tento kompromis vyplatí.

Bland získala v srpnu certifikaci FedRAMP 20x Class A a uvádí, že je první hlasovou platformou s umělou inteligencí, která ji má. Většina čtenářů nebude vědět, v čem se 20x liší od původního FedRAMP. Co je Class A a co jste museli skutečně prokázat, abyste ji získali?

FedRAMP 20x je modernizovaný cloudově nativní rámec zavedený v rámci Konsolidovaných pravidel FedRAMP pro rok 2026 (CR26). Původní proces zařazoval vše podle úrovní dopadu FIPS 199 (Low, Moderate a High) a proslul množstvím administrativy. Systém 20x tyto úrovně nahrazuje certifikačními třídami označenými písmeny: A, B, C a D.

Class A je základní úroveň. Je určena konkrétně komerčním poskytovatelům cloudových služeb (CSP), kteří již mají vyspělé bezpečnostní programy a chtějí vstoupit na federální trh. Představte si ji jako vstupní bránu, nikoli jako konečný cíl. Získáte uznávanou programovou certifikaci, kterou přímo uděluje Program Management Office (PMO) FedRAMP, a poté máte 2 roky na přechod do Class B, C nebo D.

Abychom se tam dostali, museli jsme prokázat čtyři věci. Zaprvé, aktuální ověření SOC 2 Type II zahrnující základní principy bezpečnosti, důvěrnosti a dostupnosti. Zadruhé, jasně vymezené a logicky izolované prostředí federálních cloudových služeb zahrnující naše hlasové služby, SMS a chat.

Zatřetí, základní zavedení povinných bezpečnostních ukazatelů FedRAMP 20x (KSI) spolu s připraveností na průběžné monitorování. To zahrnuje skenování zranitelností, postupy reakce na incidenty, vymáhání řízení přístupu a průběžné bezpečnostní výkaznictví ve strojově čitelné podobě.

Právě u čtvrtého bodu se nám skutečnost, že máme vlastní technologický stack, opravdu vyplatila. Museli jsme ověřit, že veškerý přepis, uvažování a syntéza řeči probíhají výhradně uvnitř autorizovaného kontejnerového prostředí Bland, aniž by se federální data předávala neprověřeným externím poskytovatelům špičkové umělé inteligence. U platformy poskládané z řešení externích dodavatelů by bylo velmi obtížné tuto podmínku splnit.

Bland podporuje nasazení od privátních cloudových VPC až po vyhrazenou lokální infrastrukturu s GPU. Jak se architektura mění při přechodu mezi těmito modely nasazení, zejména pokud jde o latenci, škálování a požadavky na infrastrukturu?

Stručně řečeno, čím více se blížíte k lokálnímu nasazení, tím více získáváte na latenci a kontrole, ale tím více se vzdáváte pružnosti.

Začněme latencí. Lokální nasazení i vyhrazené VPC minimalizují přenos dat přes externí sítě, protože se nacházejí přímo vedle interních telefonních ústředen a bran SIP dané společnosti. V privátní cloudové VPC, například na AWS nebo GCP, závisí latence na síťovém provozu uvnitř regionu a propojení s cloudem. Vyhrazený lokální hardware typu bare metal jde ještě dál. Zcela odstraňuje virtualizační vrstvy hypervizoru i směrování přes veřejný internet, což umožňuje dosáhnout co nejnižšího akustického jitteru.

Při škálování se tento kompromis projeví. V cloudové VPC škálujeme horizontálně pomocí pružné orchestrace, například automatického škálování clusterů Kubernetes využívajících cloudové instance s GPU, takže se kapacita při náhlém nárůstu počtu hovorů dynamicky přizpůsobuje. Lokální nasazení takto nefunguje. Provozujete ho s pevně daným stropem fyzické kapacity GPU, což vyžaduje přísnou kontrolu přijímání požadavků, pravidla pro řazení do front a pevné plánování hardwarových kapacit podle maximálního počtu souběžných hovorů. Na nejvytíženější den se musíte připravit předem.

Výrazně se liší také požadavky na infrastrukturu. Privátní VPC mohou využívat spravovaná cloudová úložiště, nativní správu identit a přístupových oprávnění (IAM) a správu tajných údajů zajišťovanou cloudovou platformou. Lokální instalace potřebují vyhrazené rackové clustery GPU (například podnikové akcelerátory NVIDIA), vysokokapacitní lokální síťové propojení, hardwarové bezpečnostní moduly (HSM) nebo místní trezory klíčů a lokální nástroje pro sběr telemetrie. A to vše musí běžet v kontejnerových prostředích určených pro podnikové nasazení, která dokážou fungovat ve zcela odpojeném prostředí nebo v prostředí s omezeným odchozím síťovým provozem.

Bland umožňuje podnikům řídit vydávání nových verzí, udržovat oddělená testovací prostředí a nejprve nasadit nové verze na část skutečných hovorů, než je zpřístupní širšímu okruhu uživatelů. Proč jsou tradiční postupy vydávání softwaru obzvlášť důležité, když se agenti umělé inteligence nasazují do produkčních prostředí určených pro kontakt se zákazníky?

Protože se agenti umělé inteligence nechovají jako tradiční podnikový software.

Deterministický software pokaždé provede totéž. Generativní agenti umělé inteligence jsou pravděpodobnostní a nedeterminističtí. I drobná úprava pokynu, aktualizace vah modelu nebo změna postupu může nechtěně vést ke zhoršení kvality konverzací, halucinacím nebo porušení pravidel souladu s předpisy. Samotná změna často nijak nenaznačuje, že k tomu může dojít.

Proto je důsledné dodržování zavedených postupů při vydávání nových verzí dnes důležitější, nikoli méně důležité. Izolovaná přípravná prostředí a důkladné regresní testování na základě historických korpusů hovorů odhalí řadu problémů ještě před nasazením. Kanárkové nasazování jde ještě o krok dál. Novou verzi postupně nasadíte na předem stanovené procento živých hovorů a sledujete metriky v reálném čase, například zhoršení sentimentu, míru dosažení cílů, nárůsty latence a spouštěče eskalace či předání hovoru. To vše probíhá ještě předtím, než se s novou verzí setká širší zákaznická základna.

Právě závažnost možných následků z toho činí nevyhnutelnou nutnost. V zákaznickém servisu, při vyřizování nároků nebo správě účtů může selhání vést k regulatorním postihům nebo vážnému poškození značky. Díky disciplinovanému schvalování postupného nasazení a okamžitému návratu k předchozí verzi zabráníte tomu, aby se špatná aktualizace změnila ve špatnou zprávu.

Banky, zdravotnické organizace, pojišťovny a státní instituce často čelí při zavádění generativní AI mnohem vyšším překážkám než jiné podniky. Co podle vašich rozhovorů s těmito organizacemi dnes skutečně brání širšímu nasazení hlasové AI: bezpečnost, suverenita dat, spolehlivost, složitost integrace, zadávání veřejných zakázek, nebo něco jiného?

Jednoznačně bezpečnost a suverenita dat, s velkým odstupem před složitostí integrace a zastaralou architekturou. To se opakovaně potvrzuje v našich rozhovorech s představiteli bankovnictví, zdravotnictví, pojišťovnictví i státní správy.

Pokud jde o bezpečnost, vysoce regulované organizace jednoduše nemohou tolerovat architekturu, v níž citlivé zvukové streamy, PHI nebo neveřejné osobní údaje překračují hranice externích API nebo je poskytovatelé modelů třetích stran uchovávají za účelem trénování. Tito zákazníci považují možnost auditu, záruky nulového uchovávání dat a přísné rámce pro dodržování předpisů, jako jsou HIPAA, FedRAMP a PCI DSS, za naprostý základ, nikoli za něco navíc. Pokud tyto požadavky nedokážete splnit, rozhovor obvykle končí právě zde.

Další překážkou je integrace. Mnoho těchto podniků stále používá zastaralé lokální systémy PBX, složité IVR a roztříštěné základní systémy evidence, například Epic nebo Cerner ve zdravotnictví nebo sálové počítače v bankovnictví. Propojení konverzačních cest s obousměrným přístupem přes API pro čtení i zápis v reálném čase a s nízkou latencí napříč těmito prostředími s sebou přináší značnou integrační zátěž.

Dalším problémem je spolehlivost a riziko halucinací. Právní, rizikové a nákupní týmy mají pochopitelné obavy, že autonomní hlasový agent poskytne nepřesné finanční, lékařské nebo regulatorní informace. Než schválí nasazení v produkčním měřítku, požadují podrobně nastavené ochranné prvky, deterministické záložní scénáře konverzace a jasně definované postupy předání člověku.

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více, mohou navštívit Bland.