Juan E. Riojas, director de sisteme informatice la Bland – Seria de interviuri

Juan E. Riojas, director de sisteme informatice la Bland, este un executiv cu experiență în tehnologie și date, a cărui carieră acoperă domeniile IT pentru companii, gestionarea datelor, analiza datelor, operațiunile și transformarea digitală. Înainte de a se alătura companiei Bland, în decembrie 2025, a fost director de sisteme informatice la Twilio și Rackspace Technology, după ce ocupase funcții de conducere la Informatica, în calitate de director de date, și la Gogo, în calitate de vicepreședinte pentru gestionarea și analiza datelor. Experiența sa include și funcții de conducere în operațiuni și management la Dell, Accenture, Expeditors International, OfficeMax și AxonGroup, oferindu-i o vastă experiență în gestionarea inițiativelor tehnologice și de date în organizații de mari dimensiuni.

Bland este o companie de inteligență artificială vocală pentru mediul enterprise, care dezvoltă agenți AI capabili să gestioneze apeluri telefonice primite și efectuate, asistență pentru clienți, programări, preluarea solicitărilor, direcționarea apelurilor și alte fluxuri de lucru complexe. Platforma sa pune accentul pe controlul asupra stivei tehnologice de bază: Bland își dezvoltă și operează propriile modele vocale, lingvistice și de vorbire, oferind totodată posibilitatea implementării prin Bland Cloud, în clouduri private virtuale sau în medii enterprise complet autogăzduite și izolate de rețele externe. Compania se concentrează în special asupra cazurilor de utilizare reglementate și sensibile din punctul de vedere al securității și oferă funcții precum trasee conversaționale, integrări cu sistemele de telefonie existente, perioade de păstrare a datelor configurabile, controale de acces bazate pe roluri și funcționalități de conformitate pentru mediul enterprise.

Ai ocupat funcții de director de sisteme informatice la Twilio și Rackspace, ai fost director de date la Informatica și ți-ai petrecut o mare parte din carieră lucrând cu infrastructura de comunicații și datele companiilor. Ce te-au învățat aceste experiențe despre obstacolele cu care se confruntă companiile în adoptarea AI și cum au influențat platforma autogăzduită pe care o dezvolți acum la Bland?

Experiența mea la Twilio, Rackspace și Informatica m-a învățat că cel mai mare obstacol în calea adoptării AI în mediul enterprise nu este tehnologia, ci încrederea, controlul și capacitatea de a opera în siguranță la scară largă. Companiile trebuie să știe unde se află datele lor, cine le controlează și dacă AI se poate integra în cadrele de securitate și guvernanță pe care le-au construit de-a lungul anilor. Acest lucru ne-a influențat abordarea la Bland: le oferim companiilor o platformă autogăzduită, care pune la dispoziție capacitățile AI fără a le obliga să renunțe la controlul asupra infrastructurii sau datelor lor.

Bland este singura platformă de inteligență artificială vocală autogăzduită, ceea ce înseamnă că deții fiecare componentă a orchestrării AI: conversia vorbirii în text, inferența modelului lingvistic de mari dimensiuni (LLM) și conversia textului în vorbire. De ce a ales Bland această cale și care au fost cele mai dificile provocări tehnice legate de deținerea întregii stive de inteligență artificială vocală?

Am ales să găzduim și să deținem fiecare componentă — de la recunoașterea automată a vorbirii (ASR), la raționamentul modelului lingvistic de mari dimensiuni (LLM) și până la conversia textului în vorbire (TTS) — din trei motive: o latență conversațională sub o secundă, limite stricte privind confidențialitatea datelor și fiabilitate operațională ridicată.

Când conectezi în serie furnizori externi diferiți, întârzierile se cumulează. Salturile dus-întors în rețea, întârzierile independente din cozi și pornirile la rece se adaugă unele peste altele. Rezultatul este o pauză nenaturală, care întrerupe cursul conversației.

Am eliminat aceste salturi prin colocarea modelelor noastre într-un mediu de execuție unificat și prin renunțarea la dependențele de API-uri terțe. Astfel, obținem și suveranitate deplină asupra datelor, iar fluxurile audio vocale sensibile și transcrierile nu ajung niciodată la furnizorii externi de modele de vârf.

Cele mai dificile provocări tehnice au ținut de orchestrarea latenței, sincronizarea fluxurilor și programarea GPU-urilor la concurență ridicată. Comunicarea vocală bidirecțională în timp real necesită generarea cursivă a tokenurilor în flux. Motorul TTS trebuie să înceapă sinteza audio înainte ca LLM-ul să fi terminat măcar de generat propoziția.

Pentru a face acest lucru posibil, am construit motoare de inferență personalizate, fluxuri de decodare speculativă cu latență redusă și adaptări ale modelelor acustice. Împreună, acestea previn fluctuațiile, gestionează alternanța vorbitorilor și răspund cu naturalețe la întreruperile utilizatorilor, fără a suprasolicita memoria GPU.

Multe platforme de inteligență artificială vocală combină servicii de transcriere, raționament și generare vocală de la furnizori terți diferiți. Ce avantaje și compromisuri inginerești implică faptul că Bland deține și operează o parte mai mare din această stivă?

Cel mai mare avantaj este controlul latenței de la un capăt la altul. Nu există nicio întârziere de rețea între ASR, LLM și TTS, așa că putem folosi fluxuri unificate de procesare continuă, putem optimiza interacțiunile dintre straturi și putem controla îndeaproape timpul până la primul octet. Pur și simplu, nu poți obține același nivel de control când fiecare componentă provine de la un furnizor diferit.

Al doilea avantaj este existența unui perimetru unificat de securitate și conformitate. Datele nu părăsesc niciodată mediul pe care îl controlăm, astfel că înregistrările audio și transcrierile clienților rămân în interiorul perimetrului nostru verificat. Astfel, eliminăm riscurile asociate subcontractanților terți care prelucrează date și simplificăm considerabil conformitatea cu HIPAA, SOC 2 și PCI DSS. Oricine a trecut printr-o evaluare de securitate a unui furnizor știe cât de mult contează acest lucru.

Al treilea avantaj este previzibilitatea costurilor. Nu plătim tarife majorate per token sau per minut pentru API-urile externe ale modelelor fundamentale, așa că economia unitară rămâne previzibilă la scară enterprise. În plus, fiindcă modelele ne aparțin, putem ajusta direct acustica, prozodia și ponderile de raționament specifice fiecărei sarcini.

Totuși, nimic din toate acestea nu este gratuit. Această abordare presupune investiții importante în infrastructură și GPU-uri. Gestionarea unor flote mari de GPU-uri dedicate necesită planificare, orchestrare și mecanisme de failover în mai multe regiuni sofisticate, iar costurile asociate echipamentelor sunt ridicate.

Ne asumăm și sarcina întreținerii și specializării modelelor. Nu putem externaliza cercetarea de frontieră către furnizori externi. În schimb, ne ocupăm permanent de activitatea inginerească necesară pentru a antrena, evalua și întreține modele dezvoltate intern, adaptate la diverse accente, condiții de zgomot de fond și limbi.

Pentru noi, acest compromis merită.

Bland a obținut certificarea FedRAMP 20x Clasa A în august și afirmă că este prima platformă de inteligență artificială vocală care o deține. Majoritatea cititorilor nu vor ști ce înseamnă 20x în comparație cu vechiul FedRAMP. Ce este Clasa A și ce a trebuit, de fapt, să demonstrați pentru a o obține?

FedRAMP 20x este un cadru modernizat, nativ în cloud, introdus în temeiul Regulilor consolidate FedRAMP pentru 2026 (CR26). Procesul anterior clasifica totul în niveluri de impact FIPS 199 (scăzut, moderat și ridicat) și era renumit pentru volumul mare de documente. 20x înlocuiește aceste niveluri cu clase de certificare desemnate prin litere: A, B, C și D.

Clasa A este nivelul de intrare. Este concepută în special pentru furnizorii comerciali de servicii cloud (CSP) care au deja programe de securitate mature și doresc să intre pe piața federală. Gândiți-vă la ea ca la o rampă de acces, nu ca la o destinație permanentă. Obțineți o certificare de program recunoscută, emisă direct de Biroul de management al programului FedRAMP (PMO), după care aveți la dispoziție o perioadă de 2 ani pentru a trece la Clasa B, C sau D.

Pentru a ajunge acolo, a trebuit să demonstrăm patru lucruri. În primul rând, o evaluare SOC 2 Tip II actuală și verificată, care acoperă principiile fundamentale de securitate, confidențialitate și disponibilitate. În al doilea rând, o delimitare clar definită și izolată logic a serviciului cloud federal, care să cuprindă serviciile noastre de voce, SMS și chat.

În al treilea rând, implementarea de bază a indicatorilor-cheie de securitate (KSI) obligatorii pentru FedRAMP 20x, precum și pregătirea pentru monitorizare continuă. Aceasta include scanarea vulnerabilităților, proceduri de răspuns la incidente, aplicarea controalelor de acces și raportarea continuă a securității într-un format care poate fi citit automat.

Al patrulea aspect a demonstrat cu adevărat avantajul de a deține întreaga noastră infrastructură tehnologică. A trebuit să verificăm că toate operațiunile de transcriere, raționament și sinteză vocală se desfășoară strict în interiorul limitei containerului autorizat de Bland, fără a transmite date federale unor furnizori terți neverificați de inteligență artificială de frontieră. Pentru o platformă alcătuită din componente furnizate de terți, este foarte greu să îndeplinești această cerință.

Bland oferă opțiuni de implementare care variază de la VPC-uri cloud private până la infrastructură GPU dedicată, instalată la sediul clientului. Cum se modifică arhitectura pe măsură ce treceți de la un model de implementare la altul, în special în ceea ce privește latența, scalarea și cerințele de infrastructură?

Pe scurt, cu cât vă apropiați mai mult de implementarea la sediul clientului, cu atât câștigați mai mult în materie de latență și control, dar renunțați la o parte mai mare din elasticitate.

Să începem cu latența. Atât implementările la sediul clientului, cât și cele în VPC-uri dedicate minimizează traficul prin rețele externe, deoarece se află chiar lângă trunchiurile de telefonie internă și gateway-urile SIP ale întreprinderii. Într-un VPC cloud privat, de exemplu pe AWS sau GCP, latența depinde de rețeaua din interiorul regiunii și de conexiunile interconectate cu cloudul. Echipamentele dedicate, bare-metal, instalate la sediul clientului duc acest lucru și mai departe. Ele elimină complet straturile de virtualizare ale hipervizorului și rutarea prin internetul public, oferind astfel cel mai redus jitter acustic posibil.

Compromisul devine evident când vine vorba de scalare. Într-un VPC cloud, scalăm pe orizontală prin orchestrare elastică, de exemplu folosind clustere Kubernetes cu scalare automată, susținute de instanțe GPU în cloud, astfel încât capacitatea să se ajusteze dinamic atunci când crește brusc numărul de apeluri. Implementările la sediul clientului nu funcționează astfel. Capacitatea fizică a GPU-urilor este fixă, ceea ce impune un control strict al admiterii, politici de gestionare a cozilor și alocarea statică a echipamentelor în funcție de volumul maxim de apeluri simultane. Trebuie să vă pregătiți din timp pentru cea mai aglomerată zi.

Și cerințele de infrastructură diferă destul de mult. Implementările în VPC privat se pot baza pe stocare cloud gestionată, IAM nativ și secrete gestionate în cloud. Instalările la sediul clientului necesită clustere GPU dedicate, montate în rack (de exemplu, acceleratoare NVIDIA pentru întreprinderi), rețele locale de mare capacitate, module de securitate hardware (HSM) sau seifuri locale pentru chei și colectoare locale de telemetrie. În plus, toate acestea trebuie să ruleze pe medii de execuție pentru containere destinate întreprinderilor, care pot funcționa în medii complet izolate de internet sau cu accesul de ieșire restricționat.

Bland le permite întreprinderilor să controleze versiunile lansate, să păstreze medii de testare separate și să testeze versiunile noi pe o parte dintre apelurile reale înainte de a le distribui pe scară mai largă. De ce devin practicile tradiționale de lansare a software-ului deosebit de importante pe măsură ce agenții IA sunt utilizați în medii de producție destinate clienților?

Pentru că agenții IA nu se comportă ca software-ul tradițional pentru întreprinderi.

Software-ul determinist face același lucru de fiecare dată. Agenții de inteligență artificială generativă sunt probabilistici și nedeterminiști. O modificare subtilă a promptului, o actualizare a ponderilor modelului sau o schimbare a fluxului de lucru poate provoca, fără intenție, regresii în conversații, halucinații sau încălcarea unei politici de conformitate. Adesea, nimic din schimbarea în sine nu indică faptul că acest lucru urmează să se întâmple.

Așa se explică de ce disciplina tradițională a lansărilor contează acum mai mult, nu mai puțin. Mediile de testare izolate și testarea riguroasă de regresie pe baza corpusurilor istorice de apeluri identifică multe probleme înainte ca ceva să fie lansat. Implementările canary duc lucrurile un pas mai departe. Lansezi noua versiune pentru un procent controlat din apelurile în desfășurare și urmărești indicatori în timp real, precum scăderea scorului de sentiment, ratele de atingere a obiectivelor, creșterile bruște ale latenței și declanșarea escaladărilor sau a transferurilor. Toate acestea se întâmplă înainte ca noua versiune să fie pusă la dispoziția unei baze mai largi de clienți.

Miza face ca acest lucru să nu fie negociabil. În serviciul pentru clienți, gestionarea cererilor de despăgubire sau administrarea conturilor, o defecțiune poate duce la expunere la riscuri de reglementare sau la prejudicii grave pentru brand. Implementarea controlată, etapizată, și revenirea instantanee la versiunea anterioară sunt modalitățile prin care împiedici o actualizare defectuoasă să ajungă să genereze un titlu negativ în presă.

Băncile, organizațiile din domeniul sănătății, companiile de asigurări și agențiile guvernamentale se confruntă adesea cu obstacole mult mai mari decât alte companii atunci când implementează inteligența artificială generativă. În discuțiile pe care le aveți cu aceste organizații, ce împiedică, de fapt, implementarea pe scară mai largă a inteligenței artificiale vocale în prezent: securitatea, suveranitatea datelor, fiabilitatea, complexitatea integrării, procesul de achiziții sau altceva?

Securitatea și suveranitatea datelor, de departe, urmate îndeaproape de complexitatea integrării și arhitectura învechită. Acest lucru s-a confirmat constant în discuțiile noastre din domeniul bancar, al sănătății, al asigurărilor și al administrației publice.

În ceea ce privește securitatea, organizațiile puternic reglementate pur și simplu nu pot accepta o arhitectură în care fluxurile audio sensibile, PHI sau informațiile personale care nu sunt publice traversează perimetrele API-urilor externe ori sunt păstrate de furnizori terți de modele pentru antrenare. Pentru acești cumpărători, posibilitatea de auditare, garanțiile că datele nu vor fi păstrate și limitele stricte de conformitate, precum HIPAA, FedRAMP și PCI DSS, nu sunt doar avantaje. Sunt cerințe fundamentale. Dacă nu le poți îndeplini, discuția se încheie, de regulă, aici.

Integrarea este următorul obstacol. Multe dintre aceste companii folosesc încă sisteme PBX locale învechite, sisteme IVR complexe și sisteme centrale de evidență fragmentate, precum Epic sau Cerner în domeniul sănătății ori sisteme centrale bazate pe mainframe în sectorul bancar. Conectarea fluxurilor conversaționale la aceste medii, prin acces API bidirecțional pentru citire și scriere, în timp real și cu latență redusă, generează un volum semnificativ de muncă suplimentară pentru integrare.

Apoi există problema fiabilității și riscul halucinațiilor. Echipele juridice, de gestionare a riscurilor și de achiziții sunt, pe bună dreptate, îngrijorate că un agent vocal autonom ar putea oferi sfaturi financiare, medicale sau de reglementare inexacte. Înainte să aprobe implementarea la scară de producție, vor garanții de siguranță detaliate, soluții conversaționale de rezervă deterministe și căi clare de escaladare către o persoană.

Mulțumim pentru interviul excelent; cititorii care doresc să afle mai multe pot vizita Bland.