Andrew Missey, CTO și Co-Fondator al Convos – Seria de Interviuri

Andrew Missey, CTO și Co-Fondator al Convos, este un inginer de software și lider de produs cu experiență în dezvoltarea de produse AI, arhitectură de software, rețele și inginerie full-stack. Înainte de a co-fonda Convos, el a ajutat la dezvoltarea și lansarea a două platforme creative și de marketing bazate pe AI la Forum3, combinând ingineria practică cu managementul tehnic de produs. Rolurile sale anterioare la N-able (NABL ), Autoshop Solutions și Brand IQ au implicat construirea de aplicații frontend, sisteme backend, panouri de bord ale clienților și unelte software interne folosind tehnologii precum Svelte, NestJS, Angular și JavaScript. Această experiență multidisciplinară i-a permis să pună în practică execuția tehnică cu strategia de produs în timp ce conduce dezvoltarea platformei de comunicare bazate pe AI a Convos.

Convos este o platformă de textare controlată și bazată pe AI, proiectată pentru a ajuta campaniile politice și firmele de comunicare să înlocuiască mesajele de masă unidirecționale cu conversații personalizate și bidirecționale la scară. Platforma convertește răspunsurile în analize de sentiment în timp real, clasificări de subiect, rezultate de apel la acțiune, metrici de implicare și informații structurate despre votanți pe care campaniile le pot utiliza pentru a-și rafina abordarea. Sistemul său de inteligență artificială funcționează în cadrul unor materiale și mesaje aprobate de campanie, oferind în același timp funcții precum segmentarea contactelor, istoricul conversațiilor, urmărirea linkurilor, exportul de date și urme de audit axate pe conformitate. Convos poate completa, de asemenea, infrastructura de textare existentă a unei organizații, în loc să o înlocuiască.

Ați co-fondat Convos după ce ați observat că textarea politică și organizațională a devenit în mare măsură o comunicare unidirecțională. Care a fost insight-ul original care v-a convins că există o oportunitate de a transforma textarea de masă în conversații bazate pe AI, și care au fost cele mai mari provocări tehnice cu care v-ați confruntat la construirea platformei?

Insight-ul a venit din a fi pe partea care primește mesajele.

În jurul alegerilor din 2024, primeam o mulțime de mesaje politice, la fel ca mulți alți oameni. La un moment dat, am început să răspund la ele. Întrebam o întrebare sau răspundeam, și niciodată nu primeam un răspuns.

Mi s-a părut o oportunitate uriașă pierdută. Persoana de la celălalt capăt era deja implicată. Punea o întrebare reală. Dar nu se trimitea niciodată un răspuns.

Așa că ideea din spatele Convos a fost simplă. Transformați difuzarea într-o conversație reală, la scară, fără a necesita o cameră plină de oameni pentru a o gestiona.

Cele mai mari provocări tehnice au fost legate de trei lucruri: scalabilitate, latență și conformitate.

Scalabilitatea este cea evidentă. Gestionați mii de conversații în același timp, și fiecare are propria sa stare și istoric. Latența contează mai mult decât oamenii se așteaptă. Dacă cineva răspunde și răspunsul vine prea târziu, momentul este pierdut. Textarea pare aproape instantanee, și experiența trebuie să se potrivească cu asta.

Conformitatea a fost partea cea mai grea, și a fost ceva la care am lucrat din start. Textarea politică este puternic reglementată, și greșită nu este o opțiune. O parte semnificativă a ingineriei noastre inițiale a fost dedicată asigurării că sistemul rămâne în limitele mesajului și respectă consimțământul și opțiunile de renunțare în moduri care merg mult dincolo de simpla identificare a cuvântului “STOP”.

Convos funcționează la intersecția inteligenței artificiale conversaționale, a mesajelor la scară largă și a analizei de sentiment în timp real. Care sunt lecțiile pe care le-ați învățat din implementarea sistemelor de inteligență artificială care trebuie să implice mii de oameni simultan, în timp ce mențin o experiență personală și autentică?

Lecția cea mai importantă este că “personal la scară” este ceva pentru care trebuie să lucrați.

Când rulați mii de conversații deodată, este tentant să le tratați ca pe un singur lot mare. Dar persoana care primește mesajul nu se preocupă de lotul dvs. Pentru ei, este o schimbare unu-la-unu, și trebuie să se simtă astfel. Acest lucru înseamnă că fiecare conversație trebuie să aibă propria sa stare și istoric, astfel încât un răspuns să răspundă efectiv la ceea ce a spus acea persoană, și nu la o medie a tuturor.

Am învățat, de asemenea, să acordăm o atenție deosebită la ceea ce ne spun oamenii cu adevărat. Un răspuns nu este doar un răspuns. Poate purta sentiment. Cineva poate răspunde cu o întrebare, cu entuziasm, cu frustrare sau cu un semnal clar că vrea să fie lăsat în pace. Citirea acestor nuanțe corect este ceea ce face sau rupe o interacțiune.

În cele din urmă, autenticitatea vine din a asculta, nu din a suna deștept. Schimbul care se simte cel mai uman este cel care răspunde la întrebarea reală și respectă timpul persoanei.

Ați argumentat că multe organizații se concentrează prea mult pe benchmark-urile modelului, în timp ce ignoră personalitatea și stilul de comunicare. De ce credeți că personalitatea devine un factor critic în implementarea inteligenței artificiale la nivel de întreprindere, și cum ar trebui organizațiile să o evalueze?

Benchmark-urile măsoară capacitatea. Nu măsoară potrivirea.

Un model poate obține scoruri extrem de bune la raționament sau codare și totuși poate fi alegerea greșită pentru o conversație cu un votant. Modul în care formulează lucrurile, cât de cald sau de formal sună, dacă știe când să fie scurt, toate acestea contează enorm odată ce o persoană reală este la celălalt capăt.

În lumea noastră, modelul nu rezolvă o problemă de matematică. El reprezintă o campanie într-un mesaj text. Fiecare campanie are propria sa voce, și modelul trebuie să se potrivească cu aceasta, în loc să impună propria sa. Dacă tonul este greșit, nu contează cât de deștept este modelul subiacent. Interacțiunea eșuează.

Există, de asemenea, o parte de capacitate care lipsește din benchmark-uri. O campanie poate oferi agentului indicații detaliate despre ce să spună, ce să evite și cum să gestioneze subiecte specifice. Modelul trebuie să urmeze toate acestea, consecvent, pe tot parcursul unei conversații lungi. Unele modele sunt mult mai bune decât altele la păstrarea unor instrucțiuni complexe fără a se abate pe parcursul conversației. Această abilitate face parte și din personalitate, deoarece un model care sună bine, dar încetează să urmeze instrucțiunile sale, nu este unul pe care să-l puteți pune în fața unor oameni reali.

De aceea, personalitatea devine un factor real în implementarea la nivel de întreprindere. Pe măsură ce modelele devin mai capabile în general, diferența de capacitate brută dintre ele se îngustează. Ce rămâne este caracterul. Cum comunică și dacă rămân în limitele stabilite.

Modalitatea de evaluare nu este pe o listă de lideri. Este să testați modelele pe cazul dvs. real de utilizare, cu conținutul dvs. real, și să citiți ieșirile așa cum le-ar face utilizatorul dvs. final. Punem modelele prin exact felul de schimburi pe care le-ar gestiona în producție și le judecăm după cum se simte conversația. Acest lucru spune mult mai mult decât orice scor de benchmark.

Echipa dvs. a testat mai multe modele de top și a observat diferențe semnificative în modul în care acestea funcționează pe diverse sarcini. Ce ați învățat despre punctele forte și slabele modelelor LLM actuale, și de ce sunt unele mai potrivite pentru lucrul conversațional decât altele?

Ce am învățat este că nu există un singur model cel mai bun. Există doar cel mai bun model pentru un anumit job.

Unele modele sunt excelente la urmarea instrucțiunilor precise, ceea ce contează atunci când sistemul trebuie să rămână în limite stricte. Altele sunt mai puternice la tonul conversațional natural. Unele sunt mai rapide, ceea ce este o forță în sine atunci când latența face parte din experiență. Altele sunt mai bune la raționamentul prin cereri complicate, dar se simt rigide sau iau prea mult timp pentru a răspunde într-un schimb casual.

Pentru lucrul conversațional, în special, calitățile care contează nu sunt întotdeauna cele care primesc atenție. Viteza contează. Consistența contează. Știind când să fii scurt contează. Un model care scrie un răspuns frumos de trei paragrafe este adesea alegerea greșită atunci când răspunsul corect este o propoziție.

Nimic din toate acestea nu apare pe o listă de lideri. Aflați doar prin a pune modelele în fața muncii reale și a acorda atenție la modul în care le gestionează.

Multe companii adoptă strategii multi-model, în loc să se bazeze pe un singur furnizor de AI. Care sunt avantajele construirii unor sisteme care pot comuta între modele, și care sunt considerațiile arhitecturale necesare pentru a face acest lucru posibil?

Principalul avantaj este că nu sunteți blocate.

Dacă construiți totul în jurul unui singur furnizor, moșteniți toate constrângerile sale. Prețurile sale, limitele sale de rată, latența sa, întreruperile sale și programul său de lansare devin ale dvs. O abordare multi-model vă permite să direcționați fiecare sarcină către modelul care o gestionează cel mai bine, și vă oferă un loc unde să mergeți atunci când un furnizor are o zi proastă.

Vă permite, de asemenea, să faceți o potrivire a costurilor cu sarcina. Nu fiecare interacțiune necesită modelul dvs. cel mai puternic și mai scump. Puteți trimite lucrul simplu către un model mai ușor și rezervați modelul greu pentru cazurile dificile. Acest lucru face o diferență reală la scară.

Arhitectura este ceea ce face acest lucru posibil, și decizia cheie este să construiți un strat de abstractizare între aplicația dvs. și orice model specific. Sistemul dvs. nu ar trebui să vorbească direct cu API-ul unui furnizor pe tot parcursul codului. Ar trebui să vorbească cu interfața dvs. internă, și acea interfață decide care model gestionează efectiv cererea.

Odată ce aveți acest lucru, puteți adăuga logică de rutare, fallback-uri atunci când un furnizor eșuează, și capacitatea de a schimba modele fără a rescrie aplicația dvs. De asemenea, aveți nevoie de o gestionare consistentă a prompturilor și a ieșirilor între modele, deoarece fiecare se comportă puțin diferit, și sistemul dvs. trebuie să netezească aceste diferențe.

Este mai multă muncă de la început. Dar cumpără flexibilitate care este foarte greu de adăugat mai târziu.

Ați subliniat recent cum modelele de inteligență artificială evoluează rapid, cu lansări noi care schimbă uneori caracteristici de performanță în moduri neașteptate. Cum ar trebui întreprinderile să echilibreze dorința de a adopta cele mai recente modele cu nevoia de stabilitate, fiabilitate și performanță previzibilă?

Răspunsul sincer este că un model nou nu este o actualizare până când nu ați dovedit că este una.

Fiecare lansare este emoționantă, și există o presiune reală de a adopta cel mai recent lucru imediat. Dar am văzut modele noi care schimbă comportamentul în moduri pe care nu le anticipam. Ceva care funcționa fiabil începe să răspundă puțin diferit, și într-un sistem de producție, aceste schimbări mici se adună.

Modalitatea noastră de abordare este simplă. Niciun model nu intră în fluxul nostru până nu l-am testat manual noi înșine. Când apare o nouă lansare, nu luăm benchmark-urile sau anunțul la cuvânt. Ne așezăm și rulăm modelul prin exact felul de conversații pe care le-ar gestiona în producție, și citim ieșirile noi înșine.

Acest pas manual nu este opțional pentru noi. Un model poate arăta mai bine pe hârtie și totuși poate gestiona o schimbare reală într-un mod în care nu suntem confortabili să-l punem în fața votanților. Singurul mod de a ști este să-l puneți prin aceleași situații cu care se confruntă sistemul nostru în fiecare zi și să vedeți cum răspunde realmente.

Acesta este încă un loc în care stratul de abstractizare își merită banii. Deoarece aplicația noastră nu depinde de un model specific, putem aduce o nouă lansare, o putem testa împotriva conversațiilor pe care le gestionăm realmente, și o putem compara onest cu ceea ce rulează deja. Dacă trece testul, o schimbăm. Dacă nu, așteptăm.

Halucinațiile rămân una dintre cele mai mari bariere în calea adoptării inteligenței artificiale la nivel de întreprindere, în special atunci când modelele lucrează cu seturi de date mari și informații complexe. Care sunt tehnicile practice care s-au dovedit a fi cele mai eficiente în reducerea halucinațiilor în medii de producție?

Tehnica cea mai eficientă pe care am găsit-o este să limitați ceea ce modelul este permis să știe.

O mulțime de halucinații provine din a cere unui model să răspundă din propria sa cunoaștere generală, unde va umple cu entuziasm golurile cu ceva care sună bine. Noi facem opusul. Inteligența noastră artificială funcționează strict din informațiile pe care campania le-a furnizat. Nu are acces la internetul deschis, și nu se bazează pe vreo amintire vagă a lumii.

Dacă răspunsul nu este în materialul furnizat, răspunsul corect este să spună că nu are acea informație. Această singură limită elimină o cantitate enormă de risc.

Nu ne oprim acolo, însă. Avem verificări multiple pentru a ne asigura că un răspuns se potrivește cu ceea ce a furnizat campania. Chiar și după ce modelul generează un răspuns, acel răspuns este verificat împotriva informațiilor campaniei înainte de a fi trimis. Dacă ceva nu se potrivește, nu este trimis.

Dincolo de asta, tehnicile practice sunt despre ancorare și limite. Dați modelului contextul specific și relevant pe care are nevoie pentru sarcina din față, în loc de o grămadă uriașă și nediferențiată de date. Cu cât informația este mai focalizată, cu atât mai puțin spațiu există pentru a divaga.

De asemenea, punem limite clare la ceea ce sistemul este permis să facă și să spună, și monitorizăm conversații reale, în loc să presupunem că totul este în regulă. Nu prindeți problemele prin a avea încredere în model. Le prindeți prin a urmări ieșirile.

Într-un spațiu reglementat, cum este textarea politică, un răspuns inventat este o vulnerabilitate, așa că am proiectat sistemul să prefere transparența în loc de a ghici.

Pe măsură ce organizațiile implementează agenți de inteligență artificială în suportul clienților, comunicare, marketing și operațiuni, ce greșeli observați că echipele le fac în mod repetat atunci când trec de la proiecte-pilot la implementări la scară de producție?

Greșeala pe care o văd cel mai des este că echipele testează dacă agentul lor funcționează, dar nu dacă poate fi stricat.

Nu pot număra de câte ori o companie a lansat un chatbot de inteligență artificială, și într-o zi, cineva online a reușit să-l facă să spună ceva pe care nu trebuia să-l spună. A fost scos din limitele sale, înșelat să iasă din scenariul aprobat, sau manipulat să reprezinte brandul într-un mod care s-a încheiat ca o captură de ecran pe care toată lumea o distribuia.

Acest lucru se întâmplă pentru că, într-un pilot, toată lumea se comportă bine. Testați agentul cu oameni rezonabili care pun întrebări rezonabile, și pare excelent. Producția este opusul. În momentul în care ceva este public, o parte a oamenilor care vorbesc cu el sunt activ implicați în a-l face să greșească.

Dacă nu ați testat pentru cazul advers, nu ați testat realmente. Trebuie să încercați să stricați propriul sistem înainte ca altcineva să o facă. Îl împingeți, îi dați intrări ciudate și ostile, și vedeți dacă ține limitele sale atunci când cineva lucrează activ împotriva lui.

Altă greșeală repetată este să presupună că un demo care funcționează este un sistem care funcționează. Un pilot este un grup mic de conversații urmărite pe calea fericită. Producția este mii de oameni la toate orele, comportându-se în moduri pe care nu le-ați anticipat, și cazurile marginale pe care le-ați ignorat devin evenimente zilnice la scară.

Sfatul meu este să petreceți mai puțin timp perfecționând demo-ul și mai mult timp încercând să stricați lucrul însuși. Dacă nu poate supraviețui atacului dvs., nu va supraviețui fiind public.

Agenții de inteligență artificială devin din ce în ce mai capabili să gestioneze conversații care au necesitat anterior personal uman. Unde vedeți echilibrul între automatizare și supraveghere umană în următorii cinci ani, și care fluxuri de lucru ar trebui să păstreze întotdeauna un om în buclă?

Acesta este un subiect dificil, și nu cred că cineva știe cu adevărat exact unde se situează linia în cinci ani. Modalitatea în care gândesc despre asta este că valoarea reală a inteligenței artificiale este ca un multiplicator de forță. Îi permite unui grup mic de oameni să facă mult mai mult decât ar fi putut vreodată singuri.

Echipele care obțin cele mai bune rezultate din aceste unelte le folosesc exact în acest mod. Inteligența artificială preia volumul și repetiția, iar oamenii își petrec timpul cu judecata, strategia și situațiile care necesită realmente un om. Acesta este un obiectiv foarte diferit decât încercarea de a înlocui oamenii.

Când obiectivul este înlocuirea pură, tendința este să împingeți tehnologia dincolo de ceea ce este realmente bună, și eșuați în moduri care sunt vizibile și costisitoare. Când obiectivul este să multiplicați oamenii, lăsați inteligența artificială să facă ceea ce face bine și păstrați oamenii acolo unde adaugă cea mai mare valoare. Abordarea a doua funcționează mai bine, și este mai onestă despre unde se află realmente tehnologia astăzi.

În următorii cinci ani, mă aștept ca agenții să preia din ce în ce mai mult din sarcina conversațională de rutină, și ar trebui să o facă. Acea muncă nu necesită un om care să urmărească fiecare cuvânt.

Fluxurile de lucru care ar trebui să păstreze întotdeauna un om implicat sunt cele în care miza este mare sau situația este realmente nouă. Orice care atinge consimțământul, conformitatea sau o decizie care ar fi greu de anulat. Un om ar trebui să dețină direcția, și inteligența artificială ar trebui să-l ajute pe om să acopere mult mai mult teren decât ar fi putut altfel.

Privind înainte, ce evoluții în inteligența artificială conversațională sunteți cel mai entuziasmat, și cum vă imaginați că platforme precum Convos vor evolua pe măsură ce modelele devin mai capabile, multimodale și autonome?

Ceea ce mă entuziasmează cel mai mult este că conversațiile vor continua să devină mai bune.

Pe măsură ce modelele se îmbunătățesc, schimburile pe care le gestionează platforma noastră devin mai naturale și mai utile fără ca noi să fim nevoiți să reconstruim fundația de fiecare dată. Deoarece am proiectat sistemul pentru a trece între modele, putem aduce aceste îmbunătățiri pe măsură ce apar.

Multimodal este evoluția pe care o urmăresc cel mai mult. În prezent, conversația este text. Pe măsură ce modelele gestionează imagini și alte formate mai capabil, există o oportunitate reală de a face aceste schimburi mai bogate, în timp ce păstrăm imediatețea care face textarea să funcționeze.

În ceea ce privește autonomia, sunt optimist, dar prudent. Modele mai capabile sunt lansate lunar, și vor fi capabile să gestioneze o cantitate mare de lucruri singure. Dar într-un spațiu reglementat, mai multă autonomie trebuie să vină cu mai multă disciplină, nu mai puțin. Limitele contează mai mult pe măsură ce capacitatea crește.

M-am implicat în acest domeniu pentru că eram persoana care trimitea mesaje în vid și nu primea niciodată un răspuns. Acesta este încă problema pe care o consider cea mai importantă. Indiferent cât de capabile devin aceste modele, măsura la care mă întorc mereu este simplă. Se simte persoana de la celălalt capăt auzită?

Mulțumim pentru acest interviu minunat. Citiitorii care doresc să afle mai multe despre Convos ar trebui să viziteze Convos.