Andrew Missey, CTO og medstifter af Convos – Interviewserie

Andrew Missey, CTO og medstifter af Convos, er en softwareingeniør og produktleder med erfaring inden for AI-produktudvikling, softwarearkitektur, netværk og fuld-stack-udvikling. Før han co-foundede Convos, hjalp han med at udvikle og lancere to AI-drevne kreative og markedsføringsplatforme hos Forum3, hvor han kombinerede hånd-til-hånd-ingeniørarbejde med teknisk produktledelse. Hans tidligere roller hos N-able (NABL ), Autoshop Solutions og Brand IQ omfattede opbygning af frontend-applikationer, backend-systemer, kundekontrolpaneler og interne softwareværktøjer ved hjælp af teknologier som Svelte, NestJS, Angular og JavaScript. Denne tværfaglige baggrund har gjort det muligt for ham at kombinere teknisk gennemførelse med produktstrategi, da han leder udviklingen af Convos’ AI-drevne kommunikationsplatform.

Convos er en kontrolleret AI-drevet tekstplatform, der er designet til at hjælpe politiske kampagner og kommunikationsfirmaer med at erstatte envejs massemeddelelser med personlige, tovejs-voter-samtaler i stor skala. Platformen konverterer svar til realtids-sentimentanalyse, emneklassificeringer, call-to-action-resultater, engagement-målinger og strukturerede voter-indsigter, som kampagner kan bruge til at finjustere deres udvalg. Dets lukkede system AI opererer inden for kampagne-godkendte materialer og meddelelses-guardrails, samtidig med at det tilbyder funktioner som kontakt-segmentering, samtale-historik, link-tracking, data-eksport og compliance-fokuserede revisions-spor. Convos kan også supplere en organisations eksisterende tekst-infrastruktur i stedet for at kræve, at den erstatter sin nuværende kommunikationssystem.

Du co-foundede Convos efter at have observeret, hvordan politisk og organisatorisk tekstning var blevet overvejende envejskommunikation. Hvad var den oprindelige indsigt, der overbeviste dig om, at der var en mulighed for at transformere masse-tekstning til AI-drevne samtaler, og hvad var de største tekniske udfordringer, du stødte på under opbygningen af platformen?

Indsigtten kom fra at være på den modtagende side af det.

Omkring valget i 2024 blev jeg bombaderet med politiske tekster, ligesom mange andre. På et tidspunkt begyndte jeg at svare på dem. Jeg stillede et spørgsmål eller svarede, og der kom aldrig noget tilbage. Beskederne blev sendt ud i millionvis, men det øjeblik, du forsøgte at have en reel udveksling, var der ingen der.

Det slog mig som en enorm forpasset mulighed. Personen på den anden side var allerede engageret. De stillede et rigtigt spørgsmål. Men der ville aldrig blive sendt nogen respons.

Så idéen bag Convos var simpel. Omdanne broadcastet til en reel samtale, i stor skala, uden at behøve et rum fuld af mennesker for at betjene det.

De største tekniske udfordringer kom ned til tre ting: skala, latency og compliance.

Skala er den åbenlyse. Du håndterer tusindvis af samtaler på samme tid, og hver enkelt har sin egen tilstand og historik. Latency betyder mere, end folk forventer. Hvis nogen svarer og svaret tager for lang tid, er øjeblikket væk. Tekstning føles næsten øjeblikkeligt, og oplevelsen skal matche det.

Compliance var den sværeste del, og det var noget, vi prioriterede fra begyndelsen. Politisk tekstning er tungt reguleret, og at gøre det forkert er ikke en mulighed. Meget af vores tidlige ingeniørarbejde gik med til at sikre, at systemet forblev på besked og respekterede samtykke og opt-out på måder, der går langt ud over blot at fange ordet “STOP”.

Convos opererer på tværs af konversational AI, stor skala-meddelelser og realtids-sentimentanalyse. Hvad har du lært af at implementere AI-systemer, der skal engagere tusindvis af mennesker samtidig, mens de stadig føles personlige og autentiske?

Den største lære er, at “personligt i stor skala” er noget, du skal ingeniøre for. Det sker ikke automatisk.

Når du kører tusindvis af samtaler på samme tid, er fristelsen til at behandle dem som en stor batch. Men personen, der modtager teksten, bekymrer sig ikke om din batch. For dem er det en en til en udveksling, og det skal føles sådan. Det betyder, at hver samtale skal have sin egen kontekst og historik, så et svar faktisk svarer på, hvad den specifikke person sagde, og ikke blot på en gennemsnit af alle.

Vi lærte også at være meget opmærksomme på, hvad folk virkelig fortæller os. Et svar er ikke blot et svar. Det bærer på følelse. Nogen kan svare med et spørgsmål, med entusiasme, med frustration eller med en tydelig signal om, at de vil være alene. At læse disse nuancer korrekt er, hvad der gør eller brækker en interaktion.

Til sidst kommer autenticitet fra at lytte, ikke fra at lyde klog. Udvekslingen, der føles mest menneskelig, er den, der besvarer det faktiske spørgsmål og respekterer personens tid.

Du har argumenteret for, at mange organisationer fokuserer for meget på model-benchmarks og overseer personlighed og kommunikationsstil. Hvorfor tror du, at personlighed bliver en kritisk faktor i virksomheds-AI-udvikling, og hvordan bør organisationer evaluere det?

Benchmarks måler evne. De måler ikke fit.

En model kan score ekstremt højt på resonnering eller kodning og stadig være det forkerte valg til en samtale med en vælger. Måden, den formulerer tingene på, hvor varm eller formel den lyder, om den ved, hvornår den skal være kort, alt dette betyder enormt meget, når en rigtig person er på den anden side.

I vores verden løser modellen ikke et matematisk problem. Den repræsenterer en kampagne i en tekstmeddelelse. Hver kampagne har sin egen stemme, og modellen skal matche den i stedet for at påtvinge sin egen. Hvis tonen er forkert, betyder det ikke, hvor intelligent den underliggende model er. Interaktionen fejler.

Der er også en evne-side til dette, som benchmarks overseer. En kampagne kan give agenten detaljeret vejledning om, hvad den skal sige, hvad den skal undgå og hvordan den skal håndtere bestemte emner. Modellen skal følge alt dette konsekvent, på tværs af en lang udveksling. Nogle modeller er langt bedre end andre til at fastholde komplekse instruktioner uden at glide halvvejs gennem samtalen. Denne evne er en del af personlighed også, fordi en model, der lyder godt, men holder op med at følge sine instruktioner, ikke er en, du kan sætte foran rigtige mennesker.

Det er derfor, personlighed bliver en rigtig faktor i virksomheds-udvikling. Da modellerne bliver mere kapable overalt, smuldrer den rene evne-lucka mellem dem. Hvad der er tilbage, er karakter. Hvordan de kommunikerer, og om de forbliver inden for de linjer, du har sat.

Måden at evaluere det på er ikke på en leaderboard. Det er at teste modeller på din faktiske brugs-case, med din faktiske indhold, og læse outputtet, som din slutbruger ville. Vi sætter modeller gennem præcis den type udvekslinger, de vil håndtere i produktion, og bedømmer dem på, om samtalen føles rigtig. Det fortæller dig langt mere end en benchmark-score nogensinde vil.

Dit team har testet multiple førende modeller og observeret betydelige forskelle i, hvordan de performer på tværs af opgaver. Hvad har du lært om styrkerne og svaghederne hos dagens store LLM’er, og hvorfor er nogle bedre egnede til konversationalt arbejde end andre?

Hvad vi har lært, er, at der ikke er en enkelt bedst model. Der er kun den bedste model til en given opgave.

Nogle modeller er fremragende til at følge instruktioner præcist, hvilket betyder, når systemet skal forblive inden for strenge grænser. Nogle er stærkere i naturlig, konversational tone. Nogle er hurtigere, hvilket er sin egen styrke, når latency er en del af oplevelsen. Andre er bedre til at resonere gennem en kompliceret anmodning, men føles stive eller tager for lang tid til at svare i en casual udveksling.

Til konversationalt arbejde specifikt er de kvaliteter, der betyder noget, ikke altid de, der får overskrifter. Hastighed betyder noget. Konsistens betyder noget. At vide, hvornår man skal være kort, betyder noget. En model, der skriver et smukt tre-paragraphs-svar, er ofte det forkerte valg, når det rigtige svar er en enkelt sætning.

Ingen af dette viser sig på en leaderboard. Du lærer det kun ved at sætte modeller foran det faktiske arbejde og være opmærksom på, hvordan de håndterer det.

Mange virksomheder adopterer mere og mere multi-model-strategier i stedet for at afhænge af en enkelt AI-udbyder. Hvad er fordelene ved at bygge systemer, der kan skifte mellem modeller, og hvad er de arkitektoniske overvejelser, der kræves for at gøre det muligt?

Den primære fordel er, at du ikke er låst.

Hvis du bygger alt omkring en enkelt udbyder, arver du alle deres begrænsninger. Deres priser, deres rate-limits, deres latency, deres nedbrud og deres udgivelsesplan bliver dine. En multi-model-tilgang låser dig ikke fast og giver dig et sted at gå, når en udbyder har en dårlig dag.

Det låser dig også ikke fast, når det kommer til omkostninger. Ikke hver enkelt interaktion kræver din mest avancerede og dyreste model. Ved at kunne sende det simple arbejde til en lettere model og reservere den tungere model til de svære tilfælde, kan du gøre en reel forskel i skala.

Arkitekturen er, hvad der gør det muligt. Den nøglebeslutning er at bygge en abstraktionslag mellem din applikation og en specifik model. Din system skal ikke tale direkte til en udbyders API hele vejen igennem kodebasen. Det skal tale til din egen interne interface, og den interface beslutter, hvilken model, der faktisk håndterer anmodningen.

Når du har det, kan du tilføje routing-logik, fallbacks, når en udbyder fejler, og muligheden for at skifte modeller uden at skulle genopbygge din applikation. Du har også brug for konsekvent håndtering af prompts og output på tværs af modeller, fordi hver enkelt opfører sig lidt anderledes, og dit system skal glatte over disse forskelle.

Det kræver mere arbejde op front. Men det køber dig fleksibilitet, der er meget svær at tilføje senere.

Du har nylig fremhævet, hvor hurtigt AI-modeller udvikler sig, med nye udgivelser, der nogle gange ændrer performances-karakteristika på uventede måder. Hvordan bør virksomheder balancere ønsket om at adoptere de seneste modeller med behovet for stabilitet, pålidelighed og forudsigelig præstation?

Det ærlige svar er, at en ny model ikke er en opgradering, før du har bevist, at det er.

Hver udgivelse er spændende, og der er rigtig tryk på at adoptere det seneste lige med det samme. Men vi har set nye modeller ændre adfærd på måder, vi ikke havde forventet. Noget, der fungerede pålideligt, begynder at svare lidt anderledes, og i et produktions-system adderer disse små ændringer op.

Måden, vi håndterer det på, er simpel. Ingen model går ind i vores pipeline, før vi har håndtestet den selv. Når en ny udgivelse kommer ud, tager vi ikke benchmarkene eller annonceringen for pålydende. Vi sætter os ned og kører den gennem dets pacer på præcis den type samtaler, den ville håndtere i produktion, og læser outputtet selv.

Denne hånd-test er ikke valgfri for os. En model kan se bedre ud på papir og stadig håndtere en reel udveksling på en måde, vi ikke er komfortable med at sætte foran vælgere. Den eneste måde at vide det på er at sætte den gennem samme situationer, vores system håndterer hver dag, og se, hvordan den faktisk responderer.

Dette er endnu et sted, hvor abstraktionslaget tjener sin penge. Fordi vores applikation ikke afhænger af en specifik model, kan vi bringe en ny udgivelse ind, teste den mod samtalerne, vi faktisk håndterer, og sammenligne den ærligt med, hvad vi allerede kører. Hvis den klarer sig, skifter vi. Hvis den ikke gør, venter vi.

Hallucinationer forbliver en af de største barrierer for virksomheds-AI-adopteringsmuligheder, især når modeller arbejder med store datasæt og komplekse oplysninger. Hvad praktiske teknikker har vist sig at være mest effektive til at reducere hallucinationer i produktionsmiljøer?

Den mest effektive teknik, vi har fundet, er at begrænse, hvad modellen er tilladt at vide.

Meget af hallucinationen kommer fra at bede en model om at svare fra sin egen generelle viden, hvor den vil glad fyld gaps med noget, der lyder rigtigt. Vi gør det modsatte. Vores AI arbejder strengt fra den information, kampagnen har leveret. Den har ikke adgang til det åbne internet, og den trækker ikke på nogen vagt erindring om verden.

Hvis svaret ikke er i materialet, det blev givet, er den korrekte respons at sige, at det ikke har den information. Denne ene grænse fjerner en enorm mængde risiko.

Vi stopper ikke der. Vi har multiple kontroller på plads for at sikre, at et svar matcher, hvad kampagnen har leveret. Selv efter at modellen har genereret et svar, bliver svaret kontrolleret mod kampagnens information, før det går noget sted hen. Hvis noget ikke matcher, bliver det ikke sendt.

Ud over det er de praktiske teknikker om at grounde og guardrails. Giv modellen den specifikke, relevante kontekst, den har brug for til opgaven foran den, i stedet for en kæmpe, udifferentieret bunke data. Jo mere fokuseret informationen er, desto mindre rum er der til at glide.

Vi lægger også klare grænser for, hvad systemet er tilladt at gøre og sige, og vi overvåger rigtige samtaler i stedet for at antage, at alt er i orden. Du fanger ikke problemer ved at stole på modellen. Du fanger dem ved at se på outputtet.

I et reguleret område som politisk tekstning er en fabrikeret besked en ansvarlig handling, så vi designede systemet til at foretrække gennemsigtighed over gætteri.

Da organisationer udruller AI-agenter på tværs af kundesupport, kommunikation, markedsføring og drift, hvilke fejl ser du holdene gentage, når de bevæger sig fra pilotprojekter til produktions-skala-udrulninger?

Fejlen, jeg ser mest, er, at holdene tester, om deres agent fungerer, men ikke, om den kan brydes.

Jeg kan ikke tælle, hvor mange gange en virksomhed har udgivet en AI-chatbot, og inden for en dag har nogen online jailbreaket den til at sige noget, den aldrig skulle have sagt. Den bliver talt ud af sine instruktioner, tricked til at gå off-script eller manipuleret til at repræsentere mærket på en måde, der ender som et screenshot, alle passer rundt.

Det sker, fordi i en pilot er alle velopdragne. Du tester agenten med rimelige mennesker, der stiller rimelige spørgsmål, og det ser fantastisk ud. Produktion er det modsatte. Øjeblikket noget er offentligt, er en del af menneskene, der taler med det, aktivt forsøger at trippe det op.

Hvis du ikke har testet for det adversarial-case, har du ikke rigtig testet det. Du skal prøve at bryde dit eget system, før nogen andre gør. Push det, fodre det med de underlige og fjendtlige input, og se, om det holder sine grænser, når nogen aktivt arbejder imod det.

Den gentagne fejl er, at man antager, at en demo, der fungerer, er et system, der fungerer. En pilot er en håndfuld overvågede samtaler på den lykkelige vej. Produktion er tusindvis af mennesker på alle tidspunkter, der opfører sig på måder, du ikke havde forventet, og edge-cases, du viftede af, bliver daglige begivenheder i skala.

Mit råd er at bruge mindre tid på at perfektionere demoen og mere tid på at prøve at bryde tingene selv. Hvis det ikke kan overleve dig, der angriber det, vil det ikke overleve at være offentligt.

AI-agenter bliver mere og mere i stand til at håndtere samtaler, der tidligere krævede menneskelig personale. Hvor ser du balancen mellem automation og menneskelig overvågning på de næste fem år, og hvilke arbejdsprocesser tror du altid skal have en menneskelig involveret?

Dette er svært, og jeg tror ikke, nogen virkelig ved, hvor linjen lander om fem år. Måden, jeg tænker over det på, er, at den rigtige værdi af AI er som en kraft-multiplicator. Det låser en lille gruppe mennesker op til at gøre langt mere, end de nogensinde kunne alene.

Holdene, der får mest ud af disse værktøjer, bruger dem præcis på den måde. AI’en tager volumen og repetition, og menneskene bruger deres tid på dømmekraft, strategi og situationer, der virkelig kræver et menneske. Det er et meget anderledes mål end at prøve at fjerne mennesker fra billedet.

Når målet er ren erstatning, tenderer du til at presse teknologien forbi, hvad den er godt til, og den fejler på måder, der er synlige og dyre. Når målet er at multiplicere dine mennesker, låser du AI’en op til at gøre, hvad den er god til, og holder mennesker, hvor de tilføjer mest værdi. Den anden tilgang virker bedre, og den er mere ærlig om, hvor teknologien er i dag.

Over de næste fem år forventer jeg, at agenterne tager på sig mere og mere af den rutinemæssige samtale-byrde, og de bør. Denne arbejde har ikke brug for et menneske, der overvåger hver enkelt ord.

Arbejdsprocesserne, der altid skal have en menneskelig involveret, er de, hvor indsatsen er høj eller situationen er virkelig ny. Alt, der rører samtykke, compliance eller en beslutning, der ville være svær at gå tilbage fra. Et menneske skal eje retningen, og AI’en skal hjælpe dem med at dække langt mere ground, end de ellers kunne.

Settende fremad, hvilke udviklinger i konversational AI er du mest begejstret for, og hvordan forestiller du dig, at platforme som Convos vil udvikle sig, når modeller bliver mere kapable, multimodale og autonome?

Hvad der begejstrer mig mest, er, at samtalerne vil fortsætte med at blive bedre.

Da modellerne forbedres, bliver udvekslingerne vores platform håndterer mere naturlige og mere nyttige uden, at vi skal genopbygge fundamentet hver gang. Fordi vi designede systemet til at skifte mellem modeller, kan vi bringe disse forbedringer ind, når de dukker op.

Multimodal er udviklingen, jeg følger mest nøje. Lige nu er samtalen tekst. Da modeller kan håndtere billeder og andre formater mere kompetent, er der en rigtig mulighed for at gøre disse udvekslinger rigere, mens man fastholder den øjeblikkelighed, der gør tekstning til en succes.

Om autonomi er jeg optimistisk, men forsigtig. Mere kapable agenter udgives månedligt, og de vil være i stand til at håndtere en masse på egen hånd. Men i et reguleret område skal mere autonomi komme med mere disciplin, ikke mindre. Grænserne betyder mere, når kapaciteten vokser.

Jeg kom ind i dette, fordi jeg var personen, der tekstede ind i tomrummet og fik intet tilbage. Det er stadig problemet, jeg bekymrer mig mest om. Uanset hvor kapable disse modeller bliver, er målet, jeg altid kommer tilbage til, simpelt. Føler personen på den anden side sig hørt?

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Convos.