Andrew Missey, CTO a spoluzakladatel Convos – rozhovor

Andrew Missey, CTO a spoluzakladatel Convos, je softwarový inženýr a produktový líder s zkušenostmi z oblasti vývoje produktů umělé inteligence, softwarové architektury, sítí a full-stackového inženýrství. Předtím, než spoluzaložil Convos, pomáhal vyvíjet a spouštět dvě platformy pro kreativní a marketingové účely s umělou inteligencí ve společnosti Forum3, kombinující ruční inženýrství s technickým produktovým managementem. Jeho předchozí role ve společnostech N-able (NABL ), Autoshop Solutions a Brand IQ zahrnovaly budování frontendových aplikací, backendových systémů, klientů, dashboardů a interních softwarových nástrojů pomocí technologií jako Svelte, NestJS, Angular a JavaScript. Tato multidisciplinární zkušenost mu umožnila propojit technickou realizaci s produktovou strategií, kterou vede při vývoji komunikační platformy Convos s umělou inteligencí.

Convos je řízená platforma pro textovou komunikaci s umělou inteligencí, která pomáhá politickým kampaním a komunikačním firmám nahradit jednosměrnou hromadnou komunikaci personalizovanými, dvoustrannými rozhovory ve velkém měřítku. Platforma převádí odpovědi na reálnou analýzu sentimentu, tématické klasifikace, výsledky call-to-action, metriky zapojení a strukturované informace o voličích, které kampaně mohou použít ke zlepšení svého přístupu. Její uzavřený systém umělé inteligence funguje v rámci schválených materiálů a komunikačních pravidel, zatímco nabízí funkce jako segmentaci kontaktů, historii konverzací, sledování odkazů, export dat a auditní stopy zaměřené na dodržování předpisů. Convos může také doplňovat stávající infrastrukturu pro textovou komunikaci organizace, místo aby vyžadovalo její nahrazení stávajícími komunikačními systémy.

Spoluzaložil jste Convos poté, co jste pozoroval, jak se politická a organizační textová komunikace stala převážně jednosměrnou. Jaký byl původní vhled, který vás přesvědčil, že existuje příležitost transformovat hromadnou textovou komunikaci na rozhovory s umělou inteligencí, a jaké byly největší technické výzvy, kterým jste čelil při budování platformy?

Vhled přišel z toho, že jsem byl na straně příjemce.

Okolo voleb v roce 2024 jsem byl zaplaven politickými texty, jako mnoho lidí. V某 okamžiku jsem začal odpovídat na ně. Položil jsem otázku nebo odpověděl, a nikdy jsem nedostal žádnou odpověď. Zprávy byly rozesílány miliony, ale ve chvíli, kdy jste se pokusili vést skutečnou konverzaci, tam nikdo nebyl.

To mi došlo jako obrovská vynechaná příležitost. Osoba na druhé straně už byla zapojena. Položila skutečnou otázku. Ale nikdy nebyla odeslána žádná odpověď.

Nápad za Convos byl jednoduchý. Převést vysílání na skutečnou konverzaci, ve velkém měřítku, bez potřeby místnosti plné lidí, kteří by ji obsluhovali.

Největší technické výzvy spočívaly ve třech věcech: měřítku, latenci a dodržování předpisů.

Měřítko je zjevné. Řídíte tisíce konverzací současně, a každá z nich má svůj vlastní stav a historii. Latence je důležitější, než lidé očekávají. Pokud někdo odpoví a odpověď trvá příliš dlouho, okamžik je pryč. Textová komunikace feels téměř okamžitá, a zkušenost musí odpovídat tomu.

Dodržování předpisů bylo nejobtížnější částí, a byla to věc, na kterou jsme se zaměřili od začátku. Politická textová komunikace je silně regulovaná, a udělat chybu není možnost. Velká část našeho raného inženýrství šla do zajištění, aby systém zůstal na zprávě a respektoval souhlas a opt-outy způsoby, které jdou daleko za pouhým zachycením slova “STOP”.

Convos funguje na průsečíku konverzační umělé inteligence, velkého měřítka messagingu a reálné analýzy sentimentu. Jaké zkušenosti jste získal z nasazení systémů umělé inteligence, které musí současně zapojit tisíce lidí, zatímco stále vypadají osobní a autentické?

Největší zkušenost je, že “osobní ve velkém měřítku” je něco, co musíte inženýrstvím vytvořit. To se nestane samo od sebe.

Když běžíte tisíce konverzací najednou, je pokušení je zacházet jako s jednou velkou dávkou. Ale osoba, která dostává text, se nezajímá o vaši dávku. Pro ni to je jedna na jednu výměna, a musí to tak vypadat. To znamená, že každá konverzace musí nést svůj vlastní kontext a historii, aby odpověď skutečně reagovala na to, co řekl konkrétní člověk, a ne na nějaký průměr všech.

Také jsme se naučili věnovat pozornost tomu, co lidé nám skutečně říkají. Odpověď není jen odpověď. Nese sentiment. Někdo může odpovědět otázkou, s nadšením, s frustrací nebo s jasným signálem, že chce být ponechán samotný. Čtení těchto nuancí správně je to, co dělá nebo rozkládá interakci.

Nakonec autenticita pochází z naslouchání, ne ze znějícího chytrého. Výměna, která feels nejvíce lidská, je ta, která odpovídá na skutečnou otázku a respektuje čas osoby.

Argumentoval jste, že mnoho organizací se soustředí příliš silně na modelové benchmarky, zatímco přehlížejí osobnost a komunikační styl. Proč věříte, že osobnost se stává kritickým faktorem při nasazení podnikové umělé inteligence, a jak by organizace měly osobnost hodnotit?

Benchmarky měří schopnost. Neměřují fit.

Model může skórovat extrémně dobře na rozumění nebo kódování a přesto být špatnou volbou pro konverzaci s voličem. Způsob, jakým věci formulujete, jak teplý nebo formální zní, zda ví, kdy být stručný, tất cả tohle matters enormně, když je na druhé straně skutečný člověk.

V našem světě model nevyřeší matematický problém. Reprezentuje kampaň v textové zprávě. Každá kampaň má svůj vlastní hlas, a model musí odpovídat tomu, místo aby uvalil svůj vlastní. Pokud je tón špatný, nezajímá mě, jak chytrý je podkladový model. Interakce selže.

Existuje také schopnostní stránka, kterou benchmarky postrádají. Kampaň může agentovi poskytnout podrobné pokyny, co říkat, co se vyhnout, a jak zvládat konkrétní témata. Model musí následovat všechny tyto pokyny, konzistentně, po dlouhou konverzaci. Některé modely jsou daleko lepší než ostatní v udržování složitých instrukcí bez driftování půl cesty skrz konverzaci. Tato schopnost je také částí osobnosti, protože model, který zní skvěle, ale přestane sledovat své instrukce, není ten, který můžete postavit před skutečné lidi.

To je důvod, proč osobnost se stává skutečným faktorem při podnikovém nasazení. Jak modely získávají více schopností, surová schopnostní mezera mezi nimi se zužuje. Co zbývá je charakter. Jak komunikují, a zda zůstávají v rámci, které jste nastavili.

Způsob, jak to hodnotit, není na leaderboardu. Je to testovat modely na vašem skutečném použití, s vaším skutečným obsahem, a číst výstupy tak, jak by je četl váš koncový uživatel. Provádíme modely přes přesně ten druh výměn, které budou zpracovávat ve výrobě, a soudíme je na základě toho, zda konverzace feels správně. To vám řekne daleko více než benchmark skóre.

Vašemu týmu se podařilo otestovat několik vedoucích modelů a pozorovat významné rozdíly v tom, jak fungují napříč úkoly. Co jste se naučili o silných a slabých stránkách dnešních hlavních LLM, a proč jsou některé lépe přizpůsobeny pro konverzační práci než ostatní?

Co jsme se naučili, je, že neexistuje žádný jediný nejlepší model. Existuje pouze nejlepší model pro konkrétní úkol.

Některé modely jsou excelentní v následování instrukcí přesně, což matters, když potřebujete systém, aby zůstal uvnitř přísných hranic. Některé jsou silnější v přirozeném, konverzačním tónu. Některé jsou rychlejší, což je svou vlastní silnou stránkou, když latence je částí zkušenosti. Jiné jsou lepší v rozumění komplikovaným žádostem, ale feels stiff nebo trvají příliš dlouho na odpověď v neformální výměně.

Pro konverzační práci specificky jsou důležité vlastnosti, které nejsou vždy ty, které získávají titulky. Rychlost matters. Konsistence matters. Vědění, kdy být krátký, matters. Model, který píše krásnou tříodstavcovou odpověď, je často špatnou volbou, když správná odpověď je jedna věta.

Žádné z toho se neobjeví na leaderboardu. Zjistíte to pouze tím, že modely postavíte před skutečnou práci a budete si všímat, jak s ní nakládají.

Mnohé společnosti přijímají více-modelové strategie místo spoléhání se na jednoho poskytovatele umělé inteligence. Jaké jsou výhody budování systémů, které mohou přepínat mezi modely, a jaké architektonické úvahy jsou vyžadovány k tomu, aby to bylo možné?

Hlavní výhodou je, že nejste uzamčeni.

Pokud postavíte všechno kolem jednoho poskytovatele, zdědíte všechny jeho omezení. Jeho cenový model, jeho limity rychlosti, jeho latence, jeho výpadky a jeho uvolňovací plán se stanou vašimi. Více-modelový přístup vám umožňuje směrovat každý úkol na model, který jej zpracuje nejlépe, a dává vám kam jít, když jeden poskytovatel má špatný den.

Také vám umožňuje přizpůsobit náklady k úkolu. Ne každá interakce vyžaduje váš nejsilnější a nejdražší model. Být schopen poslat jednoduchou práci na lehčí model a rezervovat těžký model pro těžké případy dělá skutečný rozdíl ve velkém měřítku.

Architektura je to, co to umožňuje, a klíčovým rozhodnutím je postavit abstrakční vrstvu mezi vaší aplikací a konkrétním modelem. Vaše systém by neměl mluvit přímo s API jednoho poskytovatele po celou dobu kódu. Měl by mluvit se svou vlastní interní rozhraním, a to rozhraní rozhodne, který model skutečně zpracuje požadavek.

Jakmile to máte, můžete přidat logiku směrování, záložní řešení, když poskytovatel selže, a schopnost přepnout modely bez přepisování vaší aplikace. Také potřebujete konzistentní zpracování promptů a výstupů napříč modely, protože každý z nich se chová trochu jinak, a váš systém musí vyhladit tyto rozdíly.

Je to více práce na začátku. Ale kupujete si flexibilitu, která je velmi obtížná přidat později.

Nedávno jste zdůraznil, jak rychle se modely umělé inteligence vyvíjejí, s novými vydáními, která někdy mění charakteristiky výkonu neočekávanými způsoby. Jak by podniky měly vyvážit touhu adoptovat nejnovější modely s potřebou stability, spolehlivosti a předvídatelného výkonu?

Čestná odpověď je, že nový model není upgrade, dokud jste to sami neprokázali.

Každé vydání je vzrušující, a je skutečný tlak na to, aby se adoptovalo nejnovější hned. Ale viděli jsme, že nová vydání mění chování způsoby, které jsme nečekali. Něco, co fungovalo spolehlivě, začalo reagovat trochu jinak, a v produkčním systému se tyto malé změny sčítají.

Způsob, jakým to zvládáme, je jednoduchý. Žádný model se nedostane do našeho pipeline, dokud jsme ho sami ručně otestovali. Když vyjde nové vydání, nebereme benchmarky nebo oznámení za slovo. Sedíme a běžíme ho skrz jeho paces na přesně ten druh konverzací, které by zpracovávaly ve výrobě, a sami čteme výstupy.

Tento ruční krok není volitelný pro nás. Model může vypadat lépe na papíru a přesto zpracovat skutečnou výměnu způsobem, který bychom nebyli pohodlní postavit před voliče. Jediný způsob, jak to vědět, je postavit ho do stejné situace, se kterou naše systémka pracuje každý den, a vidět, jak skutečně reaguje.

To je další místo, kde abstrakční vrstva vydělává své peníze. Protože naše aplikace nezávisí na konkrétním modelu, můžeme přivést nové vydání, otestovat ho proti konverzacím, které skutečně zpracováváme, a porovnat ho upřímně proti tomu, co již běžíme.

Halucinace zůstávají jednou z největších překážek pro podnikové přijetí umělé inteligence, zejména když modely pracují s velkými datovými soubory a komplexními informacemi. Jaké praktické techniky se osvědčily jako nejúčinnější při snižování halucinací v produkčních prostředích?

Nejspolehlivější technikou, kterou jsme našli, je omezit, co model smí vědět.

Velká část halucinace pochází z toho, že se modelu žádá, aby odpověděl ze své vlastní obecné znalosti, kde bude rád vyplnit mezery něčím, co zní správně. My děláme opak. Naše umělé inteligence funguje striktně z informací, které kampaň poskytla. Nemá přístup k otevřenému internetu, a není čerpáno z žádné vágní paměti světa.

Pokud odpověď není v materiálu, kterému byla dána, správná odpověď je říci, že nemá tu informaci. Ta jediná hranice odstraňuje enormní množství rizika.

Nezastavujeme se tam, ale. Máme několik kontrol v místě, aby se ujistilo, že odpověď odpovídá tomu, co kampaň poskytla. I po tom, co model vygeneruje odpověď, je ta odpověď zkříženě ověřena proti informacím kampaně, než půjde kamkoli. Pokud něco nesedí, není odesláno.

Mimo to jsou praktické techniky o zakotvení a ochranných bariérách. Dejte modelu specifický, relevantní kontext, který potřebuje pro úkol před ním, místo obrovské nediferencované hromady dat. Čím více je informace zaměřena, tím méně prostoru je k driftování.

Také nastavujeme jasné limity toho, co systém smí dělat a říkat, a monitorujeme skutečné konverzace, místo aby se předpokládalo, že všechno je v pořádku. Nevíte o problémech důvěřováním modelu. Více je chytíte sledováním výstupu.

V regulovaném prostoru, jako je politická textová komunikace, vymyšlená odpověď je závazkem, takže jsme navrhli systém, aby preferoval transparentnost nad hádáním.

Jako organizace nasazují agenty umělé inteligence napříč zákaznickou podporou, komunikací, marketingem a operacemi, jaké chyby vidíte týmy opakovaně dělat, když přecházejí z pilotních projektů na produkční nasazení?

Chyba, kterou vidím nejčastěji, je, že týmy testují, zda jejich agent funguje, ale ne, zda jej lze rozbit.

Nemůžu spočítat, kolikrát společnost vydala agenta umělé inteligence, a do dne následujícího někdo online rozbitý agenta, aby řekl něco, co neměl říkat. Byl vyveden z instrukcí, oklamán, aby šel mimo scénář, nebo manipulován, aby reprezentoval značku způsobem, který skončil jako screenshot, který všichni sdílejí.

To se stává, protože v pilotním projektu je každý dobře chován. Testujete agenta s rozumnými lidmi, kteří kladou rozumné otázky, a vypadá to skvěle. Produkční nasazení je opak. Okamžik, kdy je něco veřejně dostupné, část lidí, kteří s ním mluví, se aktivně snaží ho rozbit.

Pokud jste to nevyzkoušeli pro tento adversní případ, nevyzkoušeli jste to skutečně. Musíte se pokusit rozbit svůj vlastní systém, než někdo jiný. Tlačte na něj, krmte ho podivnými a nepřátelskými vstupy, a podívejte se, zda drží své hranice, když někdo úmyslně pracuje proti němu.

Jinou opakovanou chybou je předpoklad, že demo, které funguje, je systém, který funguje. Pilotní projekt je hrstka sledovaných konverzací na happy path. Produkční nasazení je tisíce lidí ve všech hodinách, kteří se chovají způsoby, které jste nečekali, a edge případy, které jste odvrhli, se stávají denními událostmi ve velkém měřítku.

Má rada je strávit méně času dokonalým demo a více času pokusem o rozbití věci sami. Pokud to nemůže přežít vámi útoky, nepřežije to ani být veřejně dostupné.

Agenty umělé inteligence se stávají stále schopnějšími zvládat konverzace, které dříve vyžadovaly lidský personál. Kde vidíte rovnováhu mezi automatizací a lidským dohledem v příštích pěti letech, a které pracovní postupy byste měli vždy držet s lidskou účastí?

To je těžká otázka, a nemyslím, že někdo skutečně ví, kde přesně leží hranice za pět let. Způsob, jakým o tom přemýšlím, je, že skutečná hodnota umělé inteligence je jako násobič. Umožňuje malé skupině lidí dělat mnohem více, než by mohli sami.

Týmy, které dostávají nejvíce z těchto nástrojů, je používají přesně tímto způsobem. Umělé inteligence přebírá objem a repetici, a lidé tráví čas soudem, strategií a situacemi, které skutečně vyžadují lidskou účast. To je velmi odlišný cíl než se snažit odstranit lidi z obrazu.

Když je cílem čistá náhrada, tendujete tlačit technologii za to, co je skutečně dobrá, a selže způsoby, které jsou viditelné a drahé. Když je cílem násobit váš lidský personál, necháte umělé inteligence dělat to, co dělá dobře, a držte lidi tam, kde přidávají nejvíce hodnoty. Druhý přístup funguje lépe, a je více upřímný o tom, kde skutečně je technologie dnes.

V příštích pěti letech očekávám, že agenty budou přebírat více a více rutinní konverzační zátěže, a měli by. Ta práce nevyžaduje lidskou účast.

Pracovní postupy, které by vždy měly držet lidskou účast, jsou ty, kde jsou vysoké sázky nebo situace skutečně nové. Cokoliv, co se dotýká souhlasu, dodržování předpisů nebo rozhodnutí, které by bylo obtížné vrátit zpět. Osoba by měla vlastnit směr, a umělé inteligence by měla pomoci jim pokrýt mnohem více území, než by mohli sami.

Pohledem do budoucna, jaké vývojové trendy v konverzační umělé inteligenci vás nejvíce zajímají, a jak si představujete, že se platformy jako Convos budou vyvíjet, jakmile se modely stanou více schopnými, multimodálními a autonomními?

Co mě nejvíce zajímá, je, že konverzace budou stále lepší.

Jak modely zlepšují, výměny, které naše platforma zpracovává, se stanou přirozenějšími a užitečnějšími, aniž bychom museli přestavět základnu každý čas. Protože jsme navrhli systém, aby mohl přepínat mezi modely, můžeme přivést tyto zlepšení, jakmile jsou k dispozici.

Multimodální je vývoj, který sleduji nejvíce. V současné době je konverzace textová. Jak modely zpracovávají obrázky a další formáty lépe, existuje skutečná příležitost udělat tyto výměny bohatší, zatímco udržuje se okamžitost, která dělá textovou komunikaci funkční.

Co se týče autonomie, jsem optimistický, ale opatrný. Schopnější agenty jsou vydávány měsíčně, a budou moci zvládat mnohem více sami. Ale v regulovaném prostoru musí více autonomie přijít s více disciplínou, ne méně. Hranice matters více, jak se schopnost zvyšuje.

Dostal jsem se do toho, protože jsem byl osobou, která textovala do prázdna a nedostala žádnou odpověď. To je stále problém, o kterém nejvíce pečuji. Bez ohledu na to, jak schopné tyto modely budou, měřítko, ke kterému se vždy vracím, je jednoduché. Cítí se osoba na druhé straně slyšena?

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Convos.