Andrew Missey, CTO i współzałożyciel Convos – seria wywiadów

Andrew Missey, CTO i współzałożyciel Convos, jest inżynierem oprogramowania i liderem produktu z doświadczeniem w zakresie rozwoju produktów AI, architektury oprogramowania, sieci i inżynierii pełnej sterty. Przed założeniem Convos pomógł opracować i wydać dwie platformy kreatywnych i marketingowych opartych na AI w Forum3, łącząc praktyczną inżynierię z technicznym zarządzaniem produktem. Jego wcześniejsze role w N-able (NABL ), Autoshop Solutions i Brand IQ obejmowały budowę aplikacji frontend, systemów backend, pulpitów klientów i wewnętrznych narzędzi oprogramowania przy użyciu technologii, w tym Svelte, NestJS, Angular i JavaScript. To multidyscyplinarne tło pozwoliło mu połączyć wykonanie techniczne z strategią produktu, gdy kieruje rozwój platformy komunikacyjnej Convos opartej na AI.

Convos to kontrolowana platforma tekstowa oparta na AI, zaprojektowana w celu pomocy kampaniom politycznym i firmom komunikacyjnym w zastąpieniu jednorazowych wiadomości masowych osobistymi, dwukierunkowymi rozmowami z wyborcami na dużą skalę. Platforma konwertuje odpowiedzi na analizę sentymentu w czasie rzeczywistym, klasyfikację tematów, wyniki wezwania do działania, wskaźniki zaangażowania i ustrukturyzowane spostrzeżenia wyborców, których kampanie mogą wykorzystać do udoskonalenia swojego zasięgu. Zamknięty system AI działa w ramach zatwierdzonych materiałów i barier komunikacyjnych kampanii, jednocześnie zapewniając funkcje, takie jak segmentacja kontaktów, historia rozmów, śledzenie linków, eksport danych i ślady audytu zorientowane na zgodność. Convos może również uzupełnić istniejącą infrastrukturę tekstową organizacji, zamiast wymagać jej zastąpienia przez nowy system komunikacyjny.

Współzałożyłeś Convos po tym, jak zauważyłeś, że tekstowanie polityczne i organizacyjne stało się w dużej mierze jednorazową komunikacją. Jaki był pierwotny pomysł, który przekonał Cię, że istnieje możliwość przekształcenia masowego tekstowania w rozmowy oparte na AI, a jakie były największe techniczne wyzwania, z którymi się zetknąłeś przy budowaniu platformy?

Pomysł wyniknął z bycia po stronie odbiorcy.

Wokół wyborów w 2024 roku byłem bombardowany politycznymi tekstami, jak wiele innych osób. W pewnym momencie zacząłem odpowiadać na nie. Zadawałem pytanie lub odpowiadałem, ale nigdy nie otrzymywałem odpowiedzi. Wiadomości były wysyłane przez miliony, ale w momencie, gdy próbowałem prowadzić prawdziwą rozmowę, nikt nie był tam.

To uderzyło mnie jako ogromna stracona okazja. Osoba po drugiej stronie była już zaangażowana. Zadawała prawdziwe pytanie. Ale nigdy nie otrzymywała odpowiedzi.

Pomysł za Convos był prosty. Przekształcić transmisję w prawdziwą rozmowę, na dużą skalę, bez potrzeby pokoju pełnego ludzi, którzy ją obsługują.

Największe techniczne wyzwania wynikały z trzech rzeczy: skali, opóźnienia i zgodności.

Skala to oczywista rzecz. Zarządzasz tysiącami rozmów jednocześnie, a każda z nich ma swój własny stan i historię. Opóźnienie ma większe znaczenie, niż ludzie oczekują. Jeśli ktoś odpowiada na tekst i odpowiedź zajmuje zbyt dużo czasu, moment mija. Tekstowanie wydaje się prawie natychmiastowe, a doświadczenie musi temu odpowiadać.

Zgodność była najtrudniejszą częścią, a była to coś, co priorytetowo potraktowaliśmy od samego początku. Tekstowanie polityczne jest ściśle regulowane, a popełnienie błędu nie jest opcją. Duża część naszego wczesnego inżynierii poszła na upewnienie się, że system pozostaje w ramach wiadomości i szanuje zgodę oraz opt-outy w sposób, który idzie znacznie dalej niż po prostu łapanie słowa “STOP”.

Convos działa na przecięciu sztucznej inteligencji konwersacyjnej, dużej skali wiadomości i analizy sentymentu w czasie rzeczywistym. Jakie lekcje wyciągnąłeś z wdrożenia systemów AI, które muszą angażować tysiące ludzi jednocześnie, a jednocześnie wydawać się osobiste i autentyczne?

Największa lekcja polega na tym, że “osobiste na dużą skalę” to coś, za co trzeba inżynierii. Nie dzieje się to automatycznie.

Kiedy prowadzisz tysiące rozmów jednocześnie, istnieje pokus, aby traktować je jako jedną dużą partię. Ale osoba otrzymująca tekst nie dba o Twoją partię. Dla niej jest to wymiana jeden na jeden, i musi tak się wydawać. To oznacza, że każda rozmowa musi mieć swój własny kontekst i historię, tak aby odpowiedź rzeczywiście odpowiadała na to, co powiedziała konkretna osoba, a nie na jakiś średni wynik wszystkich.

Nauczyliśmy się również zwracać baczną uwagę na to, co ludzie nam naprawdę mówią. Odpowiedź nie jest po prostu odpowiedzią. Nosi sentyment. Ktoś może odpowiedzieć pytaniem, z entuzjazmem, z frustracją lub z wyraźnym sygnałem, że chce być pozostawiony w spokoju. Prawidłowe odczytywanie tych niuansów jest tym, co decyduje o interakcji.

W końcu autentyczność wynika z słuchania, a nie z brzmienia mądrze. Wymiana, która wydaje się najbardziej ludzka, jest tą, która odpowiada na rzeczywiste pytanie i szanuje czas osoby.

Uważasz, że wiele organizacji koncentruje się zbyt mocno na benchmarkach modeli, zaniedbując osobowość i styl komunikacji. Dlaczego uważasz, że osobowość staje się krytycznym czynnikiem w wdrożeniu przedsiębiorstw AI, i jak organizacje powinny ją oceniać?

Benchmarki mierzą zdolność. Nie mierzą dopasowania.

Model może uzyskać bardzo dobre wyniki w rozumowaniu lub kodowaniu i nadal być niewłaściwym wyborem do rozmowy z wyborcą. Sposób, w jaki sformułowuje rzeczy, jak ciepło lub formalnie brzmi, czy wie, kiedy być krótkim, to wszystko ma ogromne znaczenie, gdy prawdziwa osoba jest po drugiej stronie.

W naszym świecie model nie rozwiązuje problemu matematycznego. Reprezentuje kampanię w wiadomości tekstowej. Każda kampania ma swój własny głos, a model musi dopasować się do niego, zamiast narzucić swój własny. Jeśli ton jest nieprawidłowy, nie ma znaczenia, jak inteligentny jest podstawowy model. Interakcja nie powiedzie się.

Istnieje również strona zdolności, którą benchmarki pomijają. Kampania może udzielić agentowi szczegółowych wskazówek, co powiedzieć, czego unikać i jak obsłużyć określone tematy. Model musi postępować zgodnie ze wszystkimi tymi wskazówkami, konsekwentnie, w długiej wymianie. Niektóre modele są o wiele lepsze niż inne w utrzymaniu złożonych instrukcji bez dryfowania w połowie rozmowy. Ta zdolność jest również częścią osobowości, ponieważ model, który brzmi dobrze, ale przestaje postępować zgodnie ze swoimi instrukcjami, nie jest tym, którego można postawić przed prawdziwymi ludźmi.

To dlatego osobowość staje się prawdziwym czynnikiem w wdrożeniu przedsiębiorstw. Gdy modele stają się bardziej zdolne, surowa luka zdolności między nimi się zmniejsza. Co pozostaje, to charakter. Jak komunikują się i czy pozostają w ramach wyznaczonych linii.

Sposób oceny nie jest na liście liderów. Jest to testowanie modeli na rzeczywistym przypadku użycia, z rzeczywistą zawartością, i czytanie danych wyjściowych w taki sposób, w jaki czytałby je użytkownik końcowy. Przechodzimy przez modele dokładnie takich samych wymian, jakie będą one obsługiwać w produkcji, i oceniamy je pod kątem tego, czy rozmowa wydaje się odpowiednia. To mówi nam o wiele więcej niż wynik benchmarkowy.

Twoja drużyna przetestowała wiele wiodących modeli i zaobserwowała znaczne różnice w tym, jak radzą sobie one z różnymi zadaniami. Co nauczyłeś się o mocnych i słabych stronach dzisiejszych głównych LLM, i dlaczego niektóre są lepiej przystosowane do pracy konwersacyjnej niż inne?

To, czego się nauczyliśmy, to to, że nie ma jednego najlepszego modelu. Jest tylko najlepszy model dla danego zadania.

Niektóre modele są doskonałe w ścisłym przestrzeganiu instrukcji, co ma znaczenie, gdy system musi pozostawać w ścisłych granicach. Niektóre są silniejsze w naturalnym, konwersacyjnym tonie. Niektóre są szybsze, co jest swoistą siłą, gdy opóźnienie jest częścią doświadczenia. Inne są lepsze w rozwiązywaniu skomplikowanych żądań, ale wydają się sztywne lub zajmują zbyt dużo czasu, aby odpowiedzieć w swobodnej wymianie.

Do pracy konwersacyjnej konkretnie, cechy, które mają znaczenie, nie zawsze są tymi, które uzyskują nagłówki. Szybkość ma znaczenie. Spójność ma znaczenie. Wiedza, kiedy być krótkim, ma znaczenie. Model, który pisze piękną odpowiedź w trzech akapitach, często jest niewłaściwym wyborem, gdy odpowiedź powinna być jednym zdaniem.

Żadna z tych rzeczy nie pojawia się na liście liderów. Można się o tym dowiedzieć tylko poprzez umieszczenie modeli w obliczu rzeczywistej pracy i zwrócenie uwagi na to, jak ją obsługują.

Wiele firm przyjmuje coraz częściej strategie wielomodelowe, zamiast polegać na jednym dostawcy AI. Jakie są zalety budowania systemów, które mogą przełączać się między modelami, i jakie są wymagania architektoniczne, aby to było możliwe?

Główną zaletą jest to, że nie jesteś zablokowany.

Jeśli zbudujesz wszystko wokół jednego dostawcy, dziedziczysz wszystkie ich ograniczenia. Ich ceny, limity stawek, opóźnienia, przerwy i harmonogramy wydawnicze stają się Twoimi. Strategia wielomodelowa pozwala Ci skierować każde zadanie do modelu, który najlepiej je obsługuje, i daje Ci gdzieś, dokąd możesz się udać, gdy jeden dostawca ma zły dzień.

Pozwala Ci również dopasować koszt do zadania. Nie każda interakcja wymaga Twojego najpotężniejszego i najdroższego modelu. Możesz wysłać proste prace do lżejszego modelu i zaoszczędzić najbardziej zaawansowany model na trudne przypadki. To ma realne znaczenie w skali.

Architektura jest tym, co to umożliwia, a kluczową decyzją jest zbudowanie warstwy abstrakcji między Twoją aplikacją a konkretnym modelem. Twoja aplikacja nie powinna rozmawiać bezpośrednio z API jednego dostawcy w całym kodzie. Powinna rozmawiać z własnym wewnętrznym interfejsem, a ten interfejs decyduje, który model rzeczywiście obsługuje żądanie.

Gdy tylko to masz, możesz dodać logikę routingu, awarie, gdy dostawca awaryjnie przestaje działać, i możliwość przełączania modeli bez przepisywania aplikacji. Musisz również mieć spójne obsługiwanie podpowiedzi i danych wyjściowych w różnych modelach, ponieważ każdy z nich zachowuje się nieco inaczej, a Twój system musi wyrównać te różnice.

To wymaga więcej pracy na początku. Ale kupuje Ci elastyczność, która jest bardzo trudna do dodania później.

Niedawno podkreśliłeś, jak szybko ewoluują modele AI, a nowe wydania czasami zmieniają charakterystykę wydajności w nieoczekiwany sposób. Jak przedsiębiorstwa powinny balansować między chęcią przyjęcia najnowszych modeli a potrzebą stabilności, niezawodności i przewidywalności?

Szczera odpowiedź brzmi: nowy model nie jest ulepszeniem, dopóki nie udowodnisz, że nim jest.

Każde nowe wydanie jest ekscytujące, a istnieje realne nacisk, aby przyjąć najnowsze rzeczy natychmiast. Ale widzieliśmy, jak nowe modele zmieniają zachowanie w sposób, którego nie oczekiwaliśmy. Coś, co działało niezawodnie, zaczyna odpowiadać nieco inaczej, a w systemie produkcyjnym te małe zmiany się sumują.

Sposób, w jaki sobie z tym radzimy, jest prosty. Żaden model nie wchodzi do naszego potoku, dopóki nie przetestujemy go sami. Gdy nowe wydanie się pojawia, nie bierzemy benchmarków ani ogłoszeń za dobrą monetę. Siadamy i przechodzimy przez nie dokładnie takie same wymiany, jakie będą one obsługiwać w produkcji, i czytamy dane wyjściowe sami.

Ten ręczny krok nie jest opcjonalny dla nas. Model może wyglądać lepiej na papierze i nadal obsługiwać prawdziwą wymianę w sposób, z którym nie czujemy się komfortowo, aby postawić go przed wyborcami. Jedynym sposobem, aby wiedzieć, jest umieszczenie go w tych samych sytuacjach, z którymi nasz system ma do czynienia każdego dnia, i zobaczenie, jak on naprawdę odpowiada.

To jest kolejne miejsce, w którym warstwa abstrakcji zarabia na swoje utrzymanie. Ponieważ nasza aplikacja nie zależy od konkretnego modelu, możemy wprowadzić nowe wydanie, przetestować je przeciwko rozmowom, które naprawdę obsługujemy, i porównać je uczciwie z tym, co już uruchamiamy. Jeśli przekracza poprzeczkę, przełączamy się. Jeśli nie, czekamy.

Hallucynacje pozostają jednym z największych barier dla wdrożenia AI w przedsiębiorstwach, zwłaszcza gdy modele pracują z dużymi zbiorami danych i złożoną informacją. Jakie praktyczne techniki okazały się najbardziej skuteczne w redukowaniu hallucynacji w środowiskach produkcyjnych?

Najskuteczniejszą techniką, którą znaleźliśmy, jest ograniczenie tego, co model jest w stanie wiedzieć.

Duża część hallucynacji pochodzi z pytania modelu, aby odpowiedział z własnej wiedzy ogólnej, gdzie zadowala się wypełnieniem luk czymś, co brzmi prawidłowo. Robimy odwrotnie. Nasz AI działa ściśle w oparciu o informacje, które kampania mu dostarczyła. Nie ma dostępu do otwartego Internetu i nie opiera się na jakiejś mglistej pamięci o świecie.

Jeśli odpowiedź nie jest w materiale, które otrzymał, odpowiednia odpowiedź brzmi: nie posiada tej informacji. Ta prosta granica usuwa ogromne ryzyko.

Nie przestajemy na tym. Mamy wiele kontroli, aby upewnić się, że odpowiedź odpowiada informacjom kampanii. Nawet po tym, jak model wygeneruje odpowiedź, ta odpowiedź jest sprawdzana przeciwko informacjom kampanii, zanim zostanie wysłana. Jeśli coś nie pasuje, nie zostaje wysłane.

Poza tym praktyczne techniki są o ugruntowaniu i barierach. Daj modelowi konkretny, istotny kontekst, który potrzebuje do zadania przed nim, zamiast ogromnej, nieróżnicowanej kupki danych. Im bardziej ukierunkowana jest informacja, tym mniej miejsca jest na dryfowanie.

Ustawiamy również jasne limity tego, co system jest w stanie zrobić i powiedzieć, i monitorujemy prawdziwe rozmowy, zamiast zakładać, że wszystko jest w porządku. Nie łapiesz problemów, ufając modelowi. Łapiesz je, obserwując dane wyjściowe.

W regulowanym środowisku, takim jak polityczne tekstowanie, sfabrykowana odpowiedź jest odpowiedzialnością, więc zaprojektowaliśmy system, aby wybrał przejrzystość zamiast zgadywania.

Jakie błędy widzisz zespoły powtarzające, gdy przechodzą od projektów pilotażowych do wdrożeń na dużą skalę?

Błąd, który widzę najczęściej, to to, że zespoły testują, czy ich agent działa, ale nie czy może być złamany.

Nie mogę policzyć, ile razy firma wydała AI czatbota, a w ciągu dnia ktoś w sieci zhakował go, aby powiedział coś, czego nie powinien. Został wyprowadzony z instrukcji, wymanewrowany, aby wyszedł poza scenariusz, lub manipulowany, aby reprezentował markę w sposób, który kończy się jako zrzut ekranu, który wszyscy się udostępniają.

To się dzieje, ponieważ w projekcie pilotażowym wszyscy są grzeczni. Testujesz agenta z rozsądnymi ludźmi, którzy zadają rozsądne pytania, i wygląda to dobrze. Produkcja jest odwrotna. W momencie, gdy coś jest publiczne, część ludzi, którzy z nim rozmawiają, aktywnie próbuje go złamać.

Jeśli nie przetestowałeś przypadku awaryjnego, nie przetestowałeś go naprawdę. Musisz spróbować złamać własny system, zanim ktoś inny to zrobi. Pchnij go, nakarm go dziwnymi i wrogimi wejściami, i zobacz, czy utrzymuje granice, gdy ktoś celowo działa przeciwko niemu.

Innym powtarzającym się błędem jest założenie, że demo, które działa, jest systemem, który działa. Projekt pilotażowy to garstka obserwowanych rozmów na szczęśliwej ścieżce. Produkcja to tysiące ludzi o każdej porze, zachowujących się w sposób, którego nie przewidziałeś, a przypadki brzegowe, które zbytnio zlekceważyłeś, stają się codziennymi zdarzeniami w skali.

Moja rada brzmi: spędź mniej czasu na doskonaleniu dema i więcej czasu na próby złamania tego. Jeśli nie może przetrwać Twojego ataku, nie przetrwa publicznego.

Agenci AI stają się coraz bardziej zdolni do obsługi rozmów, które wcześniej wymagały personelu. Gdzie widzisz równowagę między automatyzacją a nadzorem ludzkim w ciągu najbliższych pięciu lat, i które przepływy pracy powinny zawsze utrzymywać człowieka w pętli?

To jest trudne, i nie myślę, że ktoś naprawdę wie, gdzie linia ląduje w ciągu pięciu lat. Myślę o tym w ten sposób: prawdziwa wartość AI polega na tym, że jest mnożnikiem. Pozwala małej grupie ludzi zrobić o wiele więcej, niż kiedykolwiek mogliby sami.

Zespoły, które najwięcej zyskują z tych narzędzi, używają ich dokładnie w ten sposób. AI zajmuje się objętością i powtarzalnością, a ludzie spędzają czas na ocenie, strategii i sytuacjach, które naprawdę wymagają człowieka. To zupełnie inny cel niż próba usunięcia ludzi z obrazu.

Gdy celem jest czysta zastępowalność, tendencja jest taka, aby pchnąć technologię poza to, co jest naprawdę dobre. Gdy celem jest pomnożenie ludzi, pozwalasz AI zrobić to, co robi dobrze, i trzymasz ludzi tam, gdzie dodają najwięcej wartości. Ten drugi podejście działa lepiej, i jest bardziej uczciwy wobec tego, gdzie technologia jest dzisiaj.

W ciągu najbliższych pięciu lat oczekuję, że agenci zajmą coraz więcej rutynowych obciążeń konwersacyjnych, i powinni. Ta praca nie wymaga człowieka, który obserwuje każde słowo.

Przepływy pracy, które powinny zawsze utrzymywać człowieka, to te, gdzie stawka jest wysoka lub sytuacja jest naprawdę nowa. Cokolwiek, co dotyka zgody, zgodności lub decyzji, której trudno będzie cofnąć. Człowiek powinien być odpowiedzialny za kierunek, a AI powinien pomóc im pokryć o wiele więcej terenu, niż mogliby inaczej.

Spójrzając w przyszłość, jakie rozwoju sztucznej inteligencji konwersacyjnej najbardziej się ekscytujesz, i jak wyobrażasz sobie ewolucję platform, takich jak Convos, gdy modele stają się bardziej zdolne, wielomodalne i autonomiczne?

To, co mnie najbardziej ekscytuje, to to, że rozmowy będą się tylko poprawiać.

Gdy modele się poprawiają, wymiany, które nasza platforma obsługuje, stają się bardziej naturalne i użyteczne, bez potrzeby odbudowywania fundamentów za każdym razem. Ponieważ zaprojektowaliśmy system, aby mógł przechodzić między modelami, możemy wprowadzać te ulepszenia, gdy tylko się pojawiają.

Wielomodalność to rozwój, który obserwuję najbardziej. W tej chwili rozmowa jest tekstowa. Gdy modele radzą sobie lepiej z obrazami i innymi formatami, istnieje realna okazja, aby uczynić te wymiany bogatszymi, zachowując przy tym natychmiastowość, która sprawia, że tekstowanie działa.

Co do autonomii, jestem optymistyczny, ale ostrożny. Bardziej zdolni agenci są wydawani co miesiąc, i będą w stanie obsłużyć wiele rzeczy same. Ale w regulowanym środowisku, więcej autonomii musi przyjść z więcej dyscypliny, a nie mniej. Granice mają większe znaczenie, gdy zdolność rośnie.

Wszedłem w to, ponieważ byłem osobą, która tekstowała w próżnię i nie otrzymywała odpowiedzi. To wciąż jest problem, który najbardziej mnie nurtuje. Niezależnie od tego, jak zdolne stają się te modele, miara, do której wracam, jest prosta. Czy osoba po drugiej stronie czuje się usłyszana?

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Convos.