Andrew Missey, CTO und Mitgründer von Convos – Interview-Serie

Andrew Missey, CTO und Mitgründer von Convos, ist ein Software-Ingenieur und Produktleiter mit Erfahrung in der Entwicklung von KI-Produkten, Software-Architektur, Netzwerken und Full-Stack-Engineering. Bevor er Convos mitgründete, half er bei der Entwicklung und dem Launch von zwei KI-gestützten kreativen und Marketing-Plattformen bei Forum3, indem er hands-on-Engineering mit technischem Produktmanagement kombinierte. Seine früheren Rollen bei N-able (NABL ), Autoshop Solutions und Brand IQ umfassten die Erstellung von Frontend-Anwendungen, Backendsystemen, Client-Dashboards und internen Software-Tools mit Technologien wie Svelte, NestJS, Angular und JavaScript. Diese multidisziplinäre Erfahrung ermöglicht es ihm, technische Umsetzung mit Produktstrategie zu verbinden, während er die Entwicklung der KI-gestützten Kommunikationsplattform von Convos leitet.

Convos ist eine kontrollierte KI-gestützte Textplattform, die entwickelt wurde, um politischen Kampagnen und Kommunikationsfirmen zu helfen, einseitige Massenmitteilungen durch personalisierte, zweigleisige Wählergespräche im großen Maßstab zu ersetzen. Die Plattform wandelt Antworten in Echtzeit-Sentiment-Analysen, Themenklassifizierungen, Call-to-Action-Ergebnisse, Engagement-Metriken und strukturierte Wähler-Einblicke um, die Kampagnen nutzen können, um ihre Ansprache zu verfeinern. Ihr geschlossenes KI-System operiert innerhalb von kampagnen-genehmigten Materialien und Messaging-Schutzvorkehrungen, während es Funktionen wie Kontakt-Segmentierung, Gesprächsverläufe, Link-Verfolgung, Daten-Exporte und compliance-fokussierte Audit-Verläufe bietet. Convos kann auch die bestehende Text-Infrastruktur einer Organisation ergänzen, anstatt sie zu ersetzen.

Sie haben Convos gegründet, nachdem Sie beobachtet hatten, wie politische und organisatorische Textkommunikation größtenteils einseitig geworden war. Was war die ursprüngliche Erkenntnis, die Sie davon überzeugt hat, dass es eine Chance gab, Massen-Texting in KI-gestützte Gespräche umzuwandeln, und welche waren die größten technischen Herausforderungen, denen Sie bei der Entwicklung der Plattform gegenüberstanden?

Die Erkenntnis kam aus der Erfahrung, selbst auf der empfangenden Seite zu sein.

Um die Wahl 2024 herum erhielt ich wie viele andere Millionen von politischen Texten. Irgendwann begann ich, darauf zu antworten. Ich stellte eine Frage oder antwortete, und es kam nie eine Antwort zurück. Die Nachrichten gingen in Millionenhöhe raus, aber im Moment, in dem man versuchte, ein echten Austausch zu haben, war niemand da.

Es schlug mir als enorme verpasste Chance ein. Die Person auf der anderen Seite war bereits engagiert. Sie stellte eine echte Frage. Aber es kam nie eine Antwort zurück.

Die Idee hinter Convos war einfach. Die Sendung in ein echtes Gespräch umwandeln, im großen Maßstab, ohne dass man einen Raum voller Menschen benötigt, um es zu besetzen.

Die größten technischen Herausforderungen kamen auf drei Dinge hinunter: Skalierbarkeit, Latenz und Compliance.

Skalierbarkeit ist das Offensichtliche. Man muss Tausende von Gesprächen gleichzeitig verwalten, und jedes hat seinen eigenen Zustand und seine eigene Geschichte. Latenz ist wichtiger, als die Leute erwarten. Wenn jemand zurücktextet und die Antwort zu lange dauert, ist der Moment vorbei. Texten fühlt sich fast sofort an, und die Erfahrung muss diesem entsprechen.

Compliance war der schwierigste Teil, und es war etwas, das wir von Anfang an priorisierten. Politisches Texten ist stark reguliert, und es falsch zu machen, ist keine Option. Ein großer Teil unserer frühen Ingenieursarbeit ging in die Gewährleistung, dass das System auf der Botschaft blieb und Zustimmung und Opt-outs auf eine Weise respektierte, die über das bloße Fangen des Wortes “STOP” hinausging.

Convos operiert an der Schnittstelle von konversationeller KI, großer Messaging und Echtzeit-Sentiment-Analyse. Welche Lektionen haben Sie aus der Bereitstellung von KI-Systemen gelernt, die Tausende von Menschen gleichzeitig ansprechen müssen, während sie dennoch persönlich und authentisch wirken?

Die größte Lektion ist, dass “persönlich im großen Maßstab” etwas ist, für das man Ingenieurskunst benötigt. Es passiert nicht von selbst.

Wenn man Tausende von Gesprächen gleichzeitig ausführt, ist die Versuchung groß, sie als eine große Charge zu behandeln. Aber die Person, die den Text erhält, interessiert sich nicht für Ihre Charge. Für sie ist es ein Einzelgespräch, und es muss sich so anfühlen. Das bedeutet, dass jedes Gespräch seinen eigenen Kontext und seine eigene Geschichte tragen muss, damit eine Antwort tatsächlich auf das antwortet, was diese spezifische Person gesagt hat, und nicht auf irgendeine Durchschnittswert aller.

Wir haben auch gelernt, genau auf das zu achten, was die Leute uns wirklich sagen. Eine Antwort ist nicht nur eine Antwort. Sie trägt Sentiment. Jemand kann mit einer Frage antworten, mit Enthusiasmus, mit Frustration oder mit einem klaren Signal, dass er allein gelassen werden möchte. Diese Nuancen richtig zu lesen, ist das, was eine Interaktion macht oder bricht.

Am Ende kommt Authentizität von Zuhören, nicht von Klugheit. Der Austausch, der am menschlichsten wirkt, ist der, der die eigentliche Frage beantwortet und die Zeit der Person respektiert.

Sie haben argumentiert, dass viele Organisationen sich zu sehr auf Modell-Benchmarks konzentrieren und Persönlichkeit und Kommunikationsstil übersehen. Warum glauben Sie, dass Persönlichkeit zu einem kritischen Faktor in der Unternehmens-KI-Einführung wird, und wie sollten Organisationen sie bewerten?

Benchmarks messen Fähigkeit. Sie messen nicht die Passung.

Ein Modell kann extrem gut auf Vernunft oder Codierung punkten und dennoch die falsche Wahl für ein Gespräch mit einem Wähler sein. Die Art, wie es Dinge formuliert, wie warm oder wie formal es klingt, ob es weiß, wann es kurz sein soll, all das zählt enorm, sobald ein echter Mensch am anderen Ende ist.

In unserer Welt löst das Modell kein Mathematik-Problem. Es repräsentiert eine Kampagne in einer Textnachricht. Jede Kampagne hat ihre eigene Stimme, und das Modell muss diese Stimme treffen, anstatt seine eigene aufzudrängen. Wenn der Ton falsch ist, ist es egal, wie intelligent das zugrunde liegende Modell ist. Die Interaktion scheitert.

Es gibt auch eine Fähigkeitsseite, die Benchmarks verpassen. Eine Kampagne kann dem Agenten detaillierte Anweisungen geben, was zu sagen ist, was zu vermeiden ist und wie spezifische Themen zu behandeln sind. Das Modell muss all dies konsequent und über einen langen Austausch hinweg befolgen. Einige Modelle sind weit besser darin als andere, komplexe Anweisungen ohne Abdriften zu befolgen. Diese Fähigkeit ist auch Teil der Persönlichkeit, weil ein Modell, das großartig klingt, aber aufhört, Anweisungen zu befolgen, nicht das ist, was man vor echte Menschen stellt.

Das ist, warum Persönlichkeit zu einem echten Faktor in der Unternehmens-Einführung wird. Wenn Modelle immer fähiger werden, verengt sich die Lücke zwischen ihnen. Was bleibt, ist Charakter. Wie sie kommunizieren und ob sie innerhalb der von Ihnen gesetzten Grenzen bleiben.

Der Weg, sie zu bewerten, ist nicht auf einer Rangliste. Es ist, Modelle auf Ihren tatsächlichen Anwendungsfall zu testen, mit Ihrem tatsächlichen Inhalt, und die Ausgaben so zu lesen, wie Ihr Endbenutzer es tun würde. Wir setzen Modelle durch die gleichen Arten von Austauschen, die sie in der Produktion verarbeiten werden, und beurteilen sie danach, ob das Gespräch sich richtig anfühlt. Das sagt uns viel mehr als ein Benchmark-Wert.

Ihr Team hat mehrere führende Modelle getestet und signifikante Unterschiede in ihrer Leistung über verschiedene Aufgaben hinweg beobachtet. Was haben Sie über die Stärken und Schwächen der heutigen großen LLMs gelernt, und warum sind einige besser für konversationelle Arbeit geeignet als andere?

Was wir gelernt haben, ist, dass es kein einziges bestes Modell gibt. Es gibt nur das beste Modell für einen bestimmten Job.

Einige Modelle sind hervorragend darin, Anweisungen genau zu befolgen, was wichtig ist, wenn das System innerhalb strenger Grenzen bleiben muss. Einige sind stärker in natürlichem, konversationellem Ton. Einige sind schneller, was ihre eigene Stärke ist, wenn Latenz Teil der Erfahrung ist. Andere sind besser darin, komplizierte Anfragen zu durchdenken, aber fühlen sich steif oder brauchen zu lange, um in einem lockeren Austausch zu antworten.

Für konversationelle Arbeit im Speziellen sind die Eigenschaften, die zählen, nicht immer die, die Schlagzeilen machen. Geschwindigkeit zählt. Konsistenz zählt. Zu wissen, wann man kurz sein muss, zählt. Ein Modell, das eine wunderschöne dreiparatige Antwort schreibt, ist oft die falsche Wahl, wenn die richtige Antwort ein Satz ist.

Nichts davon zeigt sich auf einer Rangliste. Man kann es nur lernen, indem man Modelle vor die tatsächliche Arbeit setzt und aufpasst, wie sie damit umgehen.

Viele Unternehmen adoptieren zunehmend Multi-Modell-Strategien, anstatt sich auf einen einzigen KI-Anbieter zu verlassen. Was sind die Vorteile des Aufbaus von Systemen, die zwischen Modellen wechseln können, und welche architektonischen Überlegungen sind erforderlich, um dies möglich zu machen?

Der Hauptvorteil ist, dass man nicht festgelegt ist.

Wenn man alles um einen Anbieter herum aufbaut, erbt man alle seine Einschränkungen. Seine Preise, seine Rate-Limits, seine Latenz, seine Ausfälle und seine Release-Zeitpläne werden zu den Ihren. Ein Multi-Modell-Ansatz ermöglicht es Ihnen, jede Aufgabe dem Modell zuzuweisen, das sie am besten erledigt, und gibt Ihnen einen Ort, an den Sie gehen können, wenn ein Anbieter einen schlechten Tag hat.

Es ermöglicht es Ihnen auch, die Kosten an die Aufgabe anzupassen. Nicht jede Interaktion benötigt Ihr leistungsstärkstes und teuerstes Modell. Es zu können, das einfache Arbeiten einem leichteren Modell zuzuweisen und das schwere Modell für die harten Fälle zu reservieren, macht einen echten Unterschied im großen Maßstab.

Die Architektur ist das, was dies möglich macht, und die wichtigste Entscheidung ist, eine Abstraktionsschicht zwischen Ihrer Anwendung und einem bestimmten Modell zu bauen. Ihre Systeme sollten nicht direkt mit der API eines bestimmten Anbieters sprechen. Sie sollten mit Ihrer eigenen internen Schnittstelle sprechen, und diese Schnittstelle entscheidet, welches Modell die Anfrage tatsächlich bearbeitet.

Sobald Sie dies haben, können Sie Routing-Logik, Fallbacks, wenn ein Anbieter ausfällt, und die Fähigkeit hinzufügen, Modelle ohne Neuschreiben der Anwendung auszutauschen. Sie benötigen auch konsistente Handhabung von Prompts und Ausgaben über Modelle hinweg, da jedes ein wenig anders funktioniert, und Ihr System muss diese Unterschiede glätten.

Es ist mehr Arbeit im Voraus. Aber es kauft Ihnen Flexibilität, die sehr schwer hinzuzufügen ist, wenn man sie später benötigt.

Sie haben kürzlich hervorgehoben, wie schnell KI-Modelle evolvieren, mit neuen Releases, die manchmal die Leistungsmerkmale auf unerwartete Weise ändern. Wie sollten Unternehmen das Verlangen, die neuesten Modelle zu adoptieren, mit der Notwendigkeit von Stabilität, Zuverlässigkeit und vorhersehbarer Leistung in Einklang bringen?

Die ehrliche Antwort ist, dass ein neues Modell kein Upgrade ist, bis Sie bewiesen haben, dass es eines ist.

Jedes Release ist aufregend, und es gibt einen echten Druck, das Neueste sofort zu adoptieren. Aber wir haben gesehen, wie neue Modelle sich auf unerwartete Weise verhalten. Etwas, das zuverlässig funktioniert, beginnt, ein wenig anders zu reagieren, und in einem Produktions-System addieren sich diese kleinen Änderungen.

Die Art, wie wir es handhaben, ist einfach. Kein Modell kommt in unsere Pipeline, bis wir es selbst manuell getestet haben. Wenn ein neues Release herauskommt, nehmen wir die Benchmarks oder die Ankündigung nicht für bare Münze. Wir setzen uns hin und führen es durch die gleichen Arten von Gesprächen, die es in der Produktion bearbeiten würde, und lesen die Ausgaben selbst.

Dieser manuelle Schritt ist für uns nicht optional. Ein Modell kann auf dem Papier besser aussehen und dennoch ein echtes Gespräch auf eine Weise bearbeiten, die wir nicht vor Wählern stellen möchten. Der einzige Weg, es zu wissen, ist, es durch die gleichen Situationen zu führen, mit denen unser System täglich zu tun hat, und zu sehen, wie es tatsächlich reagiert.

Dies ist ein weiterer Ort, an dem die Abstraktionsschicht ihre Arbeit leistet. Da unsere Anwendung nicht von einem bestimmten Modell abhängt, können wir ein neues Release hereinbringen, es gegen die Gespräche testen, die wir tatsächlich bearbeiten, und es ehrlich gegen das vergleichen, was wir bereits laufen lassen. Wenn es den Test besteht, wechseln wir. Wenn nicht, warten wir.

Halluzinationen bleiben einer der größten Hindernisse für die Unternehmens-KI-Einführung, insbesondere wenn Modelle mit großen Datenmengen und komplexen Informationen arbeiten. Welche praktischen Techniken haben sich als am effektivsten erwiesen, um Halluzinationen in Produktionsumgebungen zu reduzieren?

Die effektivste Technik, die wir gefunden haben, ist, zu beschränken, was das Modell wissen darf.

Viele Halluzinationen entstehen, wenn man ein Modell auffordert, aus seinem eigenen allgemeinen Wissen zu antworten, wo es bereit ist, Lücken mit etwas zu füllen, das sich richtig anhört. Wir tun das Gegenteil. Unsere KI arbeitet strikt von der Information, die die Kampagne bereitgestellt hat. Sie hat keinen Zugriff auf das offene Internet, und sie zieht nicht aus irgendeiner vagen Erinnerung an die Welt.

Wenn die Antwort nicht in den bereitgestellten Materialien ist, ist die richtige Antwort, zu sagen, dass sie diese Information nicht hat. Diese einfache Grenze entfernt ein enormes Risiko.

Wir hören nicht auf. Wir haben mehrere Überprüfungen, um sicherzustellen, dass eine Antwort mit dem übereinstimmt, was die Kampagne bereitgestellt hat. Selbst nachdem das Modell eine Antwort generiert hat, wird diese Antwort gegen die Informationen der Kampagne überprüft, bevor sie irgendwohin geht. Wenn etwas nicht übereinstimmt, wird es nicht gesendet.

Darüber hinaus sind die praktischen Techniken die der Grundierung und der Schutzvorkehrungen. Geben Sie dem Modell den spezifischen, relevanten Kontext, den es für die Aufgabe benötigt, anstatt einem riesigen, undifferenzierten Datenhaufen. Je fokussierter die Information, desto weniger Raum gibt es, um abzudriften.

Wir setzen auch klare Grenzen, was das System darf und sagen darf, und wir überwachen echte Gespräche, anstatt anzunehmen, dass alles in Ordnung ist. Man fängt Probleme nicht, indem man dem Modell vertraut. Man fängt sie, indem man die Ausgabe beobachtet.

In einem regulierten Raum wie politischem Texten ist eine erfundene Antwort eine Haftung, also haben wir das System so entworfen, dass es Transparenz gegenüber Vermutung bevorzugt.

Wenn Organisationen KI-Agenten über Kundensupport, Kommunikation, Marketing und Betrieb einsetzen, welche Fehler sehen Sie Teams wiederholt machen, wenn sie von Pilotprojekten zu produktionsgerechten Bereitstellungen übergehen?

Der Fehler, den ich am häufigsten sehe, ist, dass Teams testen, ob ihr Agent funktioniert, aber nicht, ob er gebrochen werden kann.

Ich kann nicht zählen, wie oft ein Unternehmen einen KI-Chatbot veröffentlicht hat, und innerhalb eines Tages hat jemand online den Chatbot so manipuliert, dass er etwas sagte, was er nie hätte sagen sollen. Es wird aus seiner Bahn geworfen, hereingelegt, um von seinem Skript abzuweichen, oder manipuliert, um die Marke auf eine Weise darzustellen, die als Screenshot herumgezeigt wird.

Das passiert, weil in einem Pilotprojekt jeder sich gut verhält. Man testet den Agenten mit vernünftigen Menschen, die vernünftige Fragen stellen, und er sieht großartig aus. Produktion ist das Gegenteil. Im Moment, in dem etwas öffentlich ist, versucht ein Teil der Menschen, die mit ihm sprechen, ihn zu stören.

Wenn Sie nicht für den adversarischen Fall getestet haben, haben Sie nicht wirklich getestet. Sie müssen versuchen, Ihr eigenes System zu brechen, bevor jemand anderes es tut. Drücken Sie es, füttern Sie es mit seltsamen und feindlichen Eingaben, und sehen Sie, ob es seine Grenzen hält, wenn jemand aktiv gegen es arbeitet.

Der andere wiederkehrende Fehler ist, anzunehmen, dass ein Demo, das funktioniert, ein System ist, das funktioniert. Ein Pilotprojekt ist ein Handvoll beobachteter Gespräche auf dem glücklichen Pfad. Produktion ist Tausende von Menschen zu allen möglichen Zeiten, die sich auf Weise verhalten, die Sie nicht vorhergesehen haben, und die Randfälle, die Sie weggewiesen haben, werden zu täglichen Ereignissen im großen Maßstab.

Mein Rat ist, weniger Zeit mit der Perfektionierung des Demos und mehr Zeit damit zu verbringen, das Ding selbst zu brechen. Wenn es Ihrem Angriff nicht standhält, wird es auch nicht der Öffentlichkeit standhalten.

KI-Agenten werden immer besser darin, Gespräche zu führen, die früher menschliche Mitarbeiter erforderten. Wo sehen Sie die Balance zwischen Automatisierung und menschlicher Aufsicht in den nächsten fünf Jahren, und welche Workflows sollten immer einen Menschen in der Schleife halten?

Das ist ein harter, und ich denke, niemand weiß wirklich, wo die Linie in fünf Jahren liegt. Die Art, wie ich darüber nachdenke, ist, dass der echte Wert von KI als Multiplikator wirkt. Es lässt eine kleine Gruppe von Menschen viel mehr tun, als sie jemals allein könnten.

Die Teams, die das Meiste aus diesen Tools herausholen, nutzen sie genau so. Der KI übernimmt das Volumen und die Wiederholung, und die Menschen verbringen ihre Zeit mit Urteilsvermögen, Strategie und Situationen, die wirklich einen Menschen erfordern. Das ist ein ganz anderes Ziel als der Versuch, Menschen aus dem Bild zu entfernen.

Wenn das Ziel die reine Ersetzung ist, neigt man dazu, die Technologie über das hinaus zu treiben, was sie wirklich gut kann, und sie scheitert auf eine Weise, die sichtbar und teuer ist. Wenn das Ziel darin besteht, die Menschen zu multiplizieren, lässt man den KI das tun, was er gut kann, und hält die Menschen da, wo sie den meisten Wert hinzufügen. Der zweite Ansatz funktioniert besser, und er ist ehrlicher über den aktuellen Stand der Technologie.

In den nächsten fünf Jahren erwarte ich, dass Agenten immer mehr der Routine-Kommunikationslast übernehmen und dass sie es sollten. Diese Arbeit benötigt keinen Menschen, der jedes Wort beobachtet.

Die Workflows, die immer einen Menschen involvieren sollten, sind die, bei denen der Einsatz hoch ist oder die Situation wirklich neu ist. Alles, was Zustimmung, Compliance oder eine Entscheidung berührt, die schwer rückgängig zu machen ist. Ein Mensch sollte die Richtung besitzen, und der KI sollte ihm helfen, viel mehr Boden zu bedecken, als er sonst könnte.

Auf welchen Entwicklungen in der konversationellen KI sind Sie am meisten gespannt, und wie stellen Sie sich vor, dass Plattformen wie Convos sich entwickeln, wenn Modelle fähiger, multimodaler und autonomer werden?

Was mich am meisten begeistert, ist, dass die Gespräche immer besser werden.

Wenn Modelle verbessert werden, werden die Austausche, die unsere Plattform bearbeitet, natürlicher und nützlicher, ohne dass wir die Grundlage jedes Mal neu aufbauen müssen. Da wir das System so entworfen haben, dass es zwischen Modellen wechseln kann, können wir diese Verbesserungen hereinholen, sobald sie verfügbar sind.

Multimodaler ist die Entwicklung, auf die ich am meisten achte. Derzeit ist das Gespräch Text. Wenn Modelle Bilder und andere Formate besser bearbeiten können, gibt es eine echte Chance, diese Austausche reicher zu machen, während die Unmittelbarkeit beibehalten wird, die das Texten so funktionell macht.

Bei Autonomie bin ich optimistisch, aber vorsichtig. Fähigere Agenten werden monatlich veröffentlicht, und sie werden in der Lage sein, viel auf eigene Faust zu tun. Aber in einem regulierten Raum muss mehr Autonomie mit mehr Disziplin einhergehen, nicht weniger. Die Grenzen sind wichtiger, wenn die Fähigkeit wächst.

Ich bin in dieses Feld eingestiegen, weil ich die Person war, die in die Leere textete und nichts zurückbekam. Das ist immer noch das Problem, das mir am meisten am Herzen liegt. Egal, wie fähig diese Modelle werden, der Maßstab, zu dem ich immer zurückkehre, ist einfach. Fühlt sich die Person am anderen Ende gehört?

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Convos besuchen.