Andrew Missey, Convosin tekninen johtaja ja perustaja – Haastattelusarja

Andrew Missey, Convosin tekninen johtaja ja perustaja, on ohjelmistosuunnittelija ja tuotejohtaja, jolla on kokemusta AI-tuotteiden kehittämisestä, ohjelmistoarkkitehtuurista, verkkotekniikasta ja täysipainoisesta ohjelmistokehityksestä. Ennen Convosin perustamista hän auttoi kehittämään ja lanseeramaan kaksi AI-pohjaista luovaa ja markkinointialustaa Forum3:ssa, yhdistäen käytännön ohjelmistosuunnittelun tekniseen tuotejohtamiseen. Aikaisemmissa rooleissaan N-able (NABL ), Autoshop Solutions ja Brand IQ:ssa hän kehitti etusivuohjelmia, taustajärjestelmiä, asiakaspaneelia ja sisäisiä ohjelmistotyökaluja teknologioita käyttäen, kuten Svelte, NestJS, Angular ja JavaScript. Tämä monialainen tausta on mahdollistanut hänelle teknisen toteutuksen yhdistämisen tuotestrategiaan Convosin AI-pohjaisen viestintäalustan kehittämisessä.

Convos on ohjattu AI-pohjainen tekstiviestintäalusta, joka on suunniteltu auttamaan poliittisia kampanjoita ja viestintäyhtiöitä korvaamaan yksisuuntaiset massaviestit henkilökohtaisten, kaksisuuntaisten äänestäjien keskustelujen kanssa suuressa mittakaavassa. Alusta muuttaa vastaukset reaaliaikaiseksi mielipidemittaukseksi, aiheen luokitteluksi, toimenpiteen tuloksiin, osallistumismittauksiin ja rakenteellisiin äänestäjänäkymiin, joita kampanjat voivat käyttää viestintänsä hienosäätöön. Sen suljettu järjestelmä toimii kampanjan hyväksymien materiaalien ja viestintärajoitusten puitteissa, tarjoten ominaisuuksia kuten yhteyden segmentointi, keskusteluhistoria, linkkiseuranta, tietojen vienti ja vaatimustenmukaiset audit-reitit. Convos voi myös täydentää organisaation olemassa olevan tekstiviestintäinfrastruktuurin sen sijaan, että se vaatisi sen korvaamista.

Perustit Convosin havainnoimalla, kuinka poliittinen ja organisaation tekstiviestintä oli muuttunut lähes yksisuuntaiseksi. Mikä oli alkuperäinen oivallus, joka vakuutti sinut siitä, että massatekstiviestintää voitiin muuttaa AI-pohjaisiksi keskusteluiksi, ja mitkä olivat suurimmat tekniset haasteet, joita kohtasit alustan rakentamisessa?

Oivallus tuli siitä, että olin itse vastaanottajana.

Vuoden 2024 vaalien aikana minulle lähetettiin poliittisia tekstiviestejä, kuten monille muillekin. Jossain vaiheessa aloin vastata niihin. Kysyin jotain tai vastasin, mutta mitään vastausta ei koskaan tullut. Viestejä lähetettiin miljoonittain, mutta kun yritin käydä oikean keskustelun, siellä ei ollut ketään.

Se vaikutti suurelta menetetyltä mahdollisuudelta. Henkilö toisessa päässä oli jo sitoutunut. He kysyivät oikeaa kysymystä. Mutta mitään vastausta ei koskaan lähetetty.

Convosin idea oli yksinkertainen. Muuttaa lähetyksiä oikeaksi keskusteluksi suuressa mittakaavassa ilman, että siihen tarvitaan huone täynnä ihmisiä.

Suurimmat tekniset haasteet liittyivät kolmeen asiaan: mittakaava, viive ja vaatimukset.

Mittakaava on ilmeinen. Hallinnoit tuhansia keskusteluita samanaikaisesti, ja jokaisella on oma tila ja historia. Viive on tärkeämpää, kuin ihmiset odottavat. Jos joku vastaa ja vastaus kestää liian kauan, hetki on mennyt. Tekstiviestintä tuntuu lähes välittömältä, ja kokemus on oltava siihen verrattavissa.

Vaatimukset olivat vaikein osa, ja se oli jotain, mihin panimme painoa alusta lähtien. Poliittinen tekstiviestintä on voimakkaasti säännelty, eikä sen väärinkäyttäminen ole vaihtoehto. Suuri osa alkuvaiheen insinööritöistä meni järjestelmän kehittämiseen, joka pysyy viestin ja kunnioittaa suostumusta ja opt-outteja tavoin, jotka menevät paljon pidemmälle kuin vain “LOPETA”-sanasta.

Convos toimii keskustelun, suuren mittakaavan viestinnän ja reaaliaikaisen mielipidemittauksen risteyksessä. Mitä oppeja olet oppinut AI-järjestelmien käyttämisestä, jotka joutuvat sitoutumaan tuhansiin ihmisiin samanaikaisesti ja silti tuntuvat henkilökohtaisilta ja aidoilta?

Suurin oppi on, että “henkilökohtainen mittakaavassa” on jotain, mitä on pakko suunnitella.

Kun suoritat tuhansia keskusteluita kerran, on houkutus kohdella niitä yhtenä suurena eränä. Mutta henkilö, joka vastaanottaa tekstiviestin, ei välitä siitä erästä. Hänelle se on yksilöllinen vaihto, ja se on oltava sellainen. Se tarkoittaa, että jokaisen keskustelun on oltava omalla kontekstillaan ja historiallaan, jotta vastaus todella vastaa sitä, mitä kyseinen henkilö sanoi, eikä keskiarvoa kaikista.

Opimme myös kiinnittämään huomiota siihen, mitä ihmiset meille todella kertovat. Vastaus ei ole vain vastaus. Se kantaa mielipidettä. Joku voi vastata kysymyksellä, innostuneella, frustroidulla tai selvällä signaalilla, että he haluavat olla yksin. Nuolet tunteiden lukeminen oikein on se, mikä tekee tai rikkoo vuorovaikutuksen.

Lopulta aitoutta tulee kuuntelemisesta, ei siitä, että kuulostaa älykkäältä. Se vaihto, joka tuntuu eniten inhimilliseltä, on se, joka vastaa todelliseen kysymykseen ja kunnioittaa henkilön aikaa.

Olet väittänyt, että monet organisaatiot keskittyvät liiaksi mallin vertailuun ja jättävät henkilökohtaisuuden ja viestintätyylin huomiotta. Miksi uskot, että henkilökohtaisuus on tuleva kriittinen tekijä yritysten AI-käytössä, ja miten organisaatioiden tulisi arvioida sitä?

Vertailu mitoittaa kyvykkyyden. Se ei mitoita sopivuutta.

Malli voi saavuttaa erinomaisen tuloksen päättelyssä tai koodauksessa ja silti olla väärä valinta keskustelussa äänestäjän kanssa. Tapa, jolla se lausuu asioita, kuinka lämmin tai kuinka virallinen se kuulostaa, onko se osaa olla lyhyt, kaikki tämä on äärimmäisen tärkeää, kun todellinen henkilö on toisessa päässä.

Meidän maailmassa malli ei ratkaise matemaattista ongelmaa. Se edustaa kampanjaa tekstiviestissä. Jokaisella kampanjalla on oma ääni, ja mallin on vastattava siihen eikä asettava omaa ääntään. Jos sävy on väärä, ei ole väliä, kuinka älykäs malli on. Vuorovaikutus epäonnistuu.

On myös kyvykkyyden puoli, jota vertailuun ei kiinnitetä huomiota. Kampanja voi antaa agentille yksityiskohtaiset ohjeet siitä, mitä sanoa, mitä välttää ja miten käsitellä tiettyjä aiheita. Mallin on noudatettava niitä kaikkia johdonmukaisesti pitkän keskustelun ajan. Jotkut mallit ovat paljon parempia kuin toiset pitämään monimutkaisia ohjeita ilman, että poikkeavat puolivälissä keskustelua. Se kyky on myös osa henkilökohtaisuutta, koska malli, joka kuulostaa hyvältä mutta lopettaa noudattamasta ohjeita, ei ole sellainen, jonka voit asettaa eteen todellisille ihmisille.

Siitä syystä henkilökohtaisuus on tuleva todellinen tekijä yritysten käytössä. Kun mallit paranevat yleisesti, ero heidän välillä kavenee. Mitä on jäljellä, on luonne. Miten ne viestivät, ja pysyvätkö ne rajoissa, jotka on asetettu.

Tapa arvioida sitä on ei ole vertailulista. Se on testata mallit todellisessa käyttötarkoituksessa, todellisella sisällöllä, ja lukea tulosteet niin, kuin loppukäyttäjä tekisi. Asetamme mallit läpi samanlaisia keskusteluita, joita ne käsittelevät tuotannossa, ja arvioimme, onko keskustelu oikein. Se kertoo paljon enemmän kuin vertailupiste.

Olet testannut useita johtavia malleja ja havainnut merkittäviä eroja siinä, miten ne suoriutuvat tehtävistä. Mitä olet oppinut nykyisten suurten LLM-mallien vahvuuksista ja heikkouksista, ja miksi jotkut ovat soveltuvampia keskustelutyöhön kuin toiset?

Mitä olemme oppineet, on, ettei ole yhtä parasta mallia. On vain paras malli tietyn tehtävän mukaan.

Jotkut mallit ovat erinomaisia seuraamassa ohjeita tarkasti, mikä on tärkeää, kun järjestelmän on pysyttävä tiukkojen rajoitusten puitteissa. Jotkut ovat vahvempia luonnollisessa, keskustelumaisessa sävyssä. Jotkut ovat nopeampia, mikä on itsessään vahvuus, kun viive on osa kokemusta. Toiset ovat parempia johdonmukaisuuden käsittelyssä mutta tuntuvat jäykemmiltä tai vievät liian kauan vastataksesi rennossa vaihdossa.

Keskustelutyölle erityisesti tärkeät ominaisuudet eivät aina ole ne, jotka saavat otsikkoja. Nopeus on tärkeää. Johdonmukkuus on tärkeää. Tiedäminen, milloin olla lyhyt, on tärkeää. Malli, joka kirjoittaa kauniin kolmen kappaleen vastauksen, on usein väärä valinta, kun oikea vastaus on yksi lause.

Tätä ei näy vertailulistassa. Sen oppii ainoastaan asettamalla mallit eteen todellista työtä ja kiinnittämällä huomiota siihen, miten ne käsittelevät sen.

Monet yritykset omaksuvat yhä enemmän monimallistrategioita sen sijaan, että riippuisivat yhdestä AI-palveluntarjoajasta. Mitkä ovat etuja rakentaa järjestelmiä, jotka voivat vaihdella malleja, ja mitkä arkkitehtuuriset huomioonotot ovat tarpeen, jotta tämä olisi mahdollista?

Pääetua on, ettei ole lukittu.

Jos rakennetaan kaikki yhden tarjoajan ympärille, periytyvät kaikki heidän rajoitukset. Heidän hinnoittelunsa, siirtomäärärajoitukset, viive, katkokset ja julkaisuaikataulu tulevat omiksi. Monimallinen lähestymistapa mahdollistaa kohdistaa kunkin tehtävän siihen malliin, joka käsittelee sen parhaiten, ja antaa mahdollisuuden siirtyä toiseen, kun yksi tarjoaja on huonolla päivällä.

Se myös mahdollistaa kustannusten sopimisen tehtävän mukaan. Kaikissa keskusteluissa ei tarvita kaikkein voimakkainta ja kalleinta mallia. Pienemmän mallin lähettäminen yksinkertaiseen työhön ja varata voimakkaampi malli vaikeampiin tapauksiin tekee todellisen eron suuressa mittakaavassa.

Arkkitehtuuri on se, mikä mahdollistaa tämän. Avainpäätös on rakentaa abstraktio kerros sovelluksen ja minkä tahansa mallin välille. Järjestelmän ei pidä puhua suoraan yhden tarjoajan API:han koko koodipohjassa. Sen on puhuttava omaa sisäistä rajapintaa, ja se päättää, mikä malli käsittelee pyynnön.

Kun sinulla on se, voit lisätä reitityslogiikan, varasäännöt, kun tarjoaja epäonnistuu, ja mahdollisuuden vaihtaa malleja ilman sovelluksen uudelleenkirjoittamista. Sinun on myös oltava yhdenmukainen käsittely kehotuksista ja tulosteista kaikkien mallien yli, koska kunkin käyttäytyminen on hieman erilainen, ja järjestelmän on oltava sileä erojen yli.

Se on enemmän työtä etukäteen. Mutta se ostaa joustavuuden, joka on hyvin vaikea lisätä myöhemmin.

Olet korostanut, kuinka nopeasti AI-mallit kehittyvät, ja uudet julkaisut voivat joskus muuttaa suorituskykyä odottamattomin tavoin. Miten yritysten tulisi tasapainottaa halu omaksua uusimmat mallit ja tarve stabiiliin, luotettavaan ja ennustettavaan suorituskykyyn?

Rehellinen vastaus on, että uusi malli ei ole päivitys, ennen kuin olet todistanut sen sellaiseksi.

Jokainen uusi julkaisu on jännittävä, ja on todellinen paine omaksua uusin asia välittömästi. Mutta olemme nähneet uusien mallien muuttavan käyttäytymistä odottamattomilla tavoilla. Jotain, mikä toimi luotettavasti, alkaa vastata hieman eri tavoin, ja tuotantojärjestelmässä nämä pienet muutokset kertyvät.

Tapa, jolla käsittelemme sitä, on yksinkertainen. Mikään malli ei pääse meidän putkiimme, ennen kuin olemme testanneet sen itse. Kun uusi julkaisu tulee, emme ottaa vertailuja tai ilmoitusta sen puolesta. Istumme alas ja ajamme sen läpi samanlaisia keskusteluita, joita se käsittelee tuotannossa, ja lukea tulosteet itse.

Tämä käsin tehty vaihe ei ole valinnainen meillä. Malli voi näyttää paremmalta paperilla ja silti käsitellä todellisen vaihdon tavalla, jota emme ole valmiit asettamaan äänestäjien eteen. Ainoa tapa tietää on asettaa se samoihin tilanteisiin, joita järjestelmämme käsittelee joka päivä, ja nähdä, miten se todella reagoi.

Tässä abstraktio kerros ansaitsee palkkionsa. Koska sovelluksemme ei riipu yhdestä tietyistä mallista, voimme tuoda uuden julkaisun, testata sen keskusteluita, joita me todella käsittelemme, ja verrata sitä rehellisesti siihen, mitä me jo ajamme. Jos se ylittää esteen, vaihdamme. Jos ei, odotamme.

Harhatilat ovat yksi suurimmista esteistä yritysten AI-omaksumiselle, erityisesti kun mallit työskentelevät suurten tietojoukkojen ja monimutkaisten tietojen kanssa. Mitkä käytännön tekniikat ovat osoittautuneet tehokkaimmiksi harhatilojen vähentämisessä tuotantoympäristöissä?

Tehokkain tekniikka, jonka olemme löytäneet, on rajoittaa, mitä malli saa tietää.

Suuri osa harhailusta tulee siitä, kun mallia pyydetään vastaamaan yleisestä tietämyksestään, missä se on iloinen täyttämään aukot jollakin, mikä kuulostaa oikealta. Tehdään vastakkainen. AI:lamme toimii ainoastaan tiedolla, jonka kampanja on antanut. Sillä ei ole pääsyä avoimeen internetiin, eikä se ole perustuu mihinkään epämääräiseen maailmanmuistiin.

Jos vastausta ei ole materiaalissa, jonka se sai, oikea vastaus on sanoa, ettei sillä ole tietoa. Se yksinkertainen raja poistaa valtavan määrän riskiä.

Emme kuitenkaan lopeta siinä. Meillä on useita tarkistuksia varmistamaan, että vastaus vastaa kampanjan antamaa tietoa. Jopa mallin luodessa vastauksen, se tarkistetaan kampanjan tiedoista ennen kuin se menee minnekään. Jos jotain ei täsmää, se ei lähetetä.

Lisäksi käytännön tekniikat liittyvät kiinnittymiseen ja rajoituksiin. Anna mallille tarkka, relevantti konteksti tehtävään edessä sen sijaan kuin valtava, erottamaton tietopino. Mitä kohdennetumpi tieto on, sitä vähemmän tilaa on harhailuun.

Myös asetamme selkeät rajoitukset sille, mitä järjestelmä saa tehdä ja sanoa, ja seuraamme todellisia keskusteluita sen sijaan, että oletetaan, että kaikki on kunnossa. Et havaitse ongelmia luottamalla malliin. Havaitset ne katsomalla tulostetta.

Säännellyssä tilassa, kuten poliittisessa tekstiviestinnässä, keksitty vastaus on vastuulla, joten suunnittelimmee järjestelmän, joka suosii avoimuutta arvailun sijaan.

Järjestelmien deployaation aikana asiakastukeen, viestintään, markkinointiin, operaatioihin, mitkä virheet näet tiimien toistuvasti tekemissä siirtymisen aikana koepiloteista tuotantoon?

Virhe, jonka näen useimmin, on, että tiimit testaavat, toimiko heidän agenttinsa, mutta eivät sitä, voidaanko sitä murtaa.

En voi laskea, kuinka monta kertaa yritys on julkaissut AI-keskustelu robottia, ja seuraavana päivänä joku verkossa on murtautunut siihen ja saanut sen sanomaan jotain, minkä se ei pitäisi sanoa. Se on houkuteltu ulos ohjeistaan, huijattu poikkeamaan käsikirjoituksesta tai manipuloitu edustamaan brändiä tavalla, josta tulee kuvakaappaus, jota kaikki jakavat.

Tämä tapahtuu, koska koepilottiaikana kaikki ovat hyväntahtoisia. Olet testaamassa agenttia järkevien ihmisten kanssa, jotka esittävät järkeviä kysymyksiä, ja se näyttää suurelta. Tuotanto on vastakkainen. Hetkestä, kun se on julkinen, osa ihmisiä, jotka puhuvat sille, yrittää aktiivisesti horjuttaa sitä.

Jos et ole testannut sitä vastustuskykyiselle tapaukselle, et ole todella testannut sitä. On pakko yrittää murtaa oma järjestelmäsi ennen kuin joku toinen tekee. Työnnä sitä, syötä sille outoja ja vihamielisiä syötteitä, ja katso, pitävätkö ne rajoitukset, kun joku yrittää tietoisesti työntää sitä vastaan.

Toinen toistuva virhe on olettaa, että demo, joka toimii, on järjestelmä, joka toimii. Koepilotti on joukko tarkkaan valvottuja keskusteluita onnellisella polulla. Tuotanto on tuhansia ihmisiä kaikissa olosuhteissa, jotka käyttäytyvät tavoin, joita et osannut odottaa, ja reunatapaukset, jotka ohitit, muuttuvat päivittäin suuressa mittakaavassa.

Neuvoni on viettää vähemmän aikaa täydellistämään demoa ja enemmän aikaa yrittämällä murtaa sitä itse. Jos se ei kestä sinun hyökkäystä, se ei kestä julkinen oloa.

AI-agentit tulevat yhä enemmän käsittelemään keskusteluita, jotka vaativat aiemmin ihmisten henkilöstöä. Missä näet tasapainon automaation ja ihmisen valvonnan välillä seuraavien viiden vuoden aikana, ja mitkä työnkulut pitäisi aina pitää ihmisen osallistumisessa?

Tämä on vaikea, ja en usko, että kukaan tietää todella, missä raja menee viiden vuoden kuluttua. Tapa, jolla ajattelen sitä, on, että AI:n todellinen arvo on voimakertoimena. Se antaa pienelle ryhmälle ihmisiä tehdä paljon enemmän kuin he koskaan voisi yksin.

Tiimit, jotka saavat eniten irti näistä työkaluista, käyttävät niitä juuri tuossa tarkoituksessa. AI ottaa volyymin ja toistuvuuden, ja ihmiset viettävät aikaansa tuomioon, strategiaan ja tilanteisiin, jotka todella vaativat ihmistä. Se on erilainen tavoite kuin yrittää poistaa ihmiset kuvasta.

Kun tavoitteena on puhdas korvaaminen, yleensä työnnät teknologiaa sen äärirajoille, ja se epäonnistuu tavoin, jotka ovat näkyviä ja kalliita. Kun tavoitteena on moninkertaistaa ihmiset, annat AI:lle tehdä sen, mihin se on hyvä, ja pidät ihmiset siellä, missä he lisäävät eniten arvoa. Jälkimmäinen lähestymistapa toimii paremmin, ja se on rehellisempi siitä, missä teknologia todella on tänään.

Seuraavien viiden vuoden aikana odotan, että agentit ottavat yhä enemmän arkisen keskustelun, ja niiden tulisi. Se työ ei vaadi ihmistä, joka tarkkailee joka sanaa.

Työnkulut, jotka aina tulisi pitää ihmisen osallistumisessa, ovat ne, joissa panokset ovat korkeat tai tilanne on todella uusi. Mitään, mikä koskee suostumusta, vaatimustenmukaisuutta tai päätöstä, joka olisi vaikea perua. Ihminen tulisi omistaa suunnan, ja AI tulisi auttaa heitä kattamaan paljon enemmän maata, kuin he muuten voisi.

Katsoen eteenpäin, mitkä kehitys AI-keskustelussa ovat sinulle eniten mielenkiintoisia, ja miten näet alustoja, kuten Convos, kehittyvän, kun mallit tulevat kyvykkäimmiksi, monituisiksi ja itsenäisiksi?

Se, mikä minua innostaa eniten, on, että keskustelut tulevat parantumaan.

Kun mallit paranevat, vaihdot, joita alustamme käsittelee, tulevat luonnollisemmiksi ja hyödyllisemmiksi ilman, että meidän on rakennettava perustaa uudelleen joka kerta. Koska suunnittelimmee järjestelmän, joka voi siirtyä malleja, saamme tuoda nämä parannukset, kun ne tulevat.

Monitajuinen kehitys on se, jota seuraan tarkimmin. Tällä hetkellä keskustelu on tekstiä. Kun mallit käsittelevät kuvia ja muita formaatteja kyvykkäämmin, on todellinen mahdollisuus tehdä näistä vaihdoista rikkaammat pitäen samalla nopeuden, joka tekee tekstiviestinnän toimivaksi.

Itsenäisyyden suhteen olen optimistinen mutta varovainen. Kyvykkämpiä agenteja julkaistaan kuukausittain, ja ne pystyvät käsittelemään paljon itse. Mutta säännellyssä tilassa enemmän autonomiaa on oltava enemmän kuria, ei vähemmän. Rajat tulevat tärkeämmiksi, kun kyky kasvaa.

Lähdin tähän, koska olin henkilö, joka tekstasi tyhjiin ja ei saanut mitään takaisin. Se on edelleen ongelma, josta välitän eniten. Riippumatta siitä, kuinka kyvykkäitä nämä mallit tulevat, mittari, johon palannut useammin, on yksinkertainen. Tuntuuko henkilö toisessa päässä kuulluksi?

Kiitos hienosta haastattelusta, lukijat, jotka haluavat oppia lisää, kannattaa vierailla Convos-sivustolla.