Andrew Missey, CTO와 Convos의 공동 창립자 – 인터뷰 시리즈

Andrew Missey, Convos의 CTO이자 공동 창립자는 소프트웨어 엔지니어이자 제품 리더로서 AI 제품 개발, 소프트웨어 아키텍처, 네트워킹, 풀스택 엔지니어링 등의 경험을 보유하고 있습니다. Convos를 공동 창립하기 전에, 그는 Forum3에서 두 개의 AI 기반 창의적 마케팅 플랫폼을 개발하고 출시하는 것을 도왔으며, 이를 통해 엔지니어링과 기술 제품 관리를 결합했습니다. 그의 이전 역할에서는 N-able (NABL ), Autoshop Solutions, Brand IQ에서 프론트엔드 애플리케이션, 백엔드 시스템, 클라이언트 대시보드, 내부 소프트웨어 툴을 개발하며 Svelte, NestJS, Angular, JavaScript 등의 기술을 사용했습니다. 이러한 다학제적 배경은 기술적 실행과 제품 전략을 연결하는 것을 가능하게 해주었습니다.

Convos는 정치 캠페인과 커뮤니케이션 회사들이 일방적인 대량 메시지를 개인화된 양방향 대화로 대체하는 것을 도와주는 제어된 AI 기반 텍스트 메시지 플랫폼입니다. 이 플랫폼은 응답을 실시간 감정 분석, 주제 분류, 호출 결과, 참여 지표, 구조화된 유권자 통찰력으로 변환하여 캠페인이 접근을 개선하는 데 사용할 수 있습니다. 캠페인 승인 자료와 메시지 가드레일 내에서 작동하는 폐쇄 시스템 AI는 연락처 세분화, 대화 기록, 링크 추적, 데이터 내보내기, 규정 초점 감사 추적과 같은 기능을 제공합니다. Convos는 또한 기존 텍스트 인프라를 대체하는 대신 기존 커뮤니케이션 시스템을 보완할 수 있습니다.

당신은 정치적 및 조직적 텍스트 메시지가 주로 일방적인 커뮤니케이션이 된 것을 관찰한 후 Convos를 공동 창립했습니다. 대량 메시지를 AI 기반 대화로 변환할 수 있는 기회가 있다는 것을 확신시킨 원래 통찰력은 무엇이었으며, 플랫폼을 구축하는 데 직면한 가장 큰 기술적인 도전은 무엇입니까?

그 통찰력은 그 것을 받는 사람의 입장에서 왔습니다.

2024년 선거를 앞두고 나는 정치적 메시지로 폭격을 받고 있었습니다. 많은 사람들이 그랬던 것처럼. 어느 시점에 나는 그들에게 응답하기 시작했습니다. 나는 질문을 하거나 응답했지만, 결코 돌아오는 것이 없었습니다. 메시지는 수백만 개가 보내졌지만, 실제 교환을 시도하면 아무도 없었습니다.

그것은巨大的 기회를 놓친 것으로 보였습니다. 다른 쪽에는 이미 참여하고 있는 사람이 있었습니다. 그들은 실제 질문을 하고 있었습니다. 하지만 결코 응답이 돌아오지 않았습니다.

Convos의 아이디어는 간단했습니다. 방송을 실제 대화로 변환하여 규모에 관계없이 사람들을 필요로하지 않습니다.

가장 큰 기술적인 도전은 세 가지로 좁혀졌습니다: 규모, 지연, 규정 준수.

규모는 명백한 것입니다.同時에 수천 개의 대화를 관리하고, 각 대화에는 자신의 상태와 기록이 있습니다. 지연은 예상보다 더 중요합니다. 누군가가 텍스트로 응답하고 응답이 너무 오래 걸리면 순간이 지나갑니다. 텍스트는 거의 즉각적으로 느껴지며, 경험은 그것과 일치해야 합니다.

규정 준수는 가장 어려운 부분이었습니다. 그것은 우리가 처음부터 우선순위에 두었습니다. 정치적 텍스트 메시지는 엄격하게 규제되며, 그것을 잘못하면 옵션이 아닙니다. 초기 엔지니어링의 많은 부분이 시스템이 메시지를 유지하고 동의 및 옵트아웃을尊重하는 방식으로 진행되는 것을 보장하는 데 초점이 맞춰졌습니다.

Convos는 대화형 AI, 대규모 메시징, 실시간 감정 분석의 교차점에서 작동합니다. 동시에 수천 명의 사람들과 대화하는 AI 시스템을 배포하면서 개인적이고 진정성 있는 느낌을 유지하는 데 필요한 교훈은 무엇입니까?

가장 큰 교훈은 “규모에 따른 개인화”를 엔지니어링해야 한다는 것입니다. 기본적으로 발생하지 않습니다.

수천 개의 대화를同時에 실행할 때, 그것들을 하나의 큰 배치로 처리하는 유혹이 있습니다. 하지만 받는 사람이 당신의 배치에 대해 관심이 없습니다. 그것은 1:1 교환으로 느껴져야 하며, 실제로如此해야 합니다. 즉, 각 대화에는 자신의 컨텍스트와 기록이 있어야 하며, 응답은 실제로 해당 사람에게 nói한 것을 응답해야 합니다.

우리는 또한 사람들이 실제로 우리에게 무엇을 말하는지 주의 깊게 듣는 법을 배웠습니다. 응답은 단순히 응답이 아닙니다. 감정도 포함합니다. 누군가는 질문으로, 열정으로, 좌절로, 또는 방해받지 않기를 원하는明確한 신호로 응답할 수 있습니다. 이러한 뉴앙스를 올바르게 읽는 것이 상호작용을 결정짓는 것입니다.

결국, 진정성은 지능으로부터 오지 않고, 듣는 것에서 오는 것입니다. 가장 인간적인 것 같은 교환은 실제 질문에 대답하고 사람의 시간을尊重하는 것입니다.

당신은 많은 조직이 모델 벤치마크에 너무 많은 중점을 두고, 성격과 커뮤니케이션 스타일을 간과한다고 주장했습니다. 엔터프라이즈 AI 배포에서 성격이 중요한 요소가 되는 이유는 무엇이며, 조직은이를 어떻게 평가해야 합니까?

벤치마크는 능력을 측정합니다. 하지만 맞춤형을 측정하지 않습니다.

모델은 이유나 코딩에서 매우 잘할 수 있지만, 대화에서 여전히 잘못된 선택일 수 있습니다. 우리 세계에서는 모델이 수학 문제를 해결하지 않습니다. 캠페인을 텍스트 메시지에서 나타냅니다. 각 캠페인은 자신의 목소리가 있으며, 모델은 자신의 것을 강요하기보다는 그것을 따라야 합니다. 만약 톤이 잘못되면, 기본 모델이 얼마나 똑똑하든 상관없이 상호작용은 실패합니다.

또한 벤치마크가 놓치는 능력이 있습니다. 캠페인은 에이전트에게 무엇을 말해야 하는지, 무엇을 피해야 하는지, 특정 주제를 어떻게 다루는지에 대한 자세한 지침을 줄 수 있습니다. 모델은 일관되게 지시를 따르지 않고 대화 중간에漂流하지 않도록 해야 합니다. 이러한 능력도 성격의 일부입니다. 모델이 훌륭하게 들리지만 지침을 따르지 않는다면, 실제 사람 앞에 두기에는 적합하지 않습니다.

그것이 성격이 엔터프라이즈 배포에서 실제 요소가 되는 이유입니다. 모델이 전반적으로 더 능력 있게 되면서, 원시 능력 격차는 좁혀집니다. 남은 것은 캐릭터입니다. 어떻게 커뮤니케이션하고, 선을 지키는지.

그것을 평가하는 방법은 리더보드가 아닙니다. 실제 사용 사례에서 모델을 테스트하고, 실제 콘텐츠로, 최종 사용자가 출력을 읽는 방식으로 출력을 읽는 것입니다. 우리는 모델을 실제로 처리할 교환과 동일한 교환을 통해 테스트하고, 대화가 느껴지는지 여부를 판단합니다. 그것은 벤치마크 점수보다 훨씬 더 많은 것을 말해줍니다.

당신의 팀은 주요 모델을 테스트하고, 작업에서 상당한 차이를 관찰했습니다. 오늘날의 주요 LLM의 강점과 약점에 대해 무엇을 배웠나요? 어떤 모델이 대화형 작업에 더 적합합니까?

우리가 배운 것은 단 하나의 최고 모델이 없다는 것입니다. 특정 작업을위한 최고 모델만 있습니다.

일부 모델은 지침을 정확하게 따르는 데 탁월합니다. 이는 시스템이 엄격한 경계 내에 머물도록하는 경우 중요합니다. 일부 모델은 자연스럽고 대화식 톤에 더 강합니다. 일부 모델은 더 빠르며, 이는 지연이 경험의 일부인 경우自己的 강점입니다. 다른 모델은 복잡한 요청을 통해推論하는 데 더 좋지만, 캐주얼한 교환에서僵硬하거나 응답하는 데 너무 오래 걸릴 수 있습니다.

대화형 작업을위한 모델의 경우, 헤드라인에서 항상 중요한 것은 아닙니다. 속도는 중요합니다. 일관성은 중요합니다. 언제 짧게해야 하는지 알기也是 중요합니다. 세 문단의 아름다운 답변을 작성하는 모델은 종종 한 문장의 올바른 답변을 주는 모델보다 나쁩니다.

이것은 리더보드에 나타나지 않습니다. 모델을 실제 작업에 투입하여 그것이 실제로 처리하는 방식을 관찰하여 알 수 있습니다.

많은 회사들이 단일 AI 제공업체에 의존하는 대신 다중 모델 전략을 채택하고 있습니다. 모델을 전환할 수 있는 시스템을 구축하는 장점은 무엇이며, 이를 가능하게 하기 위해 필요한 아키텍처 고려 사항은 무엇입니까?

주된 장점은 잠금이되지 않는다는 것입니다.

만약 당신이 모든 것을 하나의 제공업체 주위에 구축한다면, 당신은 그들의 제약을 모두 물려받습니다. 그들의 가격, 그들의 속도 제한, 그들의 지연, 그들의 중단, 그들의 릴리스 일정은 당신의 것이 됩니다. 다중 모델 접근 방식은 각 작업을 모델이 가장 잘 처리할 수 있는 모델로 라우팅할 수 있으며, 하나의 제공업체가 나쁨을 가진 경우에 가는 곳을 제공합니다.

또한 작업에 비용을 매칭할 수 있습니다. 모든 상호작용에 가장 강력하고 가장 비싼 모델이 필요하지 않습니다. 더 가벼운 모델에 단순한 작업을 보낼 수 있고, 어려운 경우에만 무거운 모델을 예약하면 실제로 차이가 납니다.

아키텍처는 이것을 가능하게 합니다. 주요 결정은 모델과 특정 모델 사이에 추상화 계층을 구축하는 것입니다. 시스템은 코드베이스 전체에서 하나의 제공업체의 API와 직접 통신해서는 안 됩니다. 자신의 내부 인터페이스와 통신해야 하며, 인터페이스는 실제로 요청을 처리하는 모델을 결정합니다.

한 번에 그것을 가지고 있다면, 라우팅 논리, 제공업체가 실패할 때의 폴백, 모델을 교체하지 않고 응용 프로그램을 다시 작성할 수 있는 능력을 추가할 수 있습니다. 또한 모델 간에 일관된 프롬프트 및 출력 처리가 필요합니다. 각 모델은 조금 다르게 행동하며, 시스템은 이러한 차이를 매끄럽게합니다.

그것은 초기에 더 많은 작업입니다. 그러나 그것은 나중에 추가하기가 매우 어려운 유연성을 사는 것입니다.

당신은 최근에 AI 모델이 어떻게 빠르게 진화하는지 강조했으며, 때때로 성능 특성이 예상치 못한 방식으로 변경됩니다. 기업은 최신 모델을 채택하고자 하는 욕구와 안정성, 신뢰성, 예측 가능한 성능의 필요성을 어떻게 균형잡을 수 있습니까?

진실한 대답은 새로운 모델이 기본적으로 업그레이드가 아니라는 것입니다.

새로운 릴리스는 흥미롭고, 최신 것을 즉시 채택하려는 실제 압력이 있습니다. 그러나 우리는 새로운 모델이 예상치 못한 방식으로 동작을 변경하는 것을 보았습니다. 신뢰할 수 있게 작동하는 것이突然 다른 방식으로 응답하기 시작하며, 프로덕션 시스템에서 이러한 작은 변경 사항이 합쳐집니다.

우리가 그것을 처리하는 방법은 간단합니다. 모델이 파이프라인에 들어가기 전에 우리는 그것을 직접 테스트합니다. 새로운 릴리스가 나올 때, 우리는 벤치마크나 발표를 그대로 받아들이지 않습니다. 우리는 그것을 실제로 처리할 교환과 동일한 교환을 통해 테스트하고, 출력을 직접 읽습니다.

그 手動 단계는 우리에게 선택이 아닙니다. 모델은 종이 위에서 더 나아보일 수 있지만, 실제 교환에서 우리가 프론트에 두기에는 편안하지 않은 방식으로 처리할 수 있습니다. 실제 교환과 시스템이 처리하는 것과 동일한 상황을 모델을 통해 테스트하고, 실제로 어떻게 응답하는지 보는唯一한 방법입니다.

추상화 계층은 여기서 또 한번 귀중한 역할을 합니다. 우리의 응용 프로그램이 특정 모델에 의존하지 않기 때문에, 새로운 릴리스를 가져와서 실제로 처리하는 교환과 비교하여 테스트할 수 있습니다. 그것이 기준을 통과하면, 우리는 전환합니다. 그렇지 않으면, 우리는 기다립니다.

할루시네이션은 엔터프라이즈 AI 채택의 가장 큰 장벽 중 하나입니다. 특히 모델이 대규모 데이터 세트와 복잡한 정보를 다룰 때 그렇습니다. 프로덕션 환경에서 할루시네이션을 줄이는 데 가장 효과적인 실제 기술은 무엇입니까?

우리가 발견한 가장 효과적인 기술은 모델이 알 수 있는 것을 제한하는 것입니다.

많은 할루시네이션이 모델이 자신의 일반 지식에서 답변을 요구할 때 발생합니다. 우리는 그 반대를 합니다. 우리의 AI는 캠페인이 제공한 정보에서만 작동합니다. 그것은 공개 인터넷에 접근할 수 없으며, 세계에 대한 모호한 기억에서 끌어오지 않습니다.

만약 답변은 제공된 정보에 없으면, 올바른 응답은 정보가 없다는 것을 말하는 것입니다. 이러한 단일 경계는 엄청난 양의 위험을 제거합니다.

우리는 거기에 멈추지 않습니다. 우리는 응답이 캠페인의 정보와 일치하는지 확인하기 위해 여러 가지 확인을 실시합니다. 모델이 응답을 생성한 후에도, 응답은 어디로도 가지 전에 캠페인의 정보와 교차 확인됩니다. 만약 무엇인가가 일치하지 않으면, 그것은 보내지지 않습니다.

그 이상으로, 실제 기술은 접지와 가드레일에 관한 것입니다. 모델에 필요한 작업을위한 특정, 관련 컨텍스트를 제공하고,巨大하고 차별화되지 않은 데이터의 덩어리를 제공하지 마십시오. 정보가 더 집중적일수록,漂流할 여지가 줄어듭니다.

우리는 또한 시스템이 할 수 있는 것과 말할 수 있는 것에 명확한 제한을 두며, 실제 대화를 모니터링하고, 모델을 신뢰하는 대신 출력을 관찰합니다. 규제된 공간에서, 즉 정치적 텍스트 메시지에서, 만들어진 답변은 책임이 있습니다. 따라서 우리는 시스템을 투명성을猜测보다 선호하도록 설계했습니다.

조직이 고객 지원, 커뮤니케이션, 마케팅, 운영에 걸쳐 AI 에이전트를 배포할 때, 팀이 반복적으로犯す 실수는 무엇입니까? 프로덕션 규모의 배포로 이동할 때?

제가 가장 많이 보는 실수는 팀이 에이전트가 작동하는지 테스트하지만, 깨질 수 있는지 테스트하지 않는다는 것입니다.

私は 수백 번이나 회사들이 AI 채팅봇을 출시하고, 하루 안에 누군가가 그것을 말하지 말아야 할 것을 말하게 만들거나, 스크립트에서 벗어나게 만들거나, 브랜드를 대표하는 방식으로 조작하는 것을 보았습니다. 그것은 테스트에서 잘 작동하지만, 프로덕션에서 실패합니다.

그것은 테스트에서 모든 사람이 잘 행동하기 때문입니다. 당신은 에이전트를 합리적인 사람들과 합리적인 질문으로 테스트하고, 그것은 훌륭하게 보입니다. 그러나 프로덕션은 반대입니다.何か가 공개되면, 사람들의 일부는 그것을 고의로 방해하려고합니다.

만약 당신이 그 적대적인 경우를 테스트하지 않았다면, 당신은 실제로 테스트하지 않았습니다. 당신은 시스템을 고의로 깨트려야 합니다. 그것을 밀어붙이고, 이상하고 적대적인 입력을 공급하고, 누군가가 고의로 반대할 때 그것이 경계를 지키는지 확인하십시오.

또 다른 반복되는 실수는 데모가 작동한다면 시스템이 작동한다고 가정하는 것입니다. 파일럿은 행복한 경로에서 몇 가지 교환을 보는 것입니다. 프로덕션은 수천 명의 사람들이 예상치 못한 방식으로 행동하는 것입니다. 에지 ケース는 일일적으로 발생하는 것입니다.

제 조언은 데모를 완벽하게 만드는 데 시간을 덜 쓰고, 그것을 자신이 깨트리려고 노력하는 데 더 많은 시간을 보내는 것입니다. 그것이 당신이 공격할 수 있다면, 그것은 공개적으로 살아남을 수 없습니다.

AI 에이전트는 인간 직원이 필요한 대화를 처리할 수 있는 능력이 점점 더 증가하고 있습니다. 다음 5년 동안 자동화와 인간 감시의 균형은 어떻게 될까요? 어떤 워크플로는 항상 인간이 포함되어야 합니까?

이것은 어려운 것입니다. 그리고私は 正確히 어디에 선이 있는지 알지 못합니다. 제가 생각하는 방식은, AI의 실제 가치는 力乘器라는 것입니다. 그것은 작은 그룹의 사람들이 혼자서 할 수 있는 것보다 훨씬 더 많은 것을 할 수 있게 해줍니다.

가장 많은 것을 얻는 팀은 이러한 도구를 정확히那样 사용하고 있습니다. AI는 볼륨과 반복을 처리하며, 사람들은 판단, 전략, 실제로 인간이 필요한 상황에 시간을 보냅니다. 그것은 사람들을 그림에서 제거하려고하는 것과는 매우 다른 목표입니다.

순수한 대체를 목표로 할 때, 기술을 실제로 잘하는 것보다 더 멀리 밀어붙이기 때문에, 기술은 보이는 방식으로 실패하며, 그것은 비용이 많이 듭니다. 목표가 사람들을 증가시키는 것이라면, AI가 잘하는 것을하고, 사람들을 가장 가치 있는 곳에 유지합니다. 두 번째 접근 방식은 더 잘 작동하며, 기술이 오늘날 실제로 어디에 있는지에 대해 더 정직합니다.

다음 5년 동안, 에이전트가 더 많은 규모의 대화 부담을 맡게 될 것으로 예상합니다. 그리고 그렇게해야 합니다. 그 작업에는 사람이看着해야 할 필요가 없습니다.

인간이 항상 참여해야 하는 워크플로는 높은 став카 또는真正로 새로운 상황을 포함하는 것입니다. 동의, 규정 준수 또는 돌아가기 어려운 결정과 관련된 모든 것. 사람들은 방향을 소유해야 하며, AI는 더 많은 영역을 커버하는 데 도움이 될 수 있습니다.

앞으로, 대화형 AI의 어떤 발전이 가장 흥미롭습니까? 모델이 더 능력 있게 되고, 멀티모달이고, 자율적으로 되는대로 Convos와 같은 플랫폼은 어떻게 진화할까요?

제가 가장 흥미롭게 생각하는 것은 대화가 계속 개선될 것입니다.

모델이 개선됨에 따라, 우리 플랫폼이 처리하는 교환은 재건할 필요없이 더 자연스럽고 유용해집니다. 우리는 모델을 전환할 수 있는 시스템을 설계했기 때문에, 이러한 개선 사항을 가져올 수 있습니다.

멀티모달은 제가 가장密接하게 관찰하는 발전입니다. 현재 대화는 텍스트입니다. 모델이 이미지 및 기타 형식을 더 잘 처리할 수 있게되면, 텍스트 메시지가 작동하는 즉각성과 교환을 더 풍부하게 만들 기회가 있습니다.

자율성에 관해서는 나는 낙관적이지만, 주의합니다. 더 능력 있는 에이전트가 매월 출시되고 있으며, 많은 것을 혼자서 처리할 수 있습니다. 그러나 규제된 공간에서는 더 많은 자율성이 더 많은 규율을 의미해야 합니다. 경계는 능력이 증가함에 따라 더 중요해집니다.

나는 빈 공간으로 텍스트를 보낸 사람으로서 시작했습니다. 그리고 아무 것도 돌아오지 않았습니다. 그것은 여전히 내가 가장关心하는 문제입니다. 모델이 얼마나 능력 있게되는지에 관계없이, 내가 돌아오는 것은 간단합니다. 다른 쪽에 있는 사람이 들렸는가?

훌륭한 인터뷰에 감사합니다. 더 많은 것을 배우고 싶은 독자는 Convos를 방문해야 합니다.