Deon Nicholas, Forethought의 공동 창립자 및 CEO – 인터뷰 시리즈

디온 니컬러스는 Forethought의 공동 창업자 겸 CEO입니다. 이전에는 Facebook (META ), Palantir (PLTR ), Dropbox (DBX ), Pure Storage에서 제품과 인프라를 개발했습니다. 머신러닝 논문과 인프라 특허를 보유하고 있으며 ACM 국제 대학생 프로그래밍 대회 세계 결선에 진출했고 Forbes 30 Under 30에 선정됐습니다. 캐나다 출신인 디온은 아내와 아들과 시간을 보내고 농구를 하며 가능한 한 많은 책을 읽는 것을 좋아합니다.

기업용 AI 및 머신러닝 플랫폼 Forethought는 고객 지원에 초점을 맞추며 시작했습니다. 이 회사의 AI는 내부 문서, 이메일, 채팅, 과거 지원 요청에서 학습해 요청을 자동으로 해결하거나 적절한 곳으로 전달하고 관련성이 높은 조직 내 지식을 빠르게 찾아낼 수 있습니다.

우리는 앨버타주 에드먼턴에서 열린 2023년 연례 AI 콘퍼런스 Upper Bound에서 디온을 만났습니다. 이 행사는 Amii, 즉 앨버타 머신 인텔리전스 연구소가 주최합니다.

디온과의 두 번째 인터뷰입니다.첫 인터뷰에서는 그의 과거와 AI를 시작한 계기를 다뤘고, 이번에는 미래에 대한 비전에 집중했습니다.

Forethought가 어떤 회사인지 간단히 소개해 주시겠어요?

Forethought는 고객 지원을 위한 생성형 AI 회사입니다. 2018년 TechCrunch Disrupt에서 서비스를 선보였고 이후 Instacart 같은 대기업의 지원 업무를 돕는 회사로 성장했습니다. 고객 지원 요청 데이터 위에 지능 계층을 제공하는 것이 기본입니다. 이를 통해 더 똑똑한 챗봇부터 상담원 지원까지 구현하며, 오늘날에는 생성형 AI를 활용합니다.

생성형 AI로 전환한 것은 언제인가요?

흥미롭게도 설립 초기부터 어떤 형태로든 생성형 AI를 활용해 왔습니다. 물론 당시 기술은 지금만큼 강력하지 않았습니다. GPT-2는 제 기억에 2018년이나 2019년에 오픈소스로 나왔고 T5 같은 모델도 있었습니다. 여러 대규모 언어 모델을 시험하고 자체 모델도 개발했습니다. 예전에는 제한적으로 쓰면 장점을 주는 기능이었다면 최근 6개월 동안은 사업 모델과 이를 구동하는 엔진 자체를 바꾸는 근본적인 변화가 됐습니다.

우리도 최근 몇 달간 엔진을 다시 생각해야 했습니다. 올해, 즉 2023년 3월에 SupportGPT를 출시했습니다. OpenAI의 GPT 같은 대규모 언어 모델을 활용해 전체 방식을 재설계한 것입니다. 반드시 새 제품이라기보다 모든 제품을 구동하는 새 엔진이며 기술 스택 전반에 많은 개선을 가져왔습니다.

SupportGPT를 도입하려는 회사는 어떻게 시작하나요?

SupportGPT는 제품 안에 들어 있습니다. 항상 고객의 데이터에서 시작하며 이것이 우리의 차별점입니다. 대부분의 솔루션은 빈 상태에서 시작해 규칙을 직접 코딩해야 합니다. Forethought에서는 연동부터 시작합니다. Zendesk나 Salesforce Service Cloud 같은 헬프데스크 또는 CRM을 쓴다면 가입한 뒤 자사 지원 센터에 우리의 연동 기능을 설치하면 됩니다. 그러면 색인 작성, 학습, 미세 조정 등이 시작되고 모델과 엔진이 만들어집니다. 이후 제품을 설정하고 편집하고 배포할 수 있습니다. 가장 인기 있는 Solve는 웹사이트의 챗봇처럼 작동하거나 이메일 등 다양한 형태로 존재하는 AI 에이전트입니다. SupportGPT 엔진을 사용해 고객과 자동으로 대화하고 답하며, 말하자면 웹사이트용 ChatGPT입니다.

하지만 자동화가 처리하는 문제는, 예를 들면, 50%입니다. 여전히 사람이 필요한 문제는 어떻게 할까요? 두 번째 제품 Triage가 요청을 분류하고 태그를 붙여 적절한 시점과 채널을 통해 알맞은 상담원에게 전달합니다. Assist는 상담원의 보조 도구로, 고객 지원팀을 위한 내부용 GPT입니다. 가장 최근 제품이자 여러 면에서 가장 강력한 Discover는 유용한 통찰을 찾고 생성형 AI를 이용해 기업이 무엇을 업데이트하거나 바꿔야 할지 추천합니다.

생성형 AI에 크게 의존하는 만큼 환각이 문제가 되지는 않나요?

그렇습니다. 환각은 생성형 AI를 실무에 활용할 때 가장 큰 문제 중 하나입니다. 이 주제로 LinkedIn에 올린 영상이 꽤 퍼지기도 했습니다. 사람이 검토하거나 창의적인 용도라면 문제가 아닐 때도 있습니다. 예를 들어 마케팅 광고 문구나 블로그 글을 만들고 마지막에 누군가 편집한다면 약간의 상상은 창의성의 한 형태입니다. 하지만 금융, 의료, 고객 지원에서 건강이나 재산, 생계가 걸려 있거나 정확한 답이 필요하다면 환각은 매우 큰 문제이며 제약입니다. 우리가 유리했던 이유는 약 5년간 생성형 AI의 한 형태를 이미 활용해 왔기 때문입니다.

우리 모델은 처음부터 정확성, 정책과 업무 흐름의 이해에 집중했습니다. 환불 요청이 30일 이내라면 환불할 수 있지만 그 이후라면 안 된다는 식입니다. 이런 체계는 이미 구축돼 있었습니다. 새로운 대규모 언어 모델을 도입할 때 그 모델의 인간다운 표현과 Forethought 모델이 제공하는 실제 정보 및 정확성이 잘 맞는다는 사실을 발견했습니다. 프롬프트 설계와 미세 조정으로 이 정확성을 활용해 환각을 줄일 수 있습니다. 완전히 없애지는 못하지만 충분히 효과적으로 작동할 수준까지 최소화합니다. 최종 목표는 환각이 인간의 실수보다 적게 발생하도록 하는 것입니다. 정확성이 인간과 비슷하다면 이미 매우 유리한 위치입니다.

우리는 2021년에 마지막으로 인터뷰했습니다. 이후 기업가로서 무엇을 배웠나요?

정말 세상이 완전히 바뀌었습니다. 인터뷰 직후인 2021년 말에 Steadfast Capital, NEA와 기네스 팰트로, 배런 데이비스, 로버트 다우니 주니어 같은 유명 인사들로부터 시리즈 C 투자 6,500만 달러를 유치했습니다. 우리의 비전에 큰 기대가 모였습니다. 이들은 생성형 AI가 유행하기 전에 가능성을 본 사람들이었습니다. 이미 잘되는 일을 더 성장시키는 흥미롭고 정신없는 시기였습니다. 하지만 약 6개월 뒤인 2022년 중반에 경기 침체가 왔습니다. 세상이 뒤집힌 셈입니다. 기업들이 지출을 줄였고 창업의 사업 모델도 무조건적인 성장에서 바뀌었습니다.

이전에는 큰 자금이 있으니 다음 투자 라운드까지 돈을 쓰며 성장하라는 분위기였습니다. 갑자기 투자자와 이사회가 돈은 공짜가 아니라고 말했습니다. 수익성이 있거나 적어도 효율적인 사업을 만들어야 했습니다. 합리적인 효율성을 유지하면서 최대한 성장해야 했던 것입니다. 한두 해, 경기 침체가 오면 세 해 동안 새 자금에 접근할 보장이 없었으니 모델이 거의 하룻밤 만에 바뀌었습니다. 구매자들은 지갑을 닫았습니다. 자체 효율성과 고객의 효율성을 높이는 데 집중해야 했습니다.

이 때문에 훨씬 더 집중하게 됐습니다. 우리는 원래도 가치를 제공했습니다. 상담원이 같은 시간에 더 많은 질문을 해결하면 비용이 줄고 고객 경험과 고객이 받는 관심이 좋아집니다. 그러나 이를 전달하는 영업 설명과 메시지, 제품의 초점을 더 명확히 해야 했습니다. 내부적으로도 효율성이 중요해졌습니다. 자금이 많으니 언제든 더 투자받으면 된다고 생각할 수 없었습니다. 다시는 자금을 조달하지 못해도 사업을 어떻게 만들지 고민해야 했습니다.

벤처 투자 시장이 다시 열릴 때까지 몇 년이 걸려도 괜찮습니다. 다만 시리즈 D 때 새 환경에서 성공을 보여 주는 지표를 갖추려면 매우 효율적인 회사를 만들어야 합니다. 해고도 있었고 모든 것이 바뀌었습니다. 2022년은 힘들었고 2023년에는 생성형 AI가 다시 주목받았습니다. 오르막과 내리막이 있습니다.

이 모든 것은 집중력과 회복력을 가르칩니다. 성공한다면 10년짜리 여정이며, 실패한다면 더 일찍 끝납니다. 부침을 받아들이면서 계속 최종 비전을 향해 만들고 있다는 사실을 기억해야 합니다.

고객 서비스와 다른 용도의 챗봇을 만들 때 가장 큰 어려움은 무엇인가요?

시간순으로 설명하겠습니다. 첫째는 기술적인 문제, 즉 모델이 작동하는가였습니다. 그래서 2017년부터 현대적인 자연어 이해 및 생성 엔진을 썼습니다. 연구의 최전선에 있으면서도 가치를 제공해야 했습니다. 초기에 고객들에게 이유를 묻자 문제가 엄청나며 해결하면 돈을 내겠다고 했습니다. 문제는 챗봇이 지금까지 제대로 작동한 적이 없다는 것이었습니다.

공식 출시 전인 2017년에는 이 시장에 들어가도 되는지 고민했습니다. 문제는 분명했지만 기존 해법은 작동하지 않았습니다. 계속 이유를 묻다 보니 우연이든 우리의 배경 때문이든 접근법이 크게 다르다는 것을 알았습니다. 사람들은 AI와 챗봇이라는 말을 알았지만 우리가 하는 일은 기존 방식과 달랐습니다. 이전에는 모두 의사결정 트리와 직접 코딩한 규칙에 의존했습니다. ”환불”이라는 단어가 보이면 환불하지만 ”돈을 돌려받고 싶어요”라고 하면 마법 같은 키워드가 없으므로 처리하지 못했습니다.

의사결정 트리와 규칙, 대화처럼 보이게 만드는 노코드 도구일 뿐 AI는 아니었습니다. 모든 챗봇이 이렇게 만들어진다는 사실조차 몰랐습니다. 우리는 다른 것을 원했고 사람들은 정말 가능한지 물었습니다. 이 차이를 아는 것이 중요했습니다. AI가 약 10년간 유행어였더라도 지금 생성형 AI에서 보는 현대적 형태의 기술과 몇 년 전부터 가능해진 기능은 이 분야에 적용되지 않았습니다. 여기서 많은 결과가 이어졌습니다.

시장에는 잡음이 많았습니다. 우리가 다르다고 말하면 다른 회사도 AI라고 한다는 답이 돌아왔습니다. 가치를 증명하는 데 많은 노력이 필요했습니다. 고객 시스템에 개념 증명을 구현하고 작동 및 학습 방식을 보여 주면 차이가 분명해졌습니다. 그렇게 고객과 그들의 로고를 얻었지만 매 단계마다 가치를 입증하는 느리고 고된 과정이었습니다. 시끄럽고 기존 해법은 나빴던 이 분야의 가장 큰 어려움이었을 것입니다.

돌이켜 보면 의사결정 트리가 안 될 것은 명백하지만 당시에는 그렇지 않았군요.

당시에는 명백하지 않았습니다. 또 그때 할 수 있는 최선이기도 했겠지요.

그것도 맞습니다.

사람들은 대화형 고객 지원과 AI를 혼동합니다. 둘은 많이 겹칩니다. ChatGPT는 좋은 대화 사례지만 이를 구동하는 GPT-3 엔진은 이전부터 있었고 그것이 AI였습니다. 대화를 개선하려면 그것이 필요했습니다. 과거에는 대화와 AI를 원했지만 대화는 미리 각본을 쓰는 방법으로만 구현할 수 있었습니다. 거대한 IVR, 즉 대화형 음성 응답 시스템이나 전화 메뉴를 채팅으로 옮긴 셈입니다. 여기에 AI라는 말을 붙였으니 대화는 얻었어도 AI는 아니었습니다. 차이가 명확하지 않았다기보다 다른 방법이 불가능했거나, 사람들이 그것이 가능하며 두 가지가 서로 다르다는 사실을 몰랐던 것입니다.

최근 팟캐스트에서 스스로 AI 낙관론자라고 소개했습니다. AI에 대해 낙관적인 이유는 무엇인가요?

몇 가지가 있습니다. 전반적으로 새로운 사업 모델이나 플랫폼 전환이 일어난다고 봅니다. 거대한 메인프레임에서 개인용 컴퓨터로, 인터넷으로, 데스크톱에서 클라우드로, 다시 모바일로 바뀐 것과 같습니다. 약 10년마다 새로운 변화가 생겨 사업 모델과 수조 달러 규모의 기업을 만듭니다. 예를 들어 2,000억 달러 규모의 Salesforce (CRM )는 클라우드 전환을 알아봤습니다. 자신들이 전환을 일으켰다고 주장할 수도 있겠지만, 이를 인식하고 데이터베이스와 기록 시스템을 Oracle이나 Siebel 같은 사내 설치 환경에서 클라우드로 옮겼습니다.

영업 담당자를 위한 기록 시스템을 만들어 큰돈을 벌고 상장해 거대 기업이 됐습니다. 고객 서비스와 마케팅에도 같은 일을 하며 2,000억 달러에 이르렀습니다. Salesforce를 우리 시대, 예를 들어 2030년에 만든다면 어떨지 생각합니다. 같은 일이 일어날 것입니다. 그래서 이 회사에서 일합니다. Forethought처럼 AI를 중심에 두는 회사가 다음 Salesforce가 되고 수조 달러의 기회를 만들 것이라고 믿습니다. 기업뿐 아니라 고객과 소비자에게도 멋진 일입니다. 휴대전화가 주머니에 슈퍼컴퓨터를 넣어 줬다면,

GPT는 슈퍼 두뇌를 넣어 줄 것입니다. 머리를 자르고 싶으면 내 AI가 미용실 AI와 이야기해 예약합니다. 모두 Forethought로 움직이면 좋겠지만 핵심은 일하는 방식이 완전히 달라진다는 것입니다. 경제 모델이 바뀝니다. 도입이 쉬운 혁신이라는 점에서 기회를 평등하게 만들기도 합니다. 전에는 사용법을 알려면 AI 박사 학위가 필요했지만 이제 우리 어머니도 ChatGPT를 씁니다. 더 많은 사람이 AI를 접하고 코딩이나 프롬프트 설계를 배우려 할 수 있습니다. 전문가 여부와 상관없이 기회를 넓혀 줍니다. 이런 경제적 기회가 저를 가장 낙관적으로 만듭니다.

범용 인공지능, AGI를 어떻게 전망하나요? 우리 생애에 볼 수 있을까요?

먼저 아무도 모른다고 하겠습니다. 아마 그것이 사실입니다. 안다고 주장하는 사람은 거짓말을 하는 것입니다. 하지만 충분한 발전을 보고 있습니다. 오늘날 이미 AGI가 존재할 수도 있습니다. GPT 같은 모델이 인간 두뇌만큼 똑똑하지 않다고 누가 단정할까요? 모르겠습니다. 그럴 수도 있지만 아마 아닐 것입니다. 아마 아니라는 답이 가장 유력합니다. 그런데 인간 두뇌에는 얼마, 1조 개의 뉴런이 있나요? GPT가 거기에 가까워지고 있습니다. 이런 시스템에 1조 개의 뉴런이 생기고 적절한 데이터로 학습하면 어떻게 될까요? 뇌는 진화로 발전했지만 어떤 의미에서 강화학습은 기계에 극도로 가속된 진화입니다.

이 기술들은 이미 존재하며 그런 미래를 상상하는 것이 더는 터무니없지 않습니다. 새로운 기술이 필요할 수도 있습니다. 트랜스포머와 순환 신경망도 나중에는 당연해 보이지만 직전에는 불가능해 보였던 발전이었습니다. 순환 신경망 이전에는 언어를 이렇게 다루지 못했고 트랜스포머가 이를 앞섰으며 이제는 생성형 사전 학습 트랜스포머, GPT가 있습니다. 연구가 더 필요할 수 있지만 성과가 너무 좋아 더는 억측으로 보이지 않습니다. 어떤 의미에서는 이미 도달했거나 재료가 있으니 조합만 찾으면 될 수도 있고, 앞으로 30~50년 안에 도달할 수도 있습니다.

그것에 대한 제 생각까지 물으셨는지 모르겠지만 위험도 있습니다. 아마 Tesla의 안드레이 카르파티였던 것 같은데, 누군가 AI를 원자력에 비유했습니다. 힘이 비슷한 수준입니다. 핵융합은 엄청난 에너지를 주어 지금 상상하지 못하는 일을, 에너지가 충분하다면 우주여행까지 가능하게 할 수 있습니다. 반면 핵폭탄과 핵무기 같은 어두운 면, 엄청난 파괴력도 있습니다.

사회가 찾은 최선의 방법은 그 힘을 가진 사람들이 적절한 사용을 위한 규칙을 서로 정하는 것이었습니다. AI도 비슷한 힘을 갖지만 디지털 세계에서 시작하므로, 예컨대 핵무기에 접근하지 않는 한 처음에는 덜 무섭게 느껴질 수 있습니다. AI가 발전하는 동시에 한계와 안전장치를 마련한다면, 실제로 그러고 있다고 생각하는데, 우리는 좋은 위치에 있습니다. GPT가 만든 가짜 뉴스를 잡으려면 GPT만큼 강력한 AI가 필요합니다. 낙관적이지만 동시에 안전을 위한 기술을 개발해야 한다는 뜻입니다.

독서를 좋아하신다고요. 좋은 책을 추천해 주시겠어요?

최근 읽은 책은 패트릭 렌시오니의 ”The Advantage”입니다. 회의부터 경영진의 방향 일치, 사명과 가치의 전달까지 건강한 조직을 만드는 방법을 다룹니다. Death by Meeting 같은 그의 다른 책 내용을 묶었습니다. 아마 마지막으로 읽은 책일 것입니다. 아이러니하게도 연구 논문은 읽지만 최근 AI 책은 읽지 못했습니다. ”Superhuman”이라는 책을 강하게 추천받아서 읽어야 합니다. 또 다른 비문학 책은 ”Good to Great”로, 제가 가장 좋아하는 경영서입니다. 소설로는 TV 시리즈로도 만들어진 The Expanse를 추천합니다.

TV 시리즈를 봤습니다.

보셨나요? 아마 Amazon Prime에 있을 겁니다. 단순한 공상과학을 넘어 과학적 현실감을 잘 보여 줘서 좋아합니다. 물론 허구도 많지만 우주여행을 한다면 세계와 정치가 어떻게 변할지 섬세하게 다룹니다. 사람들은 아마 그렇게 행동할 것입니다. 휴대전화에는 발전된 AGI가 있지만 아주 은근해서 이야기의 중심이 아닙니다. 그래서 언급하는 것입니다. 등장인물이 전화에 말하면 기기가 일을 시작하고 이야기가 이어지는 몇 시간 뒤에 끝냅니다. 사람에게 하듯 말한 뒤 자기 일을 계속하면 전화가 나중에 정보와 답을 가져옵니다.

우리 세계의 AGI도 이렇게 작동할 것 같습니다. 모두 전화나 나중에는 로봇 안에 자신의 아인슈타인, C-3PO, R2-D2를 갖게 됩니다. 아인슈타인의 지능으로 일을 하고 답하며 문제를 해결합니다. 모두에게 알베르트 아인슈타인이라는 친구, 인간만큼 또는 더 똑똑한 AGI가 있다면 더 많은 일을 할 수 있습니다. 사람들은 곧바로 모두 사악해지면 어떡하느냐고 묻습니다. 하지만 이미 인간 수준의 지능을 가진 존재가 80억 명 있습니다. 인간에게 결점이 많아도 지금의 사회와 문명을 만들 수 있었다는 것은 아름다운 일입니다.

기술 사용을 강조하는 Star Trek과 비교하면 흥미롭네요.

우리는 휴대전화 자체를 계속 이야기하지 않습니다. 하지만 100년 전 누군가에게 카타르에 있는 사람과 즉시 대화할 수 있다고 했다면 마법처럼 들렸을 것입니다. 오늘의 많은 일은 그 시대 사람에게 정말 마법이었을 것입니다.

Kindle도 100년 전에는 마법 같겠죠. 원하는 대로 바뀌는 책이니까요.

맞습니다. 원하는 대로 바뀌죠. Harry Potter에서 나온 것 같습니다. 저는 이 기술을 그렇게 봅니다. 전기나 인쇄술처럼 빠르게 바뀐 것들과 닮았습니다. 한동안 대단하고 놀랍지만 다음 세대는 삶의 당연한 일부로 여깁니다. AGI가 당연해지고 우리가 하는 모든 일에 들어 있는 세계를 상상해 보세요.

최근 트위터에 ”성공은 시작한 일의 수가 아니라 끝낸 일의 수로 측정하라”고 쓰셨습니다. 회사의 결승선은 어떤 모습인가요?

궁극적인 목표는 무엇일까요? 새로운 경제 모델 이야기로 돌아가면, Google (GOOGL )에는 모방하기 어려운 경쟁우위가 없다는 이야기가 흥미롭습니다. 문서가 유출돼 사람들이 당황했습니다. 저는 사실이라고 보지만 OpenAI에도 아마 그런 우위는 없습니다. 더 중요한 것은 앞으로 몇 달간 AI가 사업 모델을 흔드는 회사 이야기가 많이 나올 것이라는 점입니다. 고객 지원, 지원 플랫폼, CRM, 검색엔진 등 모든 곳에서 일어날 것입니다.

지금 많은 회사가 흐름에 올라타려고 합니다. 하지만 이 기술은 기존 사업을 뒤흔드는 만큼 발전시킬 수도 있습니다. 어떤 기업은 더 빨리 적응할 것이고, 이미 일정 규모를 갖춘 기업이 그렇지 않은 기업보다 더 빠르게 가속할 수도 있습니다.

항상 그런 것은 아닙니다. 작은 회사가 더 빠를 수도 있으니 확정된 규칙은 없습니다. 어떤 기존 기업은 느려서 대체되고, 어떤 작은 기업은 빠르게 움직이며, 다른 기업은 그 사이에 있을 것입니다. 우리는 사람과 기업 사이의 모든 접점을 더 빠르고 똑똑하게 만들 수 있습니다. 오늘은 고객 지원에 집중합니다. 문제가 있거나 질문할 때가 가장 흔한 접촉이기 때문입니다. 이미 연간 1억 건 이상의 지원 요청을 처리하며 이제 시작입니다. 나중에는 10억, 100억, 1조 건이 될 수도 있는데 이것은 고객 지원만의 이야기입니다.

같은 기술을 마케팅에도 적용할 수 있습니다. Forethought가 그 일을 하면 좋겠습니다. 왜 문제가 있을 때만 기업에 연락해야 할까요? 새 제품이나 서비스, 구매에 대해 알고 싶을 때는요? 고용주와의 접점도 같습니다. IT나 인사 관련 질문이 있나요? AI는 모든 접점을 바꿀 수 있습니다. 우리는 이 이야기의 일부, 미래를 가져오는 회사가 될 수 있습니다. 그것이 사명이며 최종 목표, 인간의 잠재력을 해방하는 일입니다. 모든 일이 빨라지고 효율적이 되면 시간과 에너지, 관심을 돌려받아 사랑하는 사람이나 자신에게 중요한 일에 쓸 수 있습니다. 인류가 한 단계 올라가는 것입니다.

이 기회가 있고 실현할 수 있다고 믿습니다. 사업적으로는 Salesforce처럼 수십억, 어쩌면 수백억이나 수천억 달러 규모의 회사가 될 수 있습니다. Salesforce가 2023년에 만들어졌다면 어땠을까요?

인터뷰 감사합니다. 더 알고 싶은 독자는 디온과의 첫 인터뷰를 읽거나 Forethought를 방문할 수 있습니다.