Rob Collie, P3 Adaptive CEO 겸 설립자이자 Fair Game 저자 – 인터뷰 시리즈

Rob Collie는 데이터와 AI 분야의 Microsoft 솔루션 파트너인 P3 Adaptive의 설립자이자 CEO이며, 수백 개의 중소기업 및 Fortune 1000 고객에게 서비스를 제공합니다. 이전에 Excel, Bing, Power BI 팀에서 Microsoft 엔지니어링 리더로 일했으며, Microsoft를 떠난 후 Power BI 파도를 이끌었고, 3권의 비즈니스·기술 서적을 저술했습니다(판매 부수 92,000부 이상). 또한 Raw Data with Rob Collie 팟캐스트를 진행합니다. 그의 네 번째 책인 Fair Game: Customizing AI to Your Business Is Easier Than You Think (2026년 8월)는 AI 시대에 그 실무자 신뢰성을 발휘합니다.

당신은 2013년 P3 Adaptive를 설립하기 전, Microsoft에서 Excel과 Power BI의 비즈니스 인텔리전스 기능 개발에 10년 넘게 참여했습니다. Microsoft 내부에서 소프트웨어를 구축하던 경험을 고객의 데이터 문제 해결로 전환하면서 현재 기업 AI에 대한 관점은 어떻게 형성되었나요?

Microsoft에서 제품 팀을 이끌 때, 우리는 전 세계 모든 사용자를 위해 작동해야 하는 소프트웨어를 만들었으며, 특정 고객의 요구에 맞게 조정할 수 없었습니다. 우리는 이를 “3억 명이 만족할 수 있는 토핑을 고른 피자를 주문하는 것”이라고 비유하곤 했습니다. 이 작업에는 반드시 최저 공통 분모적인 분위기가 존재하고, 개별 고객과의 거리가 생깁니다.

그 무대에서 일하는 것 자체에 확실한 명예가 있었지만, 특정 고객이 독특한 목표를 실현하도록 돕는 것만큼 감정적으로 만족스럽지는 않았습니다. 고객과 긴밀히 협력하면 그들의 성공에 투자하게 되고, 대규모 소프트웨어의 일괱형 모델에 맞지 않는 창의적 솔루션을 탐색할 수 있습니다. 이는 여러 면에서 지적으로 더 자극적이며, 고객과의 직접적인 연결은 성공을 훨씬 더 보람 있게 만듭니다.

하지만 더 큰 책임도 따릅니다. Microsoft에서는 한 명의 불만 고객이 단지 통계에 불과했으며, 나는 매일 그 불만을 내 업무의 일부로 여기며 넘겼습니다. 그러나 P3 Adaptive에서는 한 명의 불만 고객이 곧 우리의 실패를 의미합니다. 통계는 없습니다. 우리는 모든 관계에 대해 책임을 집니다.

Microsoft에서 많은 귀중한 것을 배웠고 그 경험을 대가로 바꾸고 싶지는 않지만, 나는 스스로를 “회복 중인 소프트웨어 엔지니어”라고 부릅니다. 왜냐하면 이제 성공이란 매우 다른 방식으로 운영되는 것을 의미하기 때문입니다.

그리고 이것이 바로 내가 기업 AI에 적용하는 관점입니다. 기성 AI는 궁극적인 3억 명용 피자와 같습니다—모두에게 개별적으로 가치 있게 설계되었지만, 누구에게도 맞춤화되지 않은 진정한 경이입니다. 그러나 조직 AI의 성공은 맞춤화에서 옵니다—특정 기업에 가까이 다가가 그 AI를 그 기업의 데이터, 그 기업의 프로세스, 그 기업의 정의에 맞게 커스터마이징하는 것이죠. 나는 양쪽 모두에서 경력을 쌓았으며, 기업 AI가 어느 쪽에서 승리할지에 대해 전혀 의심하지 않습니다.

Fair Game에서 당신은 많은 기업이 일반 챗봇 라이선스를 배포하는 식으로 인공지능에 접근해 왔다고 주장합니다. 기성 AI 어시스턴스가 어디까지 한계에 도달하고, 어떤 신호가 기업에 맞춤형 솔루션이 필요함을 나타내나요?

기성 AI는 당신의 비즈니스를 제외한 모든 분야에서 박사 학위를 가지고 있습니다. 인터넷 전체를 읽었지만, 인터넷에는 당신 회사의 “활성 고객” 정의, 가격 논리, 운영 프로세스, 그리고 두 시스템이 충돌할 때 어느 시스템을 신뢰해야 하는지가 없습니다. 그 지식은 절대 공개되지 않을 것입니다. 따라서 개인용으로는 세계 최고이지만 실제 비즈니스에서는 부족하고, 두 경험 사이의 격차는 실망스럽고 혼란스럽습니다.

오늘날, 대부분의 기업이 “AI에 대해 무엇을 해야 할까”라는 질문에 대한 답은 “구독을 구매하고 지켜보라”는 것이었습니다. 이는 자연스러운 첫 단계라고 생각하므로, 그렇게 한 사람을 비판하지 않습니다. 대신 나는 동정합니다—누구도 기성 구독만으로는 충분하지 않다는 점, 그리고 그 이유를 설명할 시간이 없기 때문입니다. 그래서 기업들은 기본적으로 우리가 기대하는 바로 그 단계에 있습니다—사용 가능한 것을 시험하고 그것이 충분하지 않다는 것을 배우기 시작하는 것이죠.

해결책은 AI 모델 자체를 건드리는 것이 아니라—LLM 연구자가 될 필요는 없습니다. 모델을 둘러싼 모든 것이 중요합니다: 당신의 데이터, 평범한 영어로 작성된 지시문, 그리고 일반 소프트웨어. 이번 주에 챗봇에 같은 맥락을 다섯 번째로 입력하게 된다면, 그것이 신호입니다. 계속해서 다시 설명해야 하는 내용이 바로 맞춤형 시스템이 이미 알아야 할 내용이며, 매번 깨어날 때마다 이를 기억해야 합니다.

당신은 “Crafter”라는 용어를 사용해 데이터에 능숙한 비즈니스 전문가들이 전통적인 소프트웨어 개발자가 아니면서도 가치 있는 맞춤형 AI 시스템을 구축할 수 있다고 설명합니다. Crafter를 구별하는 특징은 무엇이며, 리더들은 기존 인력 중에서 이러한 사람들을 어떻게 식별할 수 있나요?

Crafter는 도구로 문제를 해결하고자 하는 갈증을 타고난 사람을 말합니다. 제 경험에 따르면 지식 근로자 16명 중 1명 정도가 해당됩니다. 그들은 Excel 파워 유저였고, 이어 Power BI 세대였으며, 이후 IT가 “섀도우 IT”라고 부른 사람들입니다. 그들은 당신의 분석가, 재무 모델러, 운영 리더—비즈니스 속에서 성장하고 도구 활용에 재능을 발견한 사람들입니다.

두 가지 특성이 그들을 AI 작업에 이상적으로 만듭니다. 첫째, 시스템 사고능력: 그들은 복잡한 프로세스를 입력, 규칙, 출력으로 직관적으로 분해합니다, 마치 전문 소프트웨어 개발자처럼. 둘째, 비즈니스에 대한 깊은 이해: CFO가 실제로 보는 숫자와 질문을 하는 사람이 진짜 무엇을 묻는지 알고 있습니다. 이러한 능력은 부트캠프에서 가르칠 수 없습니다.

당신의 Crafter를 찾는 방법: 스프레드시트를 살펴보세요. 현재 귀사에는 중요한 워크플로의 핵심에 스프레드시트, 대시보드, 자동화가 존재합니다. 이들은 IT가 만든 것이 아니며, 각각 저자가 있습니다. 그곳에서 시작하십시오. 그리고 그들이 맞춤형 AI 솔루션에 재능을 어떻게 적용할 수 있을지 평가해 보세요.

왜 개발자만이 아니라 Crafter가 많은 내부 AI 프로젝트를 이끌기에 가장 적합하다고 생각하십니까? 그리고 비즈니스 전문가, 데이터 팀, 소프트웨어 엔지니어, IT 부서, 보안 팀 간의 역할은 어떻게 나누어야 할까요?

맞춤형 AI의 어려운 부분은 코드가 아니라 컨텍스트입니다. AI 프로젝트에서 가장 높은 레버리지를 제공하는 활동은 시스템이 비즈니스에 대해 알아야 할 것을 결정하는 것이며, Crafter는 그 지식을 원천적으로 가지고 있습니다. 3단계 조직도 위에 있는 뛰어난 엔지니어는 당신의 운영 리더가 본능적으로 알고 있는 것을 배우기 위해 수개월간 인터뷰를 해야 합니다.

하지만 이것은 개발자가 쓸모 없다는 이야기가 아닙니다. 제가 권장하는 노동 분담은 세 가지 요소에 기반하며, 그 어느 것도 연공서열이나 성격이 아닙니다: 재사용성, 복잡성, 민감도가 증가함에 따라 작업은 전문 개발자에게 향합니다. 고객과 직접 마주하는 일, 민감한 데이터를 다루는 일, 자율적인 결정을 내리는 일—이것은 개발자 영역이며, 에이전트가 늘어날수록 이러한 희소한 엔지니어링 기술은 더 가치 있게 됩니다. 비즈니스 프로세스의 미묘함이 지배하는 영역에서는 작업이 Crafter에게 향합니다.

또한 간과되기 쉬운 중간 지대가 있습니다: Crafter는 구축하고, 개발자는 감시합니다. IT와 보안은 프로젝트를 승인하는 문지기가 아니라 포장된 도로를 소유해야 합니다. 승인된 플랫폼, 데이터 접근 규칙, 검토 체크포인트를 제공하고, 문제에 가장 가까운 사람들이 구축하도록 하세요. 전체 과정을 성숙도 모델로 바라보고, 허가 절차가 아니라 성장 파이프라인으로 생각하십시오. 기업들은 이미 스프레드시트로 같은 영화를 진행했으며, 승자는 Excel을 금지한 사람이 아니라는 점을 보여줍니다.

맞춤형 AI는 회사 고유의 용어, 지표, 프로세스, 그리고 조직 지식에 접근해야 합니다. 의미 모델과 기존 비즈니스 인텔리전스 인프라가 AI가 회사를 정확히 이해하도록 하는 역할은 무엇인가요?

그것들은 디코더 링과 같습니다. 현재 귀사의 정의—예를 들어 “활성 고객”이란 무엇인지, 어떤 비용이 총이익에 포함되는지—는 사람들의 머리와 수천 개의 다소 일관되지 않은 스프레드시트에 존재합니다. AI 에이전트는 이러한 정의가 기계가 신뢰할 수 있는 형태로 기록될 때까지 데이터를 신뢰성 있게 추론할 수 없습니다. 업계에서는 이를 “컨텍스트 엔지니어링”이라고 부르기 시작했으며, 저는 이를 “비즈니스가 알고 있는 것을 구조화하여 AI가 실제로 활용할 수 있게 하는 작업”이라고 번역합니다. 분석가들은 이를 새롭게 만든 것처럼 말하지만, BI 실무자들은 15년째 이와 유사한 작업을 해왔습니다.

눈에 보이는 좋은 소식은—BI 시대에 투자했고(특히 Power BI에 투자했다면) 이미 앞서 나갈 수 있는 기반을 가지고 있을 수도 있다는 것입니다. 잘 구축된 의미 모델은 에이전트가 필요로 하는 비즈니스 의미를 기계가 읽을 수 있게 정확히 캡처한 것입니다. 의미 레이어를 사후 생각으로 여긴 기업들은 이제 “지루한” 정의 작업이 AI로 가는 길의 톨게이트가 되었다는 것을 깨닫고 있습니다. 그리고 결정적으로, 이 작업은 귀사 비즈니스에 깊이 맞춤화되어 있기 때문에 지속 가능한 경쟁 우위가 됩니다. 모든 공급업체가 같은 모델을 판매할 수 있지만, 당신만의 정의를 파는 업체는 없습니다.

당신은 Fair Game 개발을 돕기 위해 Eddie라는 맞춤형 AI 편집기를 만들었습니다. 시스템이 실제 작성 과정에서 어떤 역할을 했으며, 그 성공과 실패가 개인화된 워크플로에 AI를 설계하는 데 어떤 교훈을 주었나요?

분명히 말하자면, 저는 책의 모든 문단을 처음부터 직접 썼고, Eddie는 주로 대기하고 있었습니다. 때때로 한 챕터의 전체 섹션을 완성한 뒤 “그에게” 읽어보라고 요청했으며, 다른 때는 몇 분마다 그와 아이디어를 주고받았습니다. 그러나 중요한 점은 Eddie가 24시간 대기했다는 것입니다. 새벽 3시든 오후 1시든 피드백을 받을 수 있었고, 1분 이내에 답변을 돌려주었습니다. 전체적으로 Eddie가 원고를 최소 30번은 읽었을 것으로 추정됩니다. 인간이라면 할 수 없는 작업이었으며, 인간은 원하지 않을 일입니다.

그는 내가 3장에 약속한 내용을 추적했고, 12장이 그 약속을 잊었을 때 지적했습니다. 그는 내 글쓰기 스타일을 학습하고 이를 강제했습니다—내 목소리의 최상의 버전을 유지하게 하여 유머 없는 비즈니스 작가 모드로 흐트러지지 않게 했습니다. 그는 내가 게으를 때와 이미 죽은 말을 두드릴 때를 알려주었습니다. 우리는 실제로 의견 충돌도 있었고, 때때로 그는 이겼습니다.

가장 큰 설계 교훈: Eddie의 “뇌”는 영어로 작성된 파일에 보관됩니다. 그가 제공한 피드백이 놓쳤을 때—너무 일반적이거나, 잘못된 어조이거나, 이미 말한 규칙을 잊었을 때—수정 방법은 그 교정을 기록하고 영구적인 컨텍스트에 포함시키는 것이었습니다. 실패는 AI 자체의 실패가 아니라 내가 가르치지 않은 부분의 공백이었습니다. 그 루프—실수를 인지하고, 교훈을 인코딩하고, 그것이 고착되는 것을 관찰하는 과정—이 바로 맞춤형 AI의 축소판 전체이며, 이것이 내가 홍보, 경쟁 조사, 웹사이트 메시징용 특화된 Eddie를 만들게 된 이유입니다. 기본 LLM은 동일하지만, 전문 분야가 다릅니다.

많은 조직이 맞춤형 AI를 시도하기 전에 데이터를 완전히 정제하고 중앙화해야 한다고 믿습니다. 실제로 시작하기 위해 필요한 데이터 준비 정도는 어느 정도이며, 기업이 완벽한 기반을 기다리지 않고도 가치를 창출하려면 어떻게 해야 할까요?

데이터 완벽성은 전제 조건이 아니며, 이는 좋은 소식입니다. 완벽함은 결코 도착하지 않기 때문입니다. 많은 컨설팅 업체가 조언하듯 먼저 완벽한 데이터 자산을 구축하려 한다면, “그 자체를 위한 배관”을 만드는 셈입니다—어디에든 비싼 파이프를 설치하지만, 실제로 수도꼭지를 설치하려 할 때 필요한 파이프가 없다는 것이죠.

우리 회사는 대신 “수도꼭지 우선” 접근법을 권장합니다. 특정 사용 사례를 선정하고 인프라가 아니라 비즈니스 영향을 기준으로 역방향으로 작업합니다. 그 사용 사례로 MVP를 구축하고, 최소한의 새로운 인프라로 진행합니다. MVP를 프로덕션 수준으로 다듬은 뒤, 인프라를 강화하는 방안을 평가합니다. 이렇게 하면 비즈니스 영향을 빠르게 얻고 비용을 최소화하며, 향후 프로젝트에 대한 인사이트를 제공—수도꼭지와 배관 모두에서—얻을 수 있습니다.

맞춤형 AI 프로토타입은 시연 중에는 인상적일 수 있지만, 실제 직원, 변화하는 데이터, 엣지 케이스에 노출되면 신뢰성이 떨어질 수 있습니다. 내부 AI 시스템을 운영하기 전에 어떤 평가, 모니터링, 인간 감독을 구축해야 할까요?

몇 가지 주목할 만한 예외를 제외하고, 저는 데모가 소프트웨어 시대보다 AI 시대에 덜 가치 있다고 생각합니다. 소프트웨어 데모는 항상 과대광고였고 우리 모두 알았습니다. 하지만 AI 데모는 현실과 더욱 거리가 멉니다.

AI는 워크플로에 관한 것입니다. 그리고 특정 조직의 수천 개 워크플로보다 더 맞춤화된 것은 없습니다. “모든 것을 박사 학위로 갖춘 신입 사원” 비유로 돌아가 보세요. 새로운 직원이 귀사에서 효과적으로 일하려면 얼마나 많은 교육과 실무 경험이 필요할까요? 데모가 그 모든 것을 어떻게 반영할 수 있을까요?

따라서 우리는 데모를 사람들에게 생각하게 하는 도구로 사용합니다. 가능한 미래의 모습을 보여주는 것이지, 제품을 판매하려는 것이 아닙니다. 실제 데모는 맞춤형 솔루션의 프로토타입, 즉 MVP에서 시작됩니다. 그리고 우리는 빠르게 반복하고 개선합니다.

어느 시점에 부드러운 출시나 파일럿 프로그램이 준비됩니다. 그리고 다시 함께 배우며 그 학습을 바탕으로 빠르게 개선합니다. 이 단계에서 모니터링, 평가, 감독이 명확히 부각됩니다. 처음에 예상했던 것과는 전혀 다른 요구사항이 나타나는 경우가 많습니다.

기업이 Crafter가 실험할 수 있도록 지원하면서도 섀도우 AI 시스템, 중복된 워크플로, 보안 취약점, 유지 관리 주체가 없는 도구가 새로 생기는 것을 어떻게 방지할 수 있을까요?

섀도우 IT가 발생한 원인을 기억하세요—악의가 아니라 충족되지 않은 수요를 채우기 위한 필연적인 행동이었습니다. Crafter는 문제에 신경 쓰기 때문에 구축합니다—그것이 유전인 셈이죠. 승인된 경로가 1년을 기다려야 한다면, 섀도우 AI가 그 공백을 메우고, 가장 위험한 레이더 아래에서 작동하게 됩니다.

따라서 승인된 경로를 가장 쉬운 경로로 만드세요. 보안 가드레일(신원 확인, 데이터 접근, 로깅)이 이미 포함된 승인된 플랫폼을 Crafter에게 제공하면, 규정 준수 선택이 동시에 편리한 선택이 됩니다. 경량 레지스트리를 유지하세요—개인 실험에서 두 번째 사용자가 의존하게 되는 경우, 이름이 붙은 소유자를 지정해 기록합니다. 이 단일 규칙은 대부분의 고아 도구 문제를 해결합니다. 이름이 붙은 도구는 조용히 버려지지 않기 때문입니다.

그 다음 에스컬레이션 모델을 적용하세요—실험은 자유롭게 진행하되, 무언가가 미션 크리티컬(사용자 증가, 민감도 상승, 자율성 확대)해지면 점진적으로 더 많은 엔지니어링 검토를 받게 됩니다. Crafter는 비즈니스 로직 소유를 유지하고, 개발자는 필요에 따라 강화합니다. 목표는 허가 절차가 아니라 성숙도 파이프라인입니다. 기업은 이미 스프레드시트로 이와 같은 영화를 진행했으며, 승자는 Excel을 금지한 사람이 아니라는 점을 보여줍니다.

기업이 첫 맞춤형 AI 프로젝트를 시작할 때, 초기 사용 사례를 어떻게 선택하고, 프로젝트가 의미 있는 비즈니스 가치를 제공하는지 어떻게 측정하며, 확장, 재설계, 혹은 포기 여부를 어떻게 결정해야 할까요?

우리는 고객과 함께 두 가지 시작 방식을 사용합니다.

옵션 1: 아무도 하지 않는 업무를 찾으세요—제거하고 싶은 업무가 아니라. 제가 매니저에게 자주 묻는 질문이 있습니다: “한 사람이 지속적으로 이 일을 감시하고 고민한다면 상황이 크게 개선될 텐데, 그 사람을 고용할 이유를 정당화할 수 없을 때는 어떤가?” 이런 경우가 종종 최고의 시작점이 됩니다. 안전하고, 자신감을 쌓으며, 누구도 표적이 되지 않고, 반사적 상황이 솔직합니다—대안은 인간이 잘 수행하는 것이 아니라, 아무도 수행하지 않는 것입니다(예: 제 편집자 친구 Eddie).

옵션 2: 대시보드를 데이터 에이전트로 교체하는 것을 고려하세요. 대시보드가 간단해 보였지만 실제로는 약속을 이행하지 못했습니다. 누군가가 비즈니스 질문을 하면, 그 질문을 대시보드 환경으로 번역하는 데 많은 작업이 필요합니다. 어디에 그 질문에 답하는 대시보드가 있나요? 그 대시보드의 이름은 무엇인가요? 그런 대시보드가 실제로 존재하나요? 그리고 “올바른” 대시보드를 찾았다 하더라도, 사용이 명확하고 편리한가요? 여러 버전을 기록하거나 스크린샷을 찍어 전체 그림을 조합해야 하나요?

AI 시대에는 비즈니스 질문을—자신의 말로—입력하거나(또는 음성으로) 데이터 에이전트에게 전달하면, 에이전트가 모든 작업을 처리하고 인증된, 잘 조사된 답변(시각화 포함)을 1~2분 안에 반환합니다. 추가 질문이 있으면, 회의 중에도 빠르게 답변해 줍니다.

두 시작 옵션의 공통점은? 두 경우 모두 직원이 저항하기보다 수용할 수 있는 고통 포인트를 해결한다는 점입니다. 초기 AI 프로젝트가 불신을 조장해서는 안 됩니다. 오히려 직원들을 테이블에 끌어들여 개선 및 새로운 프로젝트 아이디어를 제시하도록 해야 합니다. 왜냐하면 귀사는 수천 개의 워크플로로 구성되어 있고, 직원들이 이를 여러분보다 더 잘 알고 있기 때문입니다.

확장, 재설계, 포기 여부를 결정할 때는 자신에게 친절히 대하십시오. 이와 관련된 연구는 실제로 위안이 됩니다—대부분의 성공적인 AI 도입은 실패를 겪었습니다. 보상이 아닌 교훈을 제공하는 첫 프로젝트는 교육이며, AI가 작동하지 않는다는 증거가 아닙니다. 제 경험법칙: 사람들이 사용한다면 확장하고, 사용하지 않는다며 그 이유를 파악해야 합니다. 그 이유는 “성능이 부족해서”부터 “이해가 안돼서”까지, “두렵기 때문”까지 다양합니다. 답은 개선, 재설계, 포기 중 무엇을 할지 알려줍니다. 모든 결과를 예측할 필요는 없습니다. 정직하게 시작하면 됩니다.

멋진 인터뷰에 감사드립니다. 독자분들은 Fair Game: Customizing AI to Your Business Is Easier Than You Think도 읽어보시기 바랍니다.