기업은 AI 스택에서 무엇을 직접 보유해야 할까?

AI 혁신의 다음 단계에서는 기업이 AI가 내리는 모든 결정에서 무엇을 배울 수 있는지, 그리고 그 학습 결과를 누가 소유하는지가 중요해질 것이다

AI를 둘러싼 논의는 한 가지 핵심 질문에 집중돼 왔다. 이 모델들은 무엇을 할 수 있을까? 모델의 성능을 벤치마크하고 시범 도입하며 감탄하던 실험 단계에서는 적절한 질문이었다. 하지만 지금 우리가 마주한 상황에는 더 이상 적절하지 않다.

이제 AI는 단순히 질문에 답하는 데 그치지 않고, 사업을 진전시키기 위해 업무를 수행하고 변화를 모니터링하며 결과물을 준비하고 주요 의사결정에 참여한다. 이 다음 단계, 즉 에이전트형 기업으로의 전환은 가속화되고 있다. IBM의 2026년 CEO 연구에 따르면 CEO들은 AI가 내리는 운영상 의사결정의 비중이 2030년까지 거의 두 배인 48%로 늘어날 것으로 예상한다. AI가 업무를 설명하는 데 그치지 않고 직접 수행하게 되면, 전략적 질문도 “이 모델은 무엇을 할 수 있을까?”에서 “AI가 결정을 내릴 때마다 우리 회사는 무엇을 배우며, 그 학습 결과는 누가 소유하는가?”로 바뀐다.

기업의 가치가 의사결정 하나하나를 거치며 축적된다면, AI 시대에 기업의 가장 중요한 자산은 조직이 모든 결정에서 배울 수 있게 하는 순환 구조다. 여기에는 결정의 배경이 된 맥락, 결정을 뒷받침한 근거, 그 결과, 그리고 이 요소들을 연결하는 패턴이 포함된다. 이 순환 구조를 직접 보유하면 결정이 거듭될수록 다음 결정은 더욱 정교해진다. 이를 놓치면 이점을 쌓지 못한 채 업무만 자동화하게 된다.

이렇게 관점을 바꾸기만 해도 진지하게 AI 아키텍처를 설계하는 기업이라면 거의 모든 것이 달라진다.

한 가지 모델에 회사를 거는 실수

일반적으로는 선도적인 모델 공급업체를 선택해 통합하고, 그 위에 모든 것을 구축하는 방식이 선호돼 왔다. 하지만 사람들이 흔히 드는 이유와는 다르지만, 나는 이것이 실수라고 생각한다.

흔히 제기되는 우려는 특정 공급업체에 종속될 가능성과 가격 협상력이다. 실제로 우려할 만한 문제지만 부차적이다. 더 근본적인 문제는 인센티브와 학습 결과가 어디로 흘러가는지에 있다. 모델 공급업체는 세계 최고의 범용 모델을 만드는 사업을 하며, 사용 사례를 통해 학습하는 것이 그 방법이다. 기업의 독점적인 의사결정, 데이터, 업무 흐름을 하나의 공급업체를 통해 처리하면, 회사가 생각하는 방식의 기록이라는 가장 차별화된 자산을 일반화하려는 동기를 가진 공급업체에 넘기는 셈이다. 그러면 기업의 경쟁 우위는 경쟁사도 구매할 수 있는 범용 상품의 투입 요소가 된다.

최첨단 기술은 변화 속도도 너무 빨라 어느 한 모델이 오랫동안 최고일 것이라고 믿고 투자하기 어렵다. 대신 올바른 아키텍처라면 기업이 각 업무를 해당 업무에 가장 적합한 모델이나 전문 에이전트에 배정할 수 있도록 하면서, 사업 운영 방식과 의사결정 방식을 포착하는 에이전트 하네스와 학습 루프는 직접 보유해야 한다. 모델은 바뀔 수 있지만, 이 독점적인 기반은 기업의 자산으로 남아 시간이 흐를수록 더 큰 가치를 창출한다.

이 독점적인 기반은 전략적 가치로도 측정될 수 있다. IBM의 연구에 따르면, 독점 데이터와 지식재산을 맞춤형 AI 모델과 에이전트에 반영하는 CEO들은 2030년 매출 중 현재 제공하지 않는 제품과 서비스에서 발생하는 비중이 13% 더 높을 것으로 예상했다.

모든 에이전트를 직접 만들 수는 없고, 그럴 필요도 없다

에이전트 하네스와 학습 루프, 라우팅을 직접 보유한다고 해서 그 위에서 작동하는 모든 에이전트를 직접 만들어야 하는 것은 아니다. 조직과 우선순위, 독점 데이터를 이해하는 핵심 기업 에이전트는 직접 만들고 소유해야 한다. 하지만 기업의 업무는 단일 팀이 모두 숙달할 수 없는 여러 분야에 걸쳐 있다. 영업, 인사, 법무, 재무, 시장 정보 등이 그 예다. 각 분야의 업무는 해당 분야에 특화된 뛰어난 에이전트가 가장 잘 처리할 수 있다.

어떤 기업도 모든 기능에 걸쳐 업계 최고 수준의 에이전트를 내부에서 만들 수는 없다. 이는 투입 자원을 늘려 이길 수 있는 경쟁이 아니다. 성공적인 방식은 전문 하위 에이전트들을 이끄는 강력한 주도 에이전트를 두고, 각 에이전트를 기업의 요구에 맞게 맞춤화해 깔끔한 인터페이스를 통해 하네스에 연결하는 것이다. 하지만 기업들은 아직 이런 아키텍처를 구축하는 초기 단계에 있다. 딜로이트의 2026년 설문조사에 따르면, 조직 중 여러 기능에 걸친 오케스트레이션 기반 멀티 에이전트 도입을 확장한 곳은 15%에 불과하다.

따라서 기업 리더가 해야 할 일은 두 가지다. 지향점이 될 주도 에이전트와 그 에이전트가 학습할 루프를 구축하고, 전문 에이전트 가운데 우수한 것을 찾아 통합하는 것이다. 가치가 축적되는 영역은 직접 보유하고, 그렇지 않은 영역은 협력한다.

전문 에이전트와 단순 래퍼의 차이

전문 에이전트는 기업이 쉽게 재현할 수 없는 무언가를 제공해야 한다. 지속 가능한 경쟁 우위는 독점 데이터와 그 데이터를 검색하고 추론하도록 목적에 맞게 구축된 하네스에서 나온다. 에이전트의 성능은 찾아낼 수 있는 정보와 찾아낸 정보를 얼마나 잘 이해하는지에 달려 있다.

기업 리더는 어디서 직접 구축하고 어디서 협력할지 판단할 때 이 기준을 적용해야 한다. 역량이 독점 콘텐츠, 도메인 전문성, 수년에 걸쳐 목적에 맞게 구축한 인프라에 좌우된다면, 이를 내부에서 다시 구축해도 경쟁 우위를 만들기 어렵다. 대신 그 자원을 기업만의 독점 데이터, 의사결정 루프, 오케스트레이션 계층에 집중해야 한다.

승자들이 이해하게 될 것

에이전트 시대의 승자는 시간이 지날수록 자신들만의 지능적 우위를 키워 주는 요소를 중심으로 시스템을 설계하는 기업일 것입니다. 이들은 모든 의사결정에서 학습할 수 있는 순환 구조를 직접 구축하고, 모든 것을 혼자 만들려 하기보다 그 주변에 각 분야에 특화된 최고의 에이전트를 배치할 것입니다.

목표는 AI 스택의 모든 요소를 직접 보유하는 것이 아닙니다. 경쟁 우위가 누적되는 요소는 직접 보유하고, 나머지는 파트너와 협력하는 것입니다. 연결되어 있다고 해서 지능적인 것은 아닙니다. 에이전트형 기업에서 지능적이라는 것은 경쟁 우위가 누적되는 요소를 직접 보유하고 나머지는 파트너와 협력한다는 뜻입니다.