데이터 팀은 죽었는가, 새로운 데이터 팀은 살아남은가

제목은 클릭베이트이고 도발적이지만, 많은 년간 데이터 분야에서 일해온 CTO로서 나는 드라마틱한 변화를 목격했다. 전통적인 “데이터 팀” – 보고서와 대시보드를 분석하는 백오피스 크루 – 는 사실상 죽었다. 그 자리에 새로운 종류의 데이터 팀이 등장했다: AI를 먼저考虑하는, 제품 중심의 파워하우스로 직접적인 수익 영향을 미치는 팀이다. 그들은 더 이상 비용 센터가 아니라, 수익을 창출하는 그룹이다.

비즈니스 인텔리전스에서 머신 러닝까지의 여정

조금 전만 해도 데이터 팀은 비즈니스 인텔리전스(BI)와 동의어였다. 우리는 회사 데이터의 역사가였으며, SQL과 스프레드시트에 살며, “지난 분기에 무슨 일이 일어났는가?”라는 질문에 답변하는 일을 맡았다. 빅데이터 기술이 등장하고 “데이터 과학자”라는 용어가 새롭게 등장했을 때, 데이터 팀은 발전했다. 2010년대 중반에, 우리는 보고서 작성 이상의 일을 했다. 우리는 데이터 시각화와 상호 작용 분석에 뛰어들어, 모든 부서에 동적 대시보드를 생성했다. 그 일이 데이터 랑글링, 다양한 소스와 형태의 데이터셋을 혼합하고, 도메인 지식을 이해하려고 시도하는 것이었다.

그런 다음 2010년대 후반에 머신 러닝 시대가 도착했다. 데이터 팀은 예측 모델을 구축하고 방대한 데이터셋에서 통찰력을 얻기 위해 데이터 과학자를 고용하기 시작했다. 우리는 과거를 설명하는 것에서 미래를 예측하는 것으로 전환했다: 고객 유실 모델, 추천 엔진, 수요 예측 – 이름을 불러라. 그러나 그 때에도, 우리의 출력물은 슬라이드 덱과 통찰력이었다. 제품이 아닌 내부 서비스국으로서, 분석을 통해 비즈니스를 조언했다. 즉, 우리는 비용 센터였다 – 가치가 있었지만, 핵심 제품과 수익에서 한 단계 뒤쳐진 상태였다.

최상의 경우, 머신 러닝 팀은 별도의 단위로 분산되었거나 제품 그룹 내에 내장되어, 모델과 추론이 플랫폼에 완전히 통합될 수 있었다. 그러나 이 분리는 많은 실패한 프로젝트, 투자 손실, 그리고 잃어버린 기회를 가져왔다.

GenAI: 지원 기능에서 수익 센터로

그런 다음 GenAI가 등장했고, 모든 것이 바뀌었다. 강력한 대규모 언어 모델의 출시, 예를 들어 GPT 계열과 오픈 소스 변형체인 Llama,는 거의 밤새도록 풍경을 뒤바꾸었다. 갑자기, 데이터 팀은 더 이상 비즈니스를 분석하는 것이 아니라, AI 제품과 경험을 구축하는 데 필수적인 요소가 되었다. 고객용 애플리케이션 또는 내부 워크플로에 LLM을 성공적으로 통합할 때, 더 이상 비즈니스를 분석하는 것이 아니라, 비즈니스를 추동한다. 잘 구현된 GenAI 시스템은 고객 지원을 자동화할 수 있다, 마케팅 콘텐츠를 생성할 수 있다, 사용자 경험을 개인화할 수 있다, 또는 새로운 에이전트 AI 시스템을 훈련하고 정보를 제공하는 데 필요한 데이터를 제공할 수 있다. 이러한 기능은 직접적인 수익 흐름에 영향을 미친다. 실제로, 데이터 팀의 작업 제품은 파워포인트 슬라이드에서 라이브 AI 파워드 애플리케이션으로 전환했다.

GenAI 팀은 혁신 그룹에서 시작하여 “-wow фактор”를 생성하는 시제품을 전달했다. 그리고 곧 모든 사람이 AI 엔지니어가 되어서, 조직 전체에 그림자 IT를 퍼트렸다.

데이터 팀은 곧 새로운 질문에 직면했다: “당신은 언제 수익 센터가 될 것인가?” AI 엔지니어가 놀라운 도구를 만들기 시작했을 때, 데이터를 제어하는 팀과 애플리케이션을 구축하는 팀을 합치는 것이 때가 되었다.

소매 회사에서 판매 문의를 처리하기 위한 GenAI 채팅봇을 배포하거나, 은행에서 개인화된 투자 자문을 시작하는 경우를 생각해 보라. 이들은 전통적인 IT 측면 프로젝트가 아니다 – 고객 가치를 창출하고 수익을 생성하는 디지털 제품이다. 그러나 이러한 시스템을 대규모로 생성하기 위해서는, 전통적인 팀이 준비한 데이터에 접근하고 운영할 수 있어야 한다.

이러한 기대는 최고 경영진이 데이터 팀에 대한 기대를 매우 높게 두고 있다. 우리는 이제 비즈니스에서 다음 AI 주도 성장 벡터를 전달하도록期待되고 있다. 우리는 뒤에서 분석가에서 전선의 혁신가로 전환했다. 이는 흥奮하는 위치이지만, 결과를 대규모로 전달할 압력이 따른다.

탐색에서 제품으로 – 일방적인 문

탐색적 분석에서 제품 중심의 AI로의 전환은 깊고 되돌릴 수 없는 것이다. 왜냐하면 GenAI의 비즈니스에 대한 영향이 너무 크기 때문에, 다시 R&D 장난감으로 되돌릴 수 없다. 최근의 글로벌 설문조사에 따르면, 96%의 IT 리더가 이미 AI를 핵심 프로세스에 통합했다 – 1년 전보다 88% 증가했다. 즉, 거의 모든 기업이 AI를 실험하는 것에서 미션 크리티컬 워크플로에 AI를 통합하는 것으로 전환했다. 한 번 AI가 생산에서 가치를 전달하기 시작하면, 다시 돌아갈 수 없다.

이 새로운 AI 주도적인 초점은 데이터 팀의 템포와 마인드를 변경한다. 과거에 우리는 긴 발견 프로젝트와 개방형 분석의 여유를 가지고 있었다. 오늘날, AI 기능을 구축한다면, 그것은 생산 준비가 되어야 하며, 규정 준수되고, 신뢰할 수 있어야 한다 – 고객용 제품과 마찬가지로. 우리는 데이터 과학의 “자율성 시대”에 들어섰다. 우리의 작업을 지導하는 질문은 더 이상 “어떤 통찰력을 얻을 수 있는가?”가 아니라 “어떤 지능형 시스템을 구축할 수 있는가?”이다.

GenAI 시스템은 질문에 답변하는 것 이상을 한다. 의사결정을 시작한다. 이는 일방적인 문이다: 이러한 자율성과 영향력을 경험한 후, 회사들은 정적인 보고서와 수동적인 의사결정을 포기할 것이다. 이제 더 이상 데이터 팀은 이해관계자와 제품 중심의 팀이 되어야 한다.

어려운 진실: 대부분의 GenAI 이니셔티브는 왜 실패하는가

모든 흥奮 속에서, 냉정한 현실이 있다: 대부분의 GenAI 이니셔티브는 실패한다. 성공적으로 GenAI를 배포하는 것은 매우 어렵다. 최근 MIT 연구에 따르면,驚くほど 95%의 기업 GenAI 파일럿 프로젝트는 측정 가능한 ROI를 전달하지 못한다. 약 5%의 AI 파일럿만이 빠른 수익 증가 또는 의미 있는 비즈니스 영향을 달성한다. 이는 잠재력이 부족해서가 아니라, AI를 올바르게 하는 복잡성 때문이다.

실패의 원인을 조사하면, MIT 연구는 명확한 그림을 그린다. 많은 프로젝트는 “하이프 오버 하드 워크” 때문에 실수한다 – 팀은 플래시한 데모 사용 사례를 추구하는 대신, 통합, 검증, 모니터링의 근본적인 기초에 투자한다. 다른 프로젝트는 “쓰레기 입력, 쓰레기 출력” 증후군으로 실패한다 – 데이터 품질이 낮고 데이터 파이프라인이 분리되어 있으면, 프로젝트가 시작되기 전에 실패한다. 종종, AI 모델이 결함이 있는 것이 아니라, 주변 환경이 그렇다. 연구원들은 GenAI가 실험실에서 실패하는 것이 아니라, 기업에서 애매한 목표, 낮은 데이터 품질, 조직의 관성과 충돌할 때 실패한다고 말한다. 실제로, 대부분의 AI 파일럿은 증명 개념 단계에서 중단되고, 전체 생산 배포로 졸업하지 않는다.

이 현실은 귀중한 교훈이다. 그것은 우리에게, 데이터 팀이 이제 스포트라이트에 있지만, 대부분의 팀이 높아진 기대를 충족하는 데 어려움을 겪고 있음을 알려준다. GenAI가 대규모로 성공하기 위해서는, 우리는 이전 BI 시절보다 훨씬 더 높은 기준을 넘어야 한다.

기발한 프롬프트를 넘어서: 데이터, 거버넌스, 인프라스트럭처가 중요하다

5%의 AI 프로젝트가 성공하는 데 필요한 것은 무엇인가? 내 경험과 연구에 따르면, 승리자는 기초적인 능력에 집중한다 – 데이터, 거버넌스, 인프라스트럭처. GenAI는 마법이 아니다; 데이터에 기반한다. 높은 품질의 데이터 파이프라인이 모델을 공급하지 않으면, 가장好的 AI도 불규칙한 결과를 생성한다. Summit Partners는 최근 분석에서 잘 말했다: “AI를 사용하는 시스템이나 프로세스의 성공은 데이터의 품질, 구조, 접근성에 달려 있다.”

실제로, 이는 조직이 GenAI를 채택함에 따라 데이터 아키텍처와 거버넌스를 강화해야 함을 의미한다.統一적이고 접근 가능한 데이터 저장소가 있는가? 그 데이터는 청소, 큐레이션, 규정 준수 상태인가? 데이터 계보와 감사 가능성이 있는가? 이러한 질문이 이제 전면에 있다.

GenAI는 기업들이终于 데이터 관리를 제대로 하도록 강요한다

거버넌스도 새로운 중요성을 갖게 되었다. AI 모델이 잘못된 답변(또는 공격적인 답변)을 생성할 수 있을 때, 강력한 거버넌스는 선택이 아니다 – 필수이다. 버전 관리, 편향 검사, 인간의 리뷰, 민감한 데이터 입력에 대한 엄격한 보안 조치 등이 필요하다. 적절한 거버넌스, 훈련, 명확한 목표 없이, 강력한 AI 도구도 비즈니스에서 지지받지 못할 것이다.

인프라스트럭처도 잊지 말자. 대규모 GenAI 배포에는 상당한 컴퓨팅 파워와 엄격한 엔지니어링이 필요하다. 모델은 실시간으로, 낮은 지연 시간으로 수백만 개의 쿼리에 대해 제공되어야 한다. 종종 GPU 또는 특수 하드웨어가 필요하며, 또한 지속적인 모니터링, 유지, 라이프사이클 관리가 필요하다. 간단히 말해, 보안, 확장 가능하며, 탄력적인 산업급 AI 인프라스트럭처가 필요하다. 이것이 Private AI 개념이 등장하는 곳이다. Private AI는 인프라스트럭처와 데이터, 거버넌스를 결합하는 프레임워크이다. Private AI는 제어되고 보안된 환경 내에서 AI를 개발하는 것을 의미하며, 데이터 보안과 규정 준수를 보장한다.

결론은 GenAI의 성공은 세 가지 기둥의 조화에 달려 있다: 데이터, 거버넌스, 인프라스트럭처. 어느 하나가 없으면, 프로젝트가 데모 단계를 넘어서는 것을 위험하게 만든다.

AI 엔지니어가 혼자 할 수 없는 이유

이러한 요구 사항이 주어졌을 때, 단지 몇몇 재능 있는 AI 엔지니어를 고용하는 것이 은탄환이 아님을 알 수 있다. 우리는 지난 몇 년 동안 데이터 산업에서 이 교훈을 배웠다. 데이터 과학 붐의 초기에, 기업들은 모든 것을 할 수 있는 “유니콘” 데이터 과학자를 찾으려고 했다 – 모델을 구축하고, 코드를 작성하고, 데이터와 배포를 처리했다. 그러나 이 신화는 이미 깨졌다. 한 베테랑 데이터 과학자는 말했듯이, “노트북에 있는 모델은 실제로 비즈니스에 아무런 영향을 미치지 않는다.” 모델을 애플리케이션 또는 프로세스에 내장해야 비즈니스에 가치를 창출할 수 있다. 이를 위해서는 팀의 노력이 필요하다 – 여러 가지 기술을 아우르는 팀의 노력이다.

2010년대 후반에, 우리는 데이터 팀이 다양한 역할로 분화하는 것을 보았다: 데이터 엔지니어는 강력한 파이프라인을 구축했고, 머신 러닝 엔지니어는 모델을 프로덕션화했으며, 분석 엔지니어는 분석 레이어를 관리했다.

오늘날, GenAI는 기준을 더 높게 설정한다. 예, AI 전문가가 필요하다(프롬프트 엔지니어, LLM 미세 조정 등). 그러나 이러한 전문가들은 성숙한 데이터 파이프라인, 거버넌스 프레임워크, 보안 플랫폼이 없으면 벽에 부딪힐 것이다. AI 엔지니어는 샌드박스에서 훌륭한 언어 모델을 프로토タイプ할 수 있지만, 그것을 제품으로 전환하는 것은 보안 팀, 규정 준수 담당자, 데이터 아키텍트, 사이트 신뢰성 엔지니어 등과 협력해야 한다.

AI는 팀 스포츠이다. 최신 모델을 비즈니스에 떨어뜨리고突然 AI 주도적인 기업을 가지기를 기대하는 것은 유혹적이다. 그러나 AI를 성공적으로 사용하는 기업은 모두 크로스 펑셔널 팀을 구축했거나 “AI 팩토리”를 구축했으며, 모든这些 조각을 함께 모은 팀이다. 데이터 팀은 효과적으로 풀 스택 AI 제품 팀으로 발전했다 – 데이터, 모델링, 엔지니어링, 옵스 전문성을 결합했다. 그들은 데이터 주도적인, 제품 중심적인 방식으로 도구를 구축하고 배포하며, 가치 생성을 모든 KPI에 내장했다.

데이터 팀의 다음 세대

데이터 팀의 미래는 무엇일까? 다음은 몇 년 내에 데이터 팀이 어떤 모습일지에 대한 한瞥이다:

• 수동 ETL/ELT가 줄어든다: 데이터 랑글링은 줄어든다. 자동화된 데이터 파이프라인과 AI 지원 통합으로, 팀은 데이터를 청소하고 이동하는 데 반일을 보내지 않을 것이다. 데이터 준비의 하위 작업은 점점 더 지능형 시스템에 의해 처리될 것이며, 인간은 높은 수준의 디자인과 품질 관리에 집중할 수 있을 것이다.
• 대시보드가 줄어든다: 대시보드 필터를 끝없이 조정하는 시대는 저물고 있다. AI는 더 자연스러운 언어 쿼리와 동적 통찰력을 제공할 것이다. 사전 구축된 대시보드 대신, 사용자는 AI에서 대화형 답변을 받을 것이다(소스 데이터가 첨부됨). 데이터 팀은 정적인 보고서 개발에 시간을 덜 보내고, AI가 통찰력을 즉시 생성하도록 훈련하는 데 더 많은 시간을 보낼 것이다.
• AI 네이티브 제품 개발이 증가한다: 데이터 팀은 제품 혁신의 핵심이 될 것이다. 고객용 새로운 AI 기능을 개발하거나 내부 AI 도구를 개발하는 것과 상관없이, 이러한 팀은 제품 팀으로서 행동할 것이다. 소프트웨어 개발 관행, 빠른 프로토 타이핑, A/B 테스트, 사용자 경험 디자인을 사용할 것이다 – 데이터 분석만이 아니다. 모든 데이터 팀은 효과적으로 AI 제품 팀이 되어 직접적인 비즈니스 가치를 전달할 것이다.
• 자율 에이전트가 증가한다: 가까운 미래에, 데이터 팀은 루틴적인 의사결정과 작업을 처리할 자율 에이전트를 배포할 것이다. 예측 결과만이 아니라, 특정 작업을 수행할 수 있는 에이전트를 구축할 것이다(감독하에). 비즈니스에서 자동으로 리메디에이션 티켓을 열거나, 실시간으로 전자상거래 가격을 조정하는 에이전트를 상상해 보라. 데이터 팀은 이러한 에이전트를 구축하고 관리할 책임이 있으며, 자동화가 무엇을 달성할 수 있는지의 경계를 밀어붙일 것이다.

이러한 변화에 비추어 볼 때, 누군가는 정말로 “데이터 팀은 죽었다”라고 말할 수 있다. 전통적인 스프레드시트 전문가와 대시보드 플러머는 새로운 것으로 바뀌었다: AI를 먼저 고려하는 팀으로, 데이터, 코드, 비즈니스 전략에 능숙하다. 그러나 이는 비망록이 아니다; 이는 축제이다. 새로운 세대의 데이터 팀은 이제 막 시작되고 있으며, 그들은 이전보다 더 귀중하다

그러므로, 기억하라, 데이터 엔지니어는 죽었고, 새로운 데이터 엔지니어는 살아남은 것이다! 데이터 팀은 이전과 다르지만, 새로운 데이터 팀은 살아남았고, 이 AI 주도적인 세계에서 통찰력, 책임, 대담함으로 통치할 수 있기를 기대한다.