์ฌ์ ๋ฆฌ๋
๋ฐ์ดํฐ ํ์ ์ฃฝ์๋ค, ์ค๋ ์ด์๋ผ ๋ฐ์ดํฐ ํ
예, 제목은 클릭베이트이고 도발적이지만, 많은 년간 데이터 분야에서 일한 CTO로서 나는 드라마틱한 변화를 목격했다. 전통적인 “데이터 팀” – 보고서와 대시보드를 분석하는 백오피스 팀 – 는 효과적으로 죽었다. 그 자리에 새로운 종류의 데이터 팀이 등장했다: AI 우선, 제품 중심의 파워하우스로 직접 수익에 영향을 미친다. 그들은 더 이상 비용 센터가 아니라, 수익을 창출하는 그룹이다.
비즈니스 인텔리전스에서 머신 러닝까지의 여정
오래 전, 데이터 팀은 비즈니스 인텔리전스 (BI)와 동의어였다. 우리는 회사 데이터의 역사가되어 SQL과 스프레드시트에 살면서 “지난 분기에 무슨 일이 있었는지”라는 질문에 대답하는 일을 맡았다. 하둡과 같은 빅데이터 기술이 등장하고 “데이터 과학자”라는 용어가 새로운 섹시한 일이 되었을 때, 데이터 팀은 발전했다. 2010년대 중반에, 우리는 보고서 이상의 것을 하고 있었다; 우리는 데이터 시각화와 상호 작용 분석으로 들어가서 모든 부서에 대한 동적 대시보드를 생성했다. 일이 데이터 랑글링, 다양한 소스와 모양의 데이터셋을 混合하고, 도메인 지식을 이해하려고 하는 것이었다.
그런 다음 2010년대 후반에 머신 러닝 시대가 왔다. 데이터 팀은 예측 모델을 구축하고 광대한 데이터셋에서 통찰력을 얻기 위해 데이터 과학자를 고용하기 시작했다. 우리는 과거를 설명하는 것에서 미래를 예측하는 것으로 전환했다: 고객 유실 모델, 추천 엔진, 수요 예측 – 이름을 말하자. 그러나 그 때에도, 우리의 출력은 슬라이드 덱과 통찰력이었다. 우리는 내부 서비스국으로 작동하여 분석을 통해 비즈니스에 조언했다. 즉, 우리는 비용 센터였다 – 가치가 있었지만, 핵심 제품과 수익에서 한 단계 뒤에 있었다.
최선의 경우, 머신 러닝 팀은 별도의 단위나 제품 그룹 내에 분산되어 있어서 그들의 모델과 추론이 플랫폼에 완전히 통합될 수 있었다. 그레이트 디바이드는 수많은 실패한 프로젝트, 침몰한 투자, 그리고 잃어버린 기회를 가져왔다.
GenAI: 지원 기능에서 수익 센터로
그런 다음 GenAI가 도착했고 모든 것이 변경되었다. 강력한 대규모 언어 모델인 GPT 패밀리와 Llama와 같은 오픈 소스 변형이 출시되면서 풍경은 거의 즉시 변경되었다.突然, 데이터 팀은 더 이상 비즈니스를 분석하는 것이 아니라, AI 제품과 경험을 구축하는 데 필수적인 요소가 되었다. 고객용 애플리케이션 또는 내부 워크플로에 LLM을 성공적으로 통합할 때, 더 이상 비즈니스를 알려주지 않는다; 그것은 비즈니스를 추동한다. 잘 구현된 GenAI 시스템은 고객 지원을 자동화할 수 있다, 마케팅 콘텐츠를 생성할 수 있다, 사용자 경험을 개인화할 수 있다, 또는 새로운 에이전트 AI 시스템을 교육하고 훈련하는 데 필요한 데이터를 제공할 수 있다. 이러한 기능은 직접 수익 흐름에 영향을 미친다. 실제로, 데이터 팀의 작업 제품은 파워포인트 슬라이드에서 라이브 AI 파워드 애플리케이션으로 변경되었다.
GenAI 팀은 혁신 그룹에서 시작하여 “-wow фактор”를 생성하는 증명 개념을 전달했다. 그리고 곧 enough, 모든 사람이 AI 엔지니어가되어 조직 전체에 걸쳐 그림자 IT를 전파했다.
데이터 팀은 곧 새로운 질문에 직면했다: “당신은 언제 수익 센터가 될 것인가?” AI 엔지니어가 놀라운 도구를 만들기 시작했을 때, 데이터를 제어하는 팀과 애플리케이션을 구축하는 팀을 결합할 때가 되었다.
소매 회사에서 판매 문의를 처리하기 위해 GenAI 채팅봇을 배포하거나, AI 구동 개인화된 투자 자문을 출시하는 은행을 고려해보라. 이들은 전통적인 IT 측면 프로젝트가 아니다 – 고객 가치를 창출하고 수익을 창출하는 디지털 제품이다. 그러나, 이러한 시스템을 대규모로 생성하기 위해, AI 엔지니어링 팀은 전통적인 팀이 준비한 데이터에 액세스하고 운영할 수 있어야 한다.
이사들은 이를 알아차렸다. 데이터 팀에 대한 기대는 이제 하늘 높은 만큼 높다. 이들은 다음 AI 구동 성장 벡터를 전달하기 위해 우리에게 기대한다. 우리는 비즈니스 뒤에서 분석가에서 전선 혁신가로 이동했다. 이는 우리에게 흥분되는 위치이지만, 대규모로 결과를 전달하기 위한 강한 압력을 동반한다.
탐색에서 제품으로 – 일방적 인门
탐색적 분석에서 제품 중심 AI로의 전환은 심오하고 불가역적이다. 왜 불가역적 인가? GenAI의 비즈니스에 대한 영향이 너무 크기 때문에, 연구 및 개발 장난감으로 되돌릴 수 없다. 최근의 글로벌 설문조사에 따르면, 96%의 IT 리더가 이미 핵심 프로세스에 AI를 통합했다 – 1년 전보다 88% 증가했다. 즉, 거의 모든 기업이 AI와 실험에서 미션 크리티컬 워크플로에 AI를 임베딩하는 것으로 이동했다. 한 번 당신이 AI가 생산에서 가치를 창출하는 문턱을 넘으면, 돌아갈 수 없다.
이 새로운 AI 구동焦点은 데이터 팀의 템포와 마음가짐을 변경한다. 과거에, 우리는 긴 발견 프로젝트와 개방형 분석의 여유를 가지고 있었다. 오늘날, 우리는 AI 기능을 구축하고 있다면, 그것은 생산 준비, 규정 준수, 신뢰할 수 있어야 한다 – 고객용 제품과 같다. 우리는 데이터 과학의 “자율 주행 시대”에 들어섰다. 우리의 작업을 지導하는 질문은 더 이상 “어떤 통찰력을 얻을 수 있는가?”가 아니라 “어떤 지능형 시스템을 구축할 수 있는가? 그것은 실시간으로 통찰력을 기반으로 작동하는가?”이다.
GenAI 시스템은 단순히 질문에 답하는 것이 아니라, 결정을 내리고 있다. 이는 일방적 인門이다: 이러한 자율성과 영향을 경험한 후, 회사들은 정적 보고서와 수동적 의사결정을 더 이상 받아들이지 않을 것이다. 지금보다 더 많은 데이터 팀은 이해관계자와 제품 중심으로 되어야 한다.
어려운 진실: 왜 대부분의 GenAI 이니셔티브는 실패하는가
모든 흥분 속에서, 냉정한 현실이 있다: 대부분의 GenAI 이니셔티브는 실패한다. 성공적으로 GenAI를 배포하는 것은 매우 어렵다는 것이 밝혀졌다. 최근 MIT 연구에 따르면,驚嘆할 만한 95%의 엔터프라이즈 GenAI 파일럿 프로젝트가 측정 가능한 ROI를 전달하지 못한다. 약 5%의 AI 파일럿만이 빠른 수익 증가 또는 의미있는 비즈니스 영향을 달성한다. 이는 잠재력이 부족해서가 아니라, AI를 올바르게 하는 복잡성 때문이다.
실패의 원인을 조사해 보면, MIT 연구는 명확한 그림을 보여준다. 많은 프로젝트가 화려한 데모 사용 사례를 추구하는 대신, 통합, 검증, 모니터링의 지루한 기본 사항에 투자하지 않아 실패한다. 다른 프로젝트는 “쓰레기 입력, 쓰레기 출력” 증후군으로 인해 실패한다 – 데이터 품질이 나쁘고 데이터 파이프라인이 분리되어 있어 프로젝트가 시작되기 전에 실패한다. 종종, AI 모델이 결함이 있는 것이 아니라, 주변 환경이 그렇다. 연구원들은 GenAI가 실험실에서 실패하지 않는다. 엔터프라이즈에서 목표가 불분명하고 데이터가 나쁘고 조직의 관성과 충돌할 때 실패한다고 말했다. 실제로, 대부분의 AI 파일럿은 증명 개념 단계에서 중단되고 완전한 프로덕션 배포로 졸업하지 못한다.
이 현실은 귀중한 교훈이다. 이는 GenAI가 성공하기 위해 우리는 과거 BI 시절보다 훨씬 더 높은 바를 넘어야 한다고 알려준다.
지능형 프롬프트를 넘어서: 데이터, 거버넌스 및 인프라가 중요하다
5%의 AI 프로젝트가 번성하는 것을 구별하는 것은 무엇인가? 내 경험과 연구가 확인한 바에 따르면, 승자는 기초 능력에 초점을 맞춘다 – 데이터, 거버넌스, 인프라. GenAI는 마법이 아니다; 데이터에 기반한다. 높은 품질의 데이터 파이프라인이 모델에 데이터를 공급하지 않으면, даже 최고의 AI도 불규칙한 결과를 생성한다. Summit Partners는 최근 분석에서 잘 말했다: “AI를 사용하는 시스템이나 프로세스의 성공은 그것을 구동하는 데이터의 품질, 구조 및 접근성에 달려 있다.”
실제로, 이는 조직이 GenAI를 채택함에 따라 데이터 아키텍처와 거버넌스를 두 배로 집중해야 함을 의미한다. 모든 데이터 저장소(데이터 센터, 하이퍼스케일러, 제3자 SaaS 시스템 등)에 대한 통일된 접근 가능한 데이터 저장소가 있는가? 그 데이터가 청소, 큐레이션, 규정 준수되어 있는가? 데이터 라인과 감사 가능성이 있는가(따라서 AI 출력을 신뢰하고 어떻게 생성되었는지 알 수 있는가)? 이러한 질문이 이제 전면에 있다.
GenAI는 회사로 하여금 마침내 데이터 집을 정리하게 한다.
거버넌스는 또한 새로운 중요성을 취득했다. AI 모델이 잘못된 답변(또는 공격적인 답변)을 생성할 수 있을 때, 강력한 거버넌스는 선택이 아니다; 필수이다. 버전 관리, 편향 확인, 인간의 리뷰, 민감한 데이터 입력周りの 엄격한 보안 조치와 같은 제어는 필수적이다. 적절한 거버넌스, 훈련 및 명확하게 정의된 목표없이, 심지어 강력한 AI 도구도 비즈니스에서 지속력을 얻기 위해 어려움을 겪을 것이다.
인프라를 잊지 마라. 대규모로 GenAI를 배포하는 것은 상당한 컴퓨팅 파워와 엄격한 엔지니어링을 필요로 한다. 모델은 실시간으로 수백만 개의 쿼리에서 낮은 지연 시간으로 제공되어야 한다. 그것들은 GPU 또는 특수 하드웨어가 필요할 수 있으며, 또한 지속적인 모니터링, 유지 관리, 라이프 사이클 관리가 필요하다. 이는 보안, 확장 가능, 탄력성이 있는 산업급 AI 인프라가 필요한 곳이다. 이것은 데이터와 거버넌스를 인프라와 결합하는 프레임워크인 Private AI 의 개념이 등장하는 곳이다. Private AI는 데이터 보안과 규정 준수를 보장하는 제어되고 보안된 환경에서 AI를 개발하는 것을 의미한다.
하드코어는 GenAI의 성공은 세 가지 기둥의 조화에 달려 있다: 데이터, 거버넌스, 및 인프라. 하나가 없으면, 데모 단계를 넘어서는 95%의 프로젝트에 합류할 위험이 있다.
AI 엔지니어만으로는 할 수 없다
이러한 요구 사항을 고려해 보면, 단지 몇몇 재능있는 AI 엔지니어를 고용하는 것이 은탄환이 아니라는 것이 명백하다. 우리는過去 수년간 데이터 산업에서 이 교훈을 배웠다. 데이터 과학 붐의 초기에, 회사들은 모든 것을 할 수 있는 “유니콘” 데이터 과학자를 찾으려고 했다 – 모델을 구축하고, 코드를 작성하고, 데이터와 배포를 처리했다. 그러나, 그 신화는 이미 깨졌다. 한 베테랑 데이터 과학자는 다음과 같이 말했다: “노트북에 있는 모델은 실제로 비즈니스에 아무 것도 하지 않는다.” 모델을 애플리케이션 또는 프로세스에 임베딩하여 가치를 생성해야 한다. 이를 위해서는 여러 가지 기술을 아우르는 팀의 노력이 필요하다.
2010년대 후반에, 우리는 데이터 팀이 다양한 역할로 분화되는 것을 보았다: 데이터 엔지니어는 강력한 파이프라인을 구축하기 시작했고, 머신 러닝 엔지니어는 모델을 프로덕션화하는 데 집중했으며, 분석 엔지니어는 분석 레이어를 관리했다.
현재, GenAI는 바를 훨씬 더 높게 설정한다. 예, AI 전문가(프롬프트 엔지니어, LLM 파인 튠어 등)를 필요로 하지만, 이러한 전문가들은 성숙한 데이터 파이프라인, 거버넌스 프레임워크, 안전한 플랫폼이 없으면 벽에 부딪힐 것이다. AI 엔지니어는 샌드박스에서 훌륭한 언어 모델을 프로토 타입할 수 있지만, 그것을 수천 명이나 수백만 명이 사용하는 제품으로 전환하는 것은 보안 팀, 규정 준수 담당자, 데이터 아키텍트, 사이트 신뢰성 엔지니어 등과 협력해야 한다.
AI는 팀 스포츠이다. 상태-of-the-아트 모델을 비즈니스에 떨어뜨리고突然 AI 구동 엔터프라이즈를 가지게 될 것이라고 생각하는 것은 유혹적이다. 그러나, AI를 성공시키는 회사들은 크로스 기능적인 팀을 구축했거나, “AI 팩토리”를 구축했으며, 모든 이러한 조각을 함께 가져오는 회사이다. 그들의 데이터 팀은 효과적으로 풀 스택 AI 제품 팀으로 발전했으며, 데이터, 모델링, 엔지니어링, 옵스 전문 지식을 혼합했다. 그들은 데이터 주도, 제품 중심의 방식으로 도구를 구축하고 배포하며, 가치 생성을 모든 KPI에 내장했다.
다음 세대의 데이터 팀
그렇다면, 새로운 “데이터 팀”的 미래는 무엇일까? 다음은 다음 몇 년 동안 이러한 팀에서 무엇이 ож
