Phân tích kỹ thuật: Một sự bổ sung đàn hồi cho các hoạt động dữ liệu tốt hơn

Một sự chia rẽ cơ bản giữa kỹ thuật dữ liệu và phân tích kinh doanh làm phức tạp cách các tổ chức hoạt động trong một môi trường kỹ thuật số đang phát triển nhanh chóng. Các doanh nghiệp quản lý các khối lượng dữ liệu có cấu trúc và không có cấu trúc chưa từng có từ nhiều nguồn, nhưng nhiều doanh nghiệp gặp khó khăn trong việc trích xuất giá trị kinh doanh có ý nghĩa. Vấn đề cốt lõi là một sự ngắt kết nối dai dẳng và tốn kém giữa các đội xây dựng và duy trì cơ sở hạ tầng dữ liệu và các đội dựa vào dữ liệu chính xác và kịp thời. Để tích hợp các giải pháp hỗ trợ kỹ thuật dữ liệu và phân tích kinh doanh, điều quan trọng là lãnh đạo phải hiểu cách sự chia rẽ này hình thành và cách nó thể hiện trên các chiều kỹ thuật và hoạt động. Việc giải quyết thách thức này đòi hỏi một cách tiếp cận toàn diện bao gồm công nghệ, quy trình và văn hóa tổ chức. Nỗ lực này không chỉ là một bản nâng cấp công cụ đơn giản, mà là một sự thay đổi chức năng được hướng dẫn bởi các chức năng kỹ thuật dữ liệu và phân tích kinh doanh.

Công việc dữ liệu trên phổ – phân tích đến kỹ thuật

Theo IBM, phân tích kinh doanh đề cập đến các phương pháp thống kê và công nghệ tính toán xử lý, khai thác và trực quan hóa dữ liệu để khám phá các mẫu, mối quan hệ và thông tin hỗ trợ việc ra quyết định kinh doanh tốt hơn. Phân tích chứng minh giá trị của nó khi cải thiện hiệu suất, giảm rủi ro hoặc tăng hiệu quả thông qua thông tin có thể hành động. Các đội phân tích theo dõi các mối quan hệ và mẫu này thông qua một loạt các chỉ số hiệu suất chính (KPI) liên tục, thường là một tập hợp các chỉ số hiệu suất chính. Khung phân tích INFORMS mô tả đây là một chu kỳ bắt đầu từ một vấn đề kinh doanh và kéo dài đến quản lý vòng đời giải pháp. Quá trình phân tích được hướng dẫn bởi việc định khung vấn đề và được hỗ trợ bởi công nghệ.

Các đội phân tích, được thúc đẩy bởi nhu cầu kinh doanh, phải đối mặt với áp lực để cung cấp thông tin nhanh chóng và phụ thuộc vào dữ liệu “tươi” để hỗ trợ các quy trình làm việc của họ. Dữ liệu cũ cung cấp thông tin cũ. Các đội cần truy cập vào cơ sở hạ tầng dữ liệu cho phép xử lý dữ liệu gần như thời gian thực hoặc thời gian thực thành thông tin cung cấp giá trị kinh doanh thực sự.

Kỹ thuật dữ liệu đại diện cho phía bên kia của phổ và được thúc đẩy bởi các yêu cầu về cơ sở hạ tầng và công nghệ. IBM định nghĩa kỹ thuật dữ liệu là “thực hành thiết kế và xây dựng hệ thống để tổng hợp, lưu trữ và phân tích dữ liệu ở quy mô lớn.” Mặc dù công việc hỗ trợ việc cung cấp thông tin, nhưng các quy trình kỹ thuật dữ liệu khác biệt rõ ràng so với khuôn khổ phân tích và tập trung vào hậu cần và kho dữ liệu.

Đồng bộ căng thẳng và bổ sung

Căng thẳng giữa các đội kỹ thuật dữ liệu và phân tích thường phát sinh từ các khung thời gian khác nhau và nhu cầu công việc cạnh tranh. Các quyết định về cơ sở hạ tầng và công cụ từ các đội kỹ thuật phụ thuộc vào tốc độ áp dụng hệ thống, đổi mới công nghệ, khả năng của IT và hạn chế nguồn lực trong thị trường nhân tài hạn chế. Các nhiệm vụ phân tích phụ thuộc vào dữ liệu được tiêu thụ làm sản phẩm trung gian thúc đẩy việc cung cấp thông tin. Điều này đòi hỏi các đội phân tích phải làm việc trong cơ sở hạ tầng hiện có mà kỹ thuật dữ liệu đã phát triển, đồng thời dự đoán và truyền đạt nhu cầu trong tương lai.

Các sự khác biệt này tạo ra một liên tục trong đó các chức năng hoạt động dữ liệu (DataOps) tồn tại với các khung thời gian có độ dài đơn vị khác nhau. Sự trao đổi này đôi khi là bổ sung và đôi khi dễ xảy ra va chạm. Việc tích hợp các khung thời gian này đòi hỏi khả năng của tổ chức về giao tiếp chức năng và sự phù hợp của quy trình kinh doanh. Nếu các đội phân tích bị ràng buộc bởi cơ sở hạ tầng lỗi thời, thì nợ kỹ thuật của hệ thống cũ giảm tốc độ cung cấp thông tin và làm suy yếu lợi thế cạnh tranh. Nếu các đội kỹ thuật dữ liệu vẫn bị ràng buộc bởi kỳ vọng về tốc độ quay vòng nhanh, thì sự tuân thủ, tính liên tục kinh doanh, bảo mật, chất lượng và tiếp xúc với thị trường sẽ gặp rủi ro.

Đối với DataOps, thành công phụ thuộc vào việc xác định liên tục các yếu tố bổ sung đàn hồi giữa các đội. Nghiên cứu gần đây đã chỉ ra rằng sự phù hợp của chiến lược kinh doanh và chiến lược phân tích dữ liệu nâng cao khả năng phân tích dữ liệu lớn được tận dụng như sự nhanh nhẹn của phản ứng thị trường. Nghiên cứu khác hỗ trợ rằng sự phù hợp của chiến lược kinh doanh và khoa học dữ liệu là điều cần thiết để nắm bắt giá trị dữ liệu một cách thành công.

Điểm đau chung

Các công nghệ mới nổi đòi hỏi sự thay đổi nhanh chóng đối với cơ sở hạ tầng dữ liệu. Khi các hệ thống thông tin tăng về độ phức tạp, các đội đang phát triển các mô hình và đại diện kiến trúc tiên tiến hơn để điều hướng những thách thức này. Cũng quan trọng không kém là sự phù hợp của thiết kế kỹ thuật với nhu cầu tổ chức và xã hội. Việc thích nghi các hệ thống cơ sở hạ tầng dữ liệu lớn với nhu cầu hoạt động thường đòi hỏi phải khám phá quy trình, với các đội kỹ thuật phân tích nhật ký sự kiện để xác định yêu cầu hệ thống dựa trên việc sử dụng thực tế.

Những thực hành cải tiến quy trình phản xạ này cạnh tranh cho thời gian kỹ thuật và IT khan hiếm và phản ánh sự tích lũy của độ trễ thời gian mà các kỹ sư dữ liệu phải đối mặt. Bởi vì mỗi đội trong phổ DataOps theo dõi các chỉ số khác nhau, việc dịch các yêu cầu hiệu suất sang phát triển đường ống có thể dẫn đến sự không phù hợp và sai sót tốn kém.

Tại sao phải tái phát minh bánh xe?

Một báo cáo của Gartner xác định một kỷ luật kiến trúc dữ liệu và phân tích chuyên dụng là quan trọng để hiện thực hóa chiến lược hoạt động và phân bổ nguồn lực. Việc phù hợp của kiến trúc kinh doanh và kỹ thuật ngày càng quan trọng trong các môi trường kinh doanh được thúc đẩy bởi công nghệ.

Sự phù hợp của quy trình là một thách thức hoạt động lâu đời mà bây giờ xảy ra với tốc độ và quy mô mà nó tiết lộ các khiếm khuyết trong sự phối hợp của tổ chức. Một số kỹ thuật hỗ trợ sự phù hợp của quy trình giữa các phòng ban. Quản lý quy trình kinh doanh (BPM) và quản lý dữ liệu (DG) là hai khuôn khổ đã được thiết lập giúp các tổ chức giải quyết nhu cầu này. Sự ảnh hưởng ngày càng tăng của chiến lược công nghệ đối với kết quả kinh doanh đang tăng cường tầm quan trọng của các kỷ luật hỗ trợ sự phù hợp của công nghệ và quy trình kinh doanh.

Quản lý dữ liệu chủ (MDM) và DG đã xuất hiện như các kỷ luật hiệu quả để phù hợp với các quy trình kinh doanh và hoạt động dữ liệu. Các đội DataOps với MDM và DG sẽ được áp dụng các nguyên tắc bổ sung đàn hồi để cải thiện hiệu quả hoạt động. Các vai trò sở hữu dữ liệu rõ ràng và một kỷ luật kiến trúc được thiết lập sẽ tăng cường sự phù hợp của quy trình và giao tiếp chức năng để hỗ trợ kết quả chiến lược kinh doanh và kỹ thuật. DataOps được sắp xếp hợp lý tận dụng toàn bộ phổ của chuỗi giá trị dữ liệu hướng tới chiến lược kinh doanh.

Chất lượng dữ liệu và thông tin phản hồi về tính toàn vẹn dữ liệu là những điểm đau chung cho các đội kỹ thuật dữ liệu và phân tích. Các khoảng trống dịch giữa các kỹ sư và nhà phân tích phản ánh một vấn đề rộng lớn hơn ở cấp độ kiến trúc liên quan đến chiến lược công nghệ và sự phù hợp của mô hình kinh doanh. Bởi vì việc phát triển cơ sở hạ tầng thường chậm hơn so với nhu cầu kinh doanh, sự bền bỉ của giao tiếp là một yếu tố hạn chế tốc độ để các tổ chức thực hiện việc nắm bắt giá trị dữ liệu. Sự luân chuyển, sự không chắc chắn của thị trường, nợ kỹ thuật, và cạnh tranh nguồn lực nội bộ đặt ra câu hỏi về cách các quy trình giao tiếp chức năng hoạt động dưới áp lực. Việc tăng cường kết nối giữa các đội phân tích và kỹ thuật thông qua việc thực hiện, chính xác và thực hiện đáng tin cậy trong các tình huống áp lực cao đại diện cho một sự thay đổi quan trọng hướng tới các hoạt động dữ liệu đàn hồi.