ผู้นำทางความคิด

วิศวกรรมวิเคราะห์ข้อมูล: การเสริมสร้างความยืดหยุ่นสำหรับการดำเนินงานข้อมูลที่ดีขึ้น

Nrupesh Patel
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญทีมวิศวกรรมข้อมูลและทีมวิเคราะห์ข้อมูลทำงานบนมาตราส่วนเวลาที่ขัดแย้งกัน…
ดูเพิ่มเติม
  • ทีมวิศวกรรมข้อมูลและทีมวิเคราะห์ข้อมูลทำงานบนมาตราส่วนเวลาที่ขัดแย้งกัน ก่อให้เกิดความขัดแย้งในการดำเนินงานที่มีค่าใช้จ่ายสูง
  • การจัดวางกลยุทธ์ธุรกิจให้สอดคล้องกับกลยุทธ์การวิเคราะห์ข้อมูลเป็นสิ่งสำคัญต่อการดึงคุณค่าจากข้อมูล
  • กรอบการจัดการข้อมูลหลักและการกำกับดูแลข้อมูลเสริมสร้างการสื่อสารข้ามฝ่ายและการจัดแนวกระบวนการทำงาน

การแบ่งแยกพื้นฐานระหว่างวิศวกรรมข้อมูลและวิเคราะห์ธุรกิจทำให้เกิดความซับซ้อนในการดำเนินงานขององค์กรใน สภาพแวดล้อมดิจิทัลที่เปลี่ยนแปลงอย่างรวดเร็ว องค์กรจัดการข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างในปริมาณที่ไม่เคยมีมาก่อนจากแหล่งต่าง ๆ แต่หลายองค์กรต้องดิ้นรนในการถอดคุณค่าทางธุรกิจที่มีความหมายจากข้อมูลเหล่านั้น ปัญหาหลักคือการไม่เชื่อมต่อที่ยืดเยื้อและมีค่าใช้จ่ายสูงระหว่างทีมที่สร้างและบำรุงรักษาโครงสร้างพื้นฐานข้อมูลและทีมที่พึ่งพาข้อมูลที่ทันเวลาและแม่นยำเพื่อสนับสนุนการดำเนินธุรกิจอย่างมีประสิทธิภาพ เพื่อผสมผสานโซลูชันที่สนับสนุนวิศวกรรมข้อมูลและวิเคราะห์ธุรกิจอย่างมีประสิทธิภาพ ผู้นำจะต้องเข้าใจว่าการแบ่งแยกนี้เกิดขึ้นและแสดงออกมาในมิติทางเทคนิคและดำเนินการอย่างไร การแก้ไขความท้าทายนี้ต้องการแนวทางที่ครอบคลุมซึ่งรวมถึงเทคโนโลยี กระบวนการ และวัฒนธรรมองค์กร ความพยายามนี้ไม่ใช่การอัปเกรดเครื่องมือที่ง่าย แต่เป็นการเปลี่ยนแปลงข้ามฟังก์ชันที่ได้รับการชี้นำโดยฟังก์ชันวิศวกรรมข้อมูลและวิเคราะห์ธุรกิจ

งานข้อมูลบนสเปกตรัม ตั้งแต่การวิเคราะห์ถึงวิศวกรรม

ตาม IBM วิเคราะห์ธุรกิจหมายถึงวิธีการทางสถิติและเทคโนโลยีการคำนวณที่ประมวลผล ขุดค้น และแสดงข้อมูลเพื่อเปิดเผยรูปแบบ ความสัมพันธ์ และข้อมูลเชิงลึกที่สนับสนุนการตัดสินใจทางธุรกิจที่ดีขึ้น วิเคราะห์แสดงคุณค่าเมื่อมันปรับปรุงประสิทธิภาพ ลดความเสี่ยง หรือเพิ่มประสิทธิภาพผ่านข้อมูลเชิงลึกที่สามารถนำไปใช้ได้ ทีมวิเคราะห์ติดตามความสัมพันธ์และรูปแบบเหล่านี้ผ่านชุดเมตริกที่ดำเนินอยู่ ซึ่งโดยทั่วไปเป็นชุดตัวบ่งชี้ประสิทธิภาพหลัก (KPI) INFORMS Analytics Framework อธิบายสิ่งนี้ว่าเป็นวงจรที่เริ่มต้นจากปัญหาและขยายไปสู่การจัดการวงจรชีวิตของโซลูชัน วิเคราะห์กระบวนการได้รับการชี้นำโดยการกำหนดปัญหาและได้รับการสนับสนุนจากเทคโนโลยี

ทีมวิเคราะห์ ซึ่งได้รับแรงผลักดันจากความต้องการทางธุรกิจ ต้องเผชิญกับความกดดันในการส่งมอบข้อมูลเชิงลึกอย่างรวดเร็วและพึ่งพาข้อมูล “สด” เพื่อสนับสนุนการทำงานของพวกเขา ข้อมูลที่ล้าสมัยส่งผลให้ได้ข้อมูลเชิงลึกที่ล้าสมัย ทีมต้องการการเข้าถึงโครงสร้างพื้นฐานข้อมูลที่ช่วยให้สามารถประมวลผลข้อมูลเป็นข้อมูลเชิงลึกที่ส่งมอบคุณค่าทางธุรกิจที่แท้จริงได้ในระยะเวลาสั้นหรือเกือบเรียลไทม์

วิศวกรรมข้อมูลเป็นอีกด้านหนึ่งของสเปกตรัมและได้รับแรงผลักดันจากความต้องการด้านโครงสร้างพื้นฐานและเทคโนโลยี IBM นิยาม วิศวกรรมข้อมูล ว่าเป็น “การปฏิบัติในการออกแบบและสร้างระบบสำหรับการรวบรวม จัดเก็บ และวิเคราะห์ข้อมูลในระดับขนาดใหญ่” แม้ว่างานจะสนับสนุนการส่งมอบข้อมูลเชิงลึก แต่กระบวนการทำงานวิศวกรรมข้อมูลแตกต่างจากเฟรมเวิร์กการวิเคราะห์และมุ่งเน้นไปที่การขนส่งและคลังข้อมูล

ความตึงเครียดและการเติมเต็มกันระหว่างจังหวะการทำงานที่ต่างกัน

ความตึงเครียดระหว่างทีมวิศวกรรมข้อมูลและทีมวิเคราะห์เกิดขึ้นบ่อยที่สุดจากความแตกต่างของระยะเวลาและความต้องการการทำงานที่แข่งขันกัน การตัดสินใจเกี่ยวกับโครงสร้างพื้นฐานและเครื่องมือจากทีมวิศวกรรมข้อมูลขึ้นอยู่กับอัตราการนำไปใช้ของระบบ การพัฒนาเทคโนโลยี ความสามารถของ IT และข้อจำกัดของทรัพยากรในตลาดแรงงานที่ขาดแคลนผู้เชี่ยวชาญ งานวิเคราะห์ขึ้นอยู่กับข้อมูลที่ได้รับเป็นผลิตภัณฑ์กลางที่ให้พลังในการส่งมอบข้อมูลเชิงลึก สิ่งนี้ต้องการให้ทีมวิเคราะห์ทำงานภายในโครงสร้างพื้นฐานที่ทีมวิศวกรรมข้อมูลได้พัฒนาไว้ ในขณะเดียวกันก็พยายามคาดการณ์และสื่อสารความต้องการในอนาคต

ความแตกต่างเหล่านี้สร้างความต่อเนื่องในซึ่งฟังก์ชันการดำเนินงานข้อมูล (DataOps) มีอยู่พร้อมกับช่วงเวลาในหน่วยเวลาที่แตกต่างกัน การแลกเปลี่ยนระหว่างจังหวะที่ต่างกันนี้บางครั้งช่วยเติมเต็มกัน และบางครั้งก็มีแนวโน้มจะปะทะกัน การรวมช่วงเวลานี้ต้องการความสามารถขององค์กรในการสื่อสารข้ามฟังก์ชันและการจัดแนวกระบวนการทางธุรกิจ หากทีมวิเคราะห์ถูกผูกมัดกับโครงสร้างพื้นฐานที่ล้าสมัย การหนี้สินทางเทคนิคของระบบเก่าจะลดความเร็วในการส่งมอบข้อมูลเชิงลึกและทำให้ความสามารถในการแข่งขันลดลง หากทีมวิศวกรรมข้อมูลยังคงผูกมัดกับความคาดหวังให้ทำงานเสร็จอย่างรวดเร็ว การปฏิบัติตามข้อกำหนด ความต่อเนื่องของธุรกิจ ความปลอดภัย คุณภาพ และการเปิดเผยต่อตลาดจะเสี่ยงต่อการถูกกระทบ

สำหรับ DataOps ความสำเร็จขึ้นอยู่กับการระบุความสอดคล้องที่ยืดหยุ่นเฉพาะบริบทระหว่างทีมอย่างต่อเนื่อง การวิจัยล่าสุด พบว่าการจัดแนวยุทธศาสตร์ธุรกิจและยุทธศาสตร์วิเคราะห์ข้อมูลเพิ่มความสามารถในการวิเคราะห์ข้อมูลขนาดใหญ่ในการตอบสนองตลาด การวิจัย อื่นสนับสนุนการยืนยันว่าการจัดแนวยุทธศาสตร์ธุรกิจ-วิทยาศาสตร์ข้อมูลเป็นสิ่งจำเป็นในการจับข้อมูลคุณค่าได้อย่างสำเร็จ

ปัญหาร่วมกัน

เทคโนโลยีที่เกิดขึ้นใหม่ต้องการการเปลี่ยนแปลงโครงสร้างพื้นฐานข้อมูลอย่างรวดเร็ว เมื่อระบบข้อมูลเพิ่มขึ้นในความซับซ้อน ทีมกำลังพัฒนาแบบจำลองและการแสดงโครงสร้างสถาปัตยกรรมที่ซับซ้อนมากขึ้นเพื่อจัดการกับความท้าทายเหล่านี้ นอกจากนี้ การจัดแนวการออกแบบทางเทคนิคกับความต้องการทางสังคมและองค์กรยังเป็นสิ่งสำคัญ การปรับโครงสร้างพื้นฐานข้อมูลขนาดใหญ่ให้เหมาะสมกับความต้องการการดำเนินงานมักต้องการการค้นพบกระบวนการ โดยทีมวิศวกรรมจะวิเคราะห์บันทึกเหตุการณ์เพื่อกำหนดความต้องการของระบบตามการใช้งานจริง

การปฏิบัติในการปรับปรุงกระบวนการแบบย้อนกลับนี้แข่งขันกับเวลาวิศวกรรมและ IT ที่หายาก และสะท้อนถึงการสะสมของความล่าช้าของเวลาที่วิศวกรข้อมูลต้องเผชิญ เนื่องจากทีมภายในสเปกตรัมของ DataOps ติดตามเมตริกที่แตกต่างกัน การแปลความต้องการประสิทธิภาพไปยังการพัฒนาไพพ์ไลน์อาจนำไปสู่ความไม่สอดคล้องและข้อผิดพลาดที่มีค่าใช้จ่ายสูง

ทำไมต้องสร้างวงล้อใหม่?

รายงานของ Gartner ระบุว่าสาขาวิชาสถาปัตยกรรมข้อมูลและวิเคราะห์ที่อุทิศให้กับการปฏิบัติเป็นสิ่งสำคัญในการทำให้ยุทธศาสตร์ปฏิบัติการและจัดสรรทรัพยากรเป็นจริง การจัดแนวสถาปัตยกรรมทางธุรกิจและเทคนิคมีความสำคัญมากขึ้นเรื่อยๆ สำหรับสภาพแวดล้อมทางธุรกิจที่ขับเคลื่อนด้วยเทคโนโลยี

การจัดแนวกระบวนการเป็นความท้าทายในการดำเนินงานที่เกิดขึ้นมานานซึ่งเกิดขึ้นในอัตราและขนาดที่เปิดเผยข้อบกพร่องในการประสานงานขององค์กร เทคนิคต่างๆ สนับสนุนการจัดแนวกระบวนการข้ามฝ่าย การจัดการกระบวนการทางธุรกิจ (BPM) และการกำกับดูแลข้อมูล (DG) เป็นเฟรมเวิร์กที่มีการยอมรับซึ่งช่วยให้องค์กรจัดการกับความต้องการนี้ การเพิ่มขึ้นของอิทธิพลของยุทธศาสตร์เทคโนโลยีต่อผลลัพธ์ทางธุรกิจทำให้วิชาชีพที่สนับสนุนการปรับตัวและการจัดแนวกระบวนการทางธุรกิจมีความสำคัญมากขึ้น

การบริหารจัดการข้อมูลหลัก (MDM) และ DG ได้ปรากฏตัวขึ้นเป็นวิชาชีพที่มีประสิทธิผลในการจัดแนวกระบวนการทางธุรกิจและข้อมูล ทีม DataOps ที่มี MDM และ DG ในที่มีตำแหน่งที่ดีที่สุดในการนำหลักการเสริมสร้างความยืดหยุ่นไปใช้เพื่อปรับปรุงประสิทธิภาพการดำเนินงาน ความชัดเจนของบทบาทความเป็นเจ้าของข้อมูลและวินัยสถาปัตยกรรมที่มีการจัดตั้งไว้ทำให้การจัดแนวกระบวนการและการสื่อสารข้ามฟังก์ชันเข้มแข็งขึ้นเพื่อสนับสนุนผลลัพธ์ยุทธศาสตร์ทางธุรกิจและเทคนิค DataOps ที่จัดแนวใช้ประโยชน์จากสเปกตรัมทั้งหมดของห่วงโซ่คุณค่าข้อมูลเพื่อสนับสนุนยุทธศาสตร์ทางธุรกิจ

การตีความข้อเสนอแนะเกี่ยวกับคุณภาพและความสมบูรณ์ของข้อมูลเป็นปัญหาร่วมกันสำหรับทีมวิศวกรรมข้อมูลและทีมวิเคราะห์ ช่องว่างในการสื่อความหมายระหว่างวิศวกรและนักวิเคราะห์สะท้อนถึงปัญหาในระดับสถาปัตยกรรมที่เกี่ยวข้องกับยุทธศาสตร์เทคโนโลยีและความสอดคล้องของแบบจำลองธุรกิจ เนื่องจากการพัฒนาระบบโครงสร้างพื้นฐานมักจะล่าช้ากว่าความต้องการทางธุรกิจ การสื่อสารที่ยืดหยุ่นจึงเป็นตัวจำกัดอัตราสำหรับองค์กรในการจับข้อมูลคุณค่า การลาออก ความไม่แน่นอนของตลาด หนี้สินทางเทคนิค และการแข่งขันภายในทรัพยากรทำให้เกิดคำถามเกี่ยวกับว่ากระบวนการสื่อสารข้ามฟังก์ชันจะทำงานอย่างไรภายใต้แรงกดดัน การเสริมสร้างความเชื่อมโยงระหว่างทีมวิเคราะห์และทีมวิศวกรรมข้อมูลผ่านการนำไปใช้ ความแม่นยำ และการดำเนินการที่เชื่อถือได้ในสถานการณ์ที่มีความกดดันสูงแสดงถึงการเปลี่ยนแปลงที่สำคัญต่อการดำเนินงานข้อมูลที่ยืดหยุ่น

Nrupesh Patel เป็นนักวิเคราะห์ข้อมูลและธุรกิจอัจฉริยะที่ Genesys Enterprise Technology Solutions เขามีประสบการณ์หลายปีในการให้คำแนะนำเชิงกลยุทธ์ด้านธุรกิจอัจฉริยะ การวิเคราะห์เชิงปริมาณ การเชื่อมโยงข้อมูล และการกำกับดูแลข้อมูล โดยมุ่งปรับปรุงกระบวนการดำเนินงานและกระบวนการตามหน้าที่งาน เขาสำเร็จการศึกษาวิทยาศาสตรมหาบัณฑิตสาขาระบบสารสนเทศจากมหาวิทยาลัย Pace

ข้อสงวนความรับผิด: ทัศนะและความคิดเห็นในบทความนี้เป็นของผู้เขียน และไม่จำเป็นต้องสะท้อนนโยบายหรือจุดยืนอย่างเป็นทางการของนายจ้างของผู้เขียน