ซาเกต ซาอูรับห์ ซีอีโอ และผู้ร่วมก่อตั้ง Nexla – สัมภาษณ์ซีรีส์

ซาเกต ซาอูรับห์ ซีอีโอ และผู้ร่วมก่อตั้ง Nexla เป็นนักธุรกิจที่มีความหลงใหลในข้อมูลและโครงสร้างพื้นฐาน เขาเป็นผู้นำในการพัฒนาแพลตฟอร์มวิศวกรรมข้อมูลอัตโนมัติรุ่นต่อไปที่ออกแบบมาเพื่อนำความเร็วและความสามารถในการปรับขนาดมาให้กับผู้ที่ทำงานกับข้อมูล

ก่อนหน้านี้ ซาอูรับห์เป็นผู้ก่อตั้งสตาร์ทอัพมือถือที่ประสบความสำเร็จซึ่งบรรลุเป้าหมายที่สำคัญ รวมถึงการเข้าซื้อกิจการ การเสนอขายหุ้นแก่ประชาชนทั่วไป (IPO) และเติบโตเป็นธุรกิจมูลค่าหลายล้านดอลลาร์ เขายังได้ร่วมพัฒนาผลิตภัณฑ์และเทคโนโลยีนวัตกรรมหลายอย่างในช่วงเวลาที่เขาทำงานที่ Nvidia (NVDA )

Nexla ช่วยให้สามารถทำวิศวกรรมข้อมูลอัตโนมัติได้ เพื่อให้ข้อมูลพร้อมใช้งาน พวกเขาทำสิ่งนี้ได้โดยใช้แนวทางที่เป็นเอกลักษณ์ของ Nexsets ซึ่งเป็นผลิตภัณฑ์ข้อมูลที่ทำให้ทุกคนสามารถรวม ขยาย ส่ง และติดตามข้อมูลได้อย่างง่ายดาย

อะไร启發คุณให้ก่อตั้ง Nexla และประสบการณ์ของคุณในวิศวกรรมข้อมูลมีผลต่อวิสัยทัศน์ของคุณสำหรับบริษัทอย่างไร

ก่อนที่จะก่อตั้ง Nexla ฉันเริ่มการเดินทางในวิศวกรรมข้อมูลที่ Nvidia โดยสร้างเทคโนโลยีที่มีความสามารถสูงและปรับขนาดได้ หลังจากนั้น ฉันนำสตาร์ทอัพก่อนหน้าของฉันผ่านการเข้าซื้อกิจการและการเสนอขายหุ้นแก่ประชาชนทั่วไปในพื้นที่โฆษณามือถือ ซึ่งข้อมูลและเครื่องมือการเรียนรู้ของเครื่องเป็นส่วนสำคัญของข้อเสนอ โดยประมวลผลประมาณ 300 พันล้านบันทึกข้อมูลทุกวัน

เมื่อดูภูมิทัศน์ในปี 2015 หลังจากที่บริษัทก่อนหน้าของฉันเข้าจดทะเบียน ฉันกำลังมองหาความท้าทายครั้งใหญ่ต่อไปที่ทำให้ฉันรู้สึกตื่นเต้น การมาจากสองภูมิหลังที่แตกต่างกัน ทำให้ฉันเห็นได้ชัดว่าความท้าทายด้านข้อมูลและคอมพิวเตอร์กำลังรวมกัน เนื่องจากอุตสาหกรรมกำลังเคลื่อนไปสู่แอปพลิเคชันที่ซับซ้อนมากขึ้นโดยใช้ข้อมูลและ AI

ในขณะที่เรายังไม่รู้ว่า Generative AI (GenAI) จะก้าวหน้าอย่างรวดเร็วเช่นนี้ แต่ก็ชัดเจนว่าเครื่องมือการเรียนรู้ของเครื่องและ AI จะเป็นพื้นฐานสำหรับการใช้ประโยชน์จากข้อมูล ดังนั้นฉันจึงเริ่มคิดเกี่ยวกับโครงสร้างพื้นฐานที่จำเป็นสำหรับผู้คนในการทำงานกับข้อมูล และวิธีการทำให้ทุกคน ไม่ใช่แค่ผู้วิศวกรเท่านั้น สามารถใช้ข้อมูลในงานวิชาชีพประจำวันได้

สิ่งนี้นำไปสู่วิสัยทัศน์ของ Nexla – เพื่อทำให้วิศวกรรมข้อมูลง่ายขึ้นและอัตโนมัติ เนื่องจากวิศวกรรมข้อมูลเป็นวิธีแก้ปัญหาแบบกำหนดเองภายในบริษัทส่วนใหญ่ โดยเฉพาะเมื่อเผชิญกับปัญหาเกี่ยวกับข้อมูลที่ซับซ้อนหรือมีขนาดใหญ่ เป้าหมายคือการทำให้ข้อมูลสามารถเข้าถึงได้และเข้าถึงได้สำหรับผู้ใช้หลากหลาย ไม่ใช่แค่ผู้วิศวกรข้อมูลเท่านั้น ประสบการณ์ของฉันในการสร้างระบบข้อมูลและแอปพลิเคชันที่มีความสามารถสูงได้เชื้อเพลิงให้กับวิสัยทัศน์นี้ในการทำให้ข้อมูลเข้าถึงได้สำหรับทุกคนผ่านการทำให้ง่ายขึ้นและอัตโนมัติ

Nexsets เป็นตัวอย่างของภารกิจของ Nexla ในการทำให้ข้อมูลพร้อมใช้งานสำหรับทุกคนได้อย่างไร และทำไมนวัตกรรมนี้จึงมีความสำคัญสำหรับองค์กรสมัยใหม่

Nexsets เป็นตัวอย่างของภารกิจของ Nexla ในการทำให้ข้อมูลพร้อมใช้งานสำหรับทุกคนโดยการแก้ไขความท้าทายหลักของข้อมูล 3V ของข้อมูล – ปริมาณ ความเร็ว และความหลากหลาย – เป็นปัญหาที่ยังคงอยู่ในอุตสาหกรรม อุตสาหกรรมได้ทำความก้าวหน้าในการแก้ไขความท้าทายด้านปริมาณและความเร็ว แต่ความหลากหลายของข้อมูลยังคงเป็นอุปสรรคที่สำคัญ เนื่องจากการแพร่กระจายของระบบและแอปพลิเคชันใหม่ ๆ ทำให้เกิดความหลากหลายของโครงสร้างและรูปแบบข้อมูลที่เพิ่มขึ้น

แนวทางของ Nexla คือการสร้างแบบจำลองข้อมูลและเชื่อมต่อข้อมูลจากแหล่งต่างๆ อัตโนมัติเป็นหน่วยงานที่สอดคล้องกันและเป็นแพ็คเกจที่เรียกว่า Nexset ซึ่งช่วยให้ผู้ใช้สามารถเข้าถึงและทำงานกับข้อมูลได้โดยไม่ต้องเข้าใจความซับซ้อนของแหล่งข้อมูลและโครงสร้างข้อมูลที่แตกต่างกัน Nexset ทำหน้าที่เป็นประตูให้เข้าถึงข้อมูลได้ง่ายและตรงไปตรงมา

สิ่งนี้มีความสำคัญสำหรับองค์กรสมัยใหม่ เนื่องจากช่วยให้ผู้คนจำนวนมากขึ้น ไม่ใช่แค่ผู้วิศวกรข้อมูลเท่านั้น สามารถใช้ข้อมูลในงานประจำวันได้ โดยการทำให้ความหลากหลายและความซับซ้อนของข้อมูลเป็นเรื่องง่าย Nexsets ทำให้ผู้ใช้สามารถเข้าถึงและทำงานกับข้อมูลที่ต้องการได้โดยไม่ต้องมีความเชี่ยวชาญทางเทคนิคมาก

เรายังทำงานเพื่อให้การรวมตัวเป็นเรื่องง่ายสำหรับผู้บริโภคข้อมูลที่ไม่ใช่เทคนิค ตั้งแต่การออกแบบอินเทอร์เฟซผู้ใช้และวิธีการที่ผู้คนร่วมมือกันและจัดการข้อมูล ไปจนถึงวิธีการสร้างการแปลงและเวิร์กโฟลว์ การทำให้ความซับซ้อนของความหลากหลายของข้อมูลเป็นเรื่องง่ายเป็นกุญแจสำคัญในการทำให้ข้อมูลสามารถเข้าถึงได้และเพิ่มพลังให้กับผู้ใช้หลากหลายในการได้รับประโยชน์จากทรัพย์สินข้อมูลของตน

อะไรที่ทำให้ข้อมูล “พร้อมสำหรับ GenAI” และ Nexla จัดการกับความต้องการเหล่านี้ได้อย่างมีประสิทธิภาพอย่างไร

คำตอบส่วนหนึ่ง phụ thuộc vàoว่าคุณใช้ GenAI อย่างไร ส่วนใหญ่ของบริษัทต่างๆ กำลังใช้ GenAI สำหรับการค้นหาที่เพิ่มประสิทธิภาพ (RAG) ซึ่งต้องเตรียมและเข้ารหัสข้อมูลเพื่อโหลดเข้าไปในฐานข้อมูลเวกเตอร์ และจากนั้นจึงค้นหาข้อมูลโดยใช้การค้นหาเพื่อเพิ่มเป็นบริบทสำหรับโมเดลภาษาขนาดใหญ่ (LLM) ที่ไม่ได้รับการฝึกฝนโดยใช้ข้อมูลนี้ ดังนั้นข้อมูลจึงต้องถูกเตรียมให้พร้อมสำหรับการค้นหาเวกเตอร์และ LLM

ไม่ว่าคุณจะใช้ RAG การฝึกอบรมที่เพิ่มประสิทธิภาพ (RAFT) หรือการฝึกอบรมแบบอื่นๆ ก็ตาม มีข้อกำหนดหลักๆ ดังต่อไปนี้:

• รูปแบบข้อมูล: GenAI LLM มักทำงานได้ดีที่สุดกับข้อมูลในรูปแบบเฉพาะ ข้อมูลต้องถูกจัดรูปให้เหมาะสมเพื่อให้โมเดลสามารถดูดซับและประมวลผลได้ง่าย
• การเชื่อมต่อ: GenAI LLM ต้องการการเชื่อมต่อแบบไดนามิกกับแหล่งข้อมูลที่เกี่ยวข้อง ไม่ใช่การอาศัยชุดข้อมูลที่คงที่ สิ่งนี้ต้องการการเชื่อมต่ออย่างต่อเนื่องกับระบบและคลังข้อมูลขององค์กร
• ความปลอดภัยและการกำกับดูแล: เมื่อใช้ข้อมูลที่ละเอียดอ่อนขององค์กร จะต้องมีการควบคุมความปลอดภัยและการกำกับดูแลที่เข้มงวด การเข้าถึงและใช้ข้อมูลต้องปลอดภัยและเป็นไปตามนโยบายขององค์กร
• ความสามารถในการปรับขนาด: GenAI LLM สามารถใช้ข้อมูลและคอมพิวเตอร์มาก ดังนั้นโครงสร้างพื้นฐานข้อมูลจึงต้องสามารถปรับขนาดเพื่อรองรับความต้องการของโมเดลเหล่านี้

Nexla จัดการกับความต้องการเหล่านี้สำหรับการทำให้ข้อมูลพร้อมสำหรับ GenAI ในหลายวิธี:

• การเข้าถึงข้อมูลแบบไดนามิก: แพลตฟอร์มการรวมข้อมูลของ Nexla ให้ทางเดียวในการเชื่อมต่อกับแหล่งข้อมูลหลายร้อยแห่ง และใช้รูปแบบการรวมและความเร็วข้อมูลที่หลากหลาย พร้อมด้วยการกำกับดูแลเพื่อให้ GenAI LLM ได้รับข้อมูลล่าสุดที่ต้องการเมื่อต้องการ
• การเตรียมข้อมูล: Nexla มีความสามารถในการดึงข้อมูลและเตรียมข้อมูลในรูปแบบที่เหมาะสมสำหรับการใช้งาน GenAI แต่ละครั้ง รวมถึงการแบ่งข้อมูลและสนับสนุนโมเดลการเข้ารหัสหลายรูปแบบ
• การบริการตนเองและการทำงานร่วมกัน: ด้วย Nexla ผู้บริโภคข้อมูลไม่เพียงแต่สามารถเข้าถึงข้อมูลและสร้าง Nexsets และเวิร์กโฟลว์ได้เท่านั้น แต่ยังสามารถทำงานร่วมกันและแบ่งปันผลงานผ่านตลาดที่รับประกันความถูกต้องและปรับปรุงประสิทธิภาพการทำงานโดยการนำกลับมาใช้ใหม่
• การสร้างอัตโนมัติ: การรวมและการใช้ GenAI เป็นเรื่องที่ยาก Nexla สร้างขั้นตอนเหล่านี้อัตโนมัติตามตัวเลือกของผู้บริโภคข้อมูล โดยใช้ AI และเทคนิคอื่นๆ เพื่อให้ผู้ใช้สามารถทำงานด้วยตนเอง
• การกำกับดูแลและการรักษาความปลอดภัย: Nexla รวมการควบคุมความปลอดภัยและการกำกับดูแลที่เข้มงวดตลอดทั้งระบบ รวมถึงการทำงานร่วมกัน เพื่อให้แน่ใจว่าข้อมูลที่ละเอียดอ่อนขององค์กรจะถูกเข้าถึงและใช้ได้อย่างปลอดภัยและเป็นไปตามข้อกำหนด
• ความสามารถในการปรับขนาด: แพลตฟอร์ม Nexla ได้รับการออกแบบมาเพื่อปรับขนาดเพื่อรองรับความต้องการของ GenAI

การรวมการทำงานร่วมกัน การบริการตนเอง การสร้างอัตโนมัติ และการกำกับดูแลข้อมูลเป็นสิ่งจำเป็นสำหรับการทำให้ข้อมูลเป็นประชาธิปไตย

การรวมข้อมูลจากแหล่งต่างๆ และรูปแบบต่างๆ มีส่วนช่วยให้โมเดล GenAI ประสบความสำเร็จได้อย่างไร และ Nexla มีบทบาทในการทำให้กระบวนการรวมข้อมูลง่ายขึ้นได้อย่างไร

โมเดล GenAI ต้องการการเข้าถึงข้อมูลทุกประเภทเพื่อให้ได้ข้อมูลเชิงลึกและผลลัพธ์ที่เกี่ยวข้อง หากคุณไม่ให้ข้อมูลเหล่านี้ คุณไม่ควรคาดหวังผลลัพธ์ที่ดี มันเป็นเหมือนกับมนุษย์

โมเดล GenAI ต้องการการฝึกอบรมด้วยข้อมูลที่หลากหลาย ตั้งแต่ฐานข้อมูลที่มีโครงสร้างไปจนถึงเอกสารที่ไม่มีโครงสร้าง เพื่อสร้างความเข้าใจที่ครอบคลุมเกี่ยวกับโลก ข้อมูลจากแหล่งข้อมูลต่างๆ เช่น บทความข่าว รายงานทางการเงิน และการโต้ตอบของลูกค้า ให้ข้อมูลเชิงบริบทที่มีคุณค่าซึ่งโมเดลเหล่านี้สามารถใช้ได้ การสัมผัสกับข้อมูลที่หลากหลายยังช่วยให้โมเดล GenAI มีความยืดหยุ่นและปรับเปลี่ยนได้ ทำให้สามารถจัดการกับคำถามและงานที่หลากหลายได้

Nexla ทำให้ความหลากหลายของข้อมูลเป็นเรื่องง่ายด้วย Nexsets และทำให้สามารถเข้าถึงแหล่งข้อมูลได้ง่าย โดยการดึงข้อมูลและแปลงข้อมูลเพื่อให้ผู้บริโภคข้อมูลสามารถมุ่งเน้นไปที่ข้อมูลและทำให้ข้อมูลพร้อมสำหรับ GenAI

แนวโน้มใดที่กำลังกำหนดรูปทรงของระบบนิเวศของข้อมูลในปี 2025 และหลังจากนั้น โดยเฉพาะอย่างยิ่งด้วยการเพิ่มขึ้นของ GenAI

บริษัทต่างๆ ส่วนใหญ่มุ่งเน้นไปที่การใช้ GenAI ในการสร้างผู้ช่วยหรือผู้ช่วยร่วมในการตัดสินใจ Agentic AI ซึ่งเป็นตัวแทนการที่สามารถทำงานอัตโนมัติโดยไม่ต้องมีการมีส่วนร่วมของมนุษย์ กำลังเป็นแนวโน้มที่กำลังเติบโตเมื่อเราเข้าสู่ปี 2025 ตัวแทนเหล่านี้ต้องการการรวมเพื่อให้แน่ใจว่าข้อมูลไหลผ่านได้อย่างราบรื่น ไม่ใช่แค่ในทางเดียวเท่านั้น แต่ยังช่วยให้ AI สามารถดำเนินการตามข้อมูลได้

อีกแนวโน้มที่สำคัญในปี 2025 คือความซับซ้อนของระบบ AI ที่เพิ่มขึ้น ระบบเหล่านี้กำลังกลายเป็นระบบที่ซับซ้อนมากขึ้นโดยการรวมองค์ประกอบจากแหล่งต่างๆ เพื่อสร้างโซลูชันที่สอดคล้องกัน มันคล้ายกับวิธีที่มนุษย์ใช้เครื่องมือต่างๆ ทุกวันเพื่อทำงานให้สำเร็จ ระบบ AI ที่มีอำนาจจะทำตามแนวทางนี้โดยการประสานงานเครื่องมือและองค์ประกอบหลายอย่าง สิ่งนี้นำเสนอความท้าทายที่สำคัญ แต่ยังเป็นพื้นที่สำคัญของการพัฒนา

จากมุมมองของแนวโน้ม เรากำลังเห็นแรงผลักดันให้ AI ที่สร้างสรรค์ไปไกลกว่าการค้นหาความสัมพันธ์แบบง่ายๆ และไปสู่การให้เหตุผลที่แท้จริง มีการพัฒนาทางเทคโนโลยีมากมายในพื้นที่นี้ แม้ว่าการพัฒนาทางเทคนิคเหล่านี้อาจไม่เปลี่ยนเป็นคุณค่าเชิงพาณิชย์ในปี 2025 แต่ก็แสดงถึงทิศทางที่เราอยู่

อีกแนวโน้มที่สำคัญคือการนำเทคโนโลยีที่เร่งความเร็วมาใช้สำหรับการอนุมาน AI โดยเฉพาะอย่างยิ่งด้วยบริษัทอย่าง Nvidia โดยทั่วไปแล้ว GPU ถูกใช้ในการฝึกอบรมโมเดล AI แต่การอนุมานแบบเรียลไทม์ – จุดที่โมเดลถูกใช้งานอยู่ – กำลังจะกลายเป็นสิ่งสำคัญเช่นกัน เราควรคาดหวังการปรับปรุงการอนุมานให้มีประสิทธิภาพและประสิทธิผลมากขึ้น

นอกจากนี้ยังมีการตระหนักว่าข้อมูลฝึกอบรมที่มีอยู่ส่วนใหญ่ถูกใช้จนหมดแล้ว ซึ่งหมายความว่าการปรับปรุงโมเดลในอนาคตจะไม่มาจากการเพิ่มข้อมูลในการฝึกอบรม แต่จะมาจากการทำงานของโมเดลในช่วงการอนุมาน ในระหว่างการทำงาน ระบบจะใช้ข้อมูลใหม่เพื่อปรับปรุงผลลัพธ์ของโมเดล ซึ่งจะกลายเป็นจุดเน้นสำคัญ

ในขณะที่เทคโนโลยีบางอย่างเริ่มถึงขีดจำกัดของตน นวัตกรรมใหม่ๆ จะยังคงเกิดขึ้น สิ่งนี้เน้นย้ำถึงความสำคัญของความคล่องตัวสำหรับองค์กรที่นำ AI มาใช้ สิ่งที่ทำงานได้ดีในวันนี้อาจกลายเป็นเรื่องเก่าไปในอีก 6 เดือนหรือ 1 ปี ดังนั้นจึงจำเป็นต้องเตรียมพร้อมที่จะเพิ่มหรือแทนที่แหล่งข้อมูลและองค์ประกอบใดๆ ของพายพีของ AI การปรับตัวและเปิดรับการเปลี่ยนแปลงเป็นสิ่งสำคัญในการรักษาความสามารถในการแข่งขันในภูมิทัศน์ที่เปลี่ยนแปลงอย่างรวดเร็ว

กลยุทธ์ใดที่องค์กรสามารถนำมาใช้เพื่อทำลายสilo ข้อมูลและปรับปรุงการไหลของข้อมูลข้ามระบบต่างๆ

ขั้นแรก ผู้คนต้องยอมรับว่าสิโลข้อมูลจะยังคงอยู่เสมอ สิ่งนี้มักจะเกิดขึ้นในหลายองค์กรที่พยายามรวมข้อมูลทั้งหมดไว้ในที่เดียว โดยเชื่อว่าจะสร้างการกำหนดค่าที่เหมาะสมและปลดปล่อยคุณค่าที่สำคัญ แต่สิ่งนี้มักจะกลายเป็นโครงการที่ยาวนานและแพง ซึ่งใช้เวลาหลายปี โดยเฉพาะอย่างยิ่งสำหรับองค์กรขนาดใหญ่

เมื่อเราเข้าใจแล้วว่าสิโลข้อมูลจะยังคงอยู่เสมอ คำถามที่ต้องถามคือ: เราจะทำงานร่วมกับสิโลข้อมูลได้อย่างมีประสิทธิภาพได้อย่างไร

การเปรียบเทียบที่มีประโยชน์คือการคิดถึงบริษัทขนาดใหญ่ ไม่มีบริษัทขนาดใหญ่ที่ดำเนินงานจากสำนักงานเดียวที่ทุกคนทำงานร่วมกันทั่วโลก แทนที่จะแบ่งออกเป็นสำนักงานใหญ่และสำนักงานหลายแห่ง เป้าหมายไม่ใช่การต่อต้านการแบ่งแยกนี้ แต่เพื่อให้แน่ใจว่าสำนักงานเหล่านั้นสามารถทำงานร่วมกันได้อย่างมีประสิทธิภาพ นั่นคือเหตุผลที่เราลงทุนในเครื่องมือผลิตภาพ เช่น Zoom หรือ Slack เพื่อเชื่อมต่อผู้คนและทำให้กระบวนการทำงานร่วมกันข้ามที่ตั้ง

ในทำนองเดียวกัน สิโลข้อมูลคือระบบที่แยกจากกันที่จะยังคงอยู่เสมอข้ามทีม ภาค หรือพรมแดนอื่นๆ เป้าหมายไม่ใช่การกำจัดพวกมัน แต่เพื่อให้พวกมันทำงานร่วมกันได้อย่างราบรื่น ด้วยการรู้สิ่งนี้แล้ว เราสามารถมุ่งเน้นไปที่เทคโนโลยีที่อำนวยความสะดวกในการเชื่อมต่อเหล่านี้

ตัวอย่างเช่น เทคโนโลยีเช่น Nexsets ให้インターフェซที่เหมือนกันหรือชั้นการ trừออกที่ทำงานข้ามแหล่งข้อมูลที่หลากหลาย โดยการทำงานเป็นประตูสู่สิโลข้อมูลเหล่านี้ พวกเขาช่วยให้กระบวนการทำงานร่วมกันกับข้อมูลที่กระจายไปทั่วสิโลต่างๆ มีประสิทธิภาพและลดผลกระทบด้านลบของสิโล

ในความเป็นจริง กลยุทธ์ควรเป็นการปรับปรุงการทำงานร่วมกันระหว่างสิโล ไม่ใช่การพยายามกำจัดพวกมัน องค์กรหลายแห่งทำผิดพลาดโดยพยายามรวมทุกอย่างเข้าด้วยกันในทะเลสาบข้อมูลขนาดใหญ่ แต่ถ้าจะพูดตรงๆ นั่นเป็นการต่อสู้ที่ยากที่จะชนะ

แพลตฟอร์มข้อมูลสมัยใหม่จัดการกับความท้าทายด้านความเร็วและความสามารถในการปรับขนาดได้อย่างไร และอะไรที่ทำให้ Nexla แตกต่างในการแก้ไขปัญหาเหล่านี้

ในมุมมองของฉัน เครื่องมือหลายอย่างในスタ็กข้อมูลสมัยใหม่ถูกออกแบบมาเพื่อความง่ายในการใช้งานและความเร็วในการพัฒนา ซึ่งมาจากการทำให้เครื่องมือเหล่านี้สามารถเข้าถึงได้มากขึ้น – ช่วยให้นักวิเคราะห์ทางการตลาดสามารถย้ายข้อมูลจากแพลตฟอร์มการตลาดไปยังเครื่องมือการแสดงภาพได้ ตัวอย่างเช่น

เมื่อเราพูดถึงความสามารถในการปรับขนาด ผู้คนมักจะคิดถึงการปรับขนาดในแง่ของการรับมือกับปริมาณข้อมูลที่ใหญ่ขึ้น แต่ความท้าทายที่แท้จริงของความสามารถในการปรับขนาดมาจากสองปัจจัยหลัก: จำนวนคนที่ต้องทำงานกับข้อมูลที่เพิ่มขึ้น และความหลากหลายของระบบและประเภทข้อมูลที่องค์กรต้องจัดการ

เครื่องมือสมัยใหม่ซึ่งมีความเชี่ยวชาญสูงมักจะแก้ไขเพียงชุดย่อยของความท้าทายเหล่านี้เท่านั้น ส่งผลให้องค์กรมีการใช้เครื่องมือหลายอย่าง โดยแต่ละเครื่องมือแก้ไขปัญหาเดียว ซึ่งสร้างความท้าทายใหม่ๆ เช่น การใช้เครื่องมือมากเกินไปและประสิทธิภาพการทำงานที่ไม่ดี

Nexla จัดการกับปัญหานี้โดยการสร้างสมดุลระหว่างความง่ายในการใช้งานและความยืดหยุ่น ในด้านหนึ่ง เราให้ความง่ายด้วยคุณสมบัติ เช่น เทมเพลตและอินเทอร์เฟซที่ใช้งานง่าย ในทางกลับกัน เราให้ความยืดหยุ่นและความสามารถในการพัฒนาให้กับนักพัฒนา ทีมสามารถเพิ่มคุณสมบัติใหม่ๆ ให้กับระบบได้ แต่การปรับปรุงเหล่านี้ยังคงสามารถเข้าถึงได้สำหรับผู้ใช้ที่ไม่ใช่เทคนิคเป็นปุ่มและคลิก

สิ่งที่ทำให้ Nexla แตกต่างคือความสามารถในการรวมความง่ายในการใช้งานเข้ากับความสามารถในการปรับขนาดและความกว้างที่จำเป็นสำหรับองค์กร แพลตฟอร์มของเราเชื่อมต่อโลกเหล่านี้เข้าด้วยกันอย่างไร้รอยต่อ ช่วยให้ทีมสามารถทำงานได้อย่างมีประสิทธิภาพโดยไม่สูญเสียพลังหรือความยืดหยุ่น

จุดแข็งหลักของ Nexla คือสถาปัตยกรรมที่ถูกทำให้ง่ายขึ้น ตัวอย่างเช่น ในขณะที่ผู้ใช้สามารถออกแบบการไหลของข้อมูลได้อย่างมองเห็นได้ วิธีการที่การไหลของข้อมูลนั้นถูกดำเนินการเป็นแบบปรับเปลี่ยนได้สูง ขึ้นอยู่กับความต้องการของผู้ใช้ เช่น แหล่งที่มา จุดหมายปลายทาง หรือว่าข้อมูลต้องเป็นแบบเรียลไทม์หรือไม่ แพลตฟอร์มจะจับคู่การไหลของข้อมูลกับหนึ่งในหกเครื่องจักรที่แตกต่างกันโดยอัตโนมัติ เพื่อให้แน่ใจว่ามีการทำงานที่เหมาะสมที่สุดโดยไม่ต้องให้ผู้ใช้จัดการความซับซ้อนนี้ด้วยตนเอง

แพลตฟอร์มนี้ยังถูกออกแบบให้หลุดออกจากกัน ซึ่งหมายความว่าระบบต้นทางและระบบปลายทางถูกแยกออกจากกัน ทำให้ผู้ใช้สามารถเพิ่มจุดหมายปลายทางเพิ่มเติมให้กับแหล่งข้อมูลที่มีอยู่ได้อย่างง่ายดาย และสามารถเพิ่มแหล่งข้อมูลให้กับจุดหมายปลายทางที่มีอยู่ได้ และสามารถเปิดใช้งานการรวมแบบสองทางระหว่างระบบได้

สิ่งสำคัญคือ Nexla ทำให้การออกแบบการไหลของข้อมูลง่ายขึ้น เพื่อให้ผู้ใช้สามารถจัดการกับข้อมูลแบตช์ ข้อมูลสตรีม และข้อมูลแบบเรียลไทม์โดยไม่ต้องเปลี่ยนกระบวนการทำงานหรือการออกแบบ แพลตฟอร์มจะปรับให้เหมาะสมกับความต้องการเหล่านี้โดยอัตโนมัติ ทำให้ผู้ใช้สามารถทำงานกับข้อมูลในรูปแบบหรือความเร็วใดๆ ได้อย่างง่ายดาย

สิ่งนี้แสดงให้เห็นว่าเราได้สร้าง Nexla โดยมีผู้บริโภคข้อมูลเป็นศูนย์กลาง มีเครื่องมือหลายอย่างที่ถูกออกแบบมาเพื่อผู้ผลิตข้อมูลหรือผู้จัดการระบบ แต่เราให้ความสำคัญกับความต้องการของผู้บริโภคข้อมูลที่ต้องการอินเทอร์เฟซที่สม่ำเสมอและตรงไปตรงมาเพื่อเข้าถึงข้อมูล โดยไม่คำนึงถึงแหล่งที่มา

คุณสามารถแบ่งปันข้อมูลเกี่ยวกับวิธีการที่คุณสมบัติแบบไม่ต้องเขียนโค้ดและแบบเขียนโค้ดน้อยได้เปลี่ยนแปลงวิศวกรรมข้อมูลสำหรับลูกค้าของคุณได้หรือไม่

คุณสมบัติแบบไม่ต้องเขียนโค้ดและแบบเขียนโค้ดน้อยได้เปลี่ยนแปลงกระบวนการวิศวกรรมข้อมูลให้เป็นประสบการณ์การทำงานร่วมกันสำหรับผู้ใช้ ตัวอย่างเช่น ในอดีตทีมการดำเนินงานบัญชีของ DoorDash ซึ่งจัดการข้อมูลสำหรับผู้ขาย ต้องให้ข้อกำหนดแก่ทีมวิศวกร ทีมวิศวกรจะสร้างโซลูชัน ซึ่งนำไปสู่กระบวนการซ้ำๆ ที่ใช้เวลานาน

ตอนนี้ ด้วยเครื่องมือแบบไม่ต้องเขียนโค้ดและแบบเขียนโค้ดน้อย ทีมการดำเนินงานประจำวันสามารถใช้อินเทอร์เฟซแบบเขียนโค้ดน้อยเพื่อจัดการงานของตนได้ ในขณะที่ทีมวิศวกรสามารถเพิ่มคุณสมบัติใหม่ๆ และความสามารถให้กับแพลตฟอร์มแบบเขียนโค้ดน้อยได้อย่างรวดเร็ว ทำให้ทีมการดำเนินงานสามารถใช้คุณสมบัติเหล่านี้ได้อย่างไม่มีการหยุดชะงัก

การเปลี่ยนแปลงนี้ได้เปลี่ยนกระบวนการให้เป็นความพยายามร่วมกัน ไม่ใช่การขัดขวางความคิดสร้างสรรค์ ลูกค้ารายงานว่างานที่ใช้เวลา 2-3 เดือนสามารถทำเสร็จได้ภายใน 2 สัปดาห์ ซึ่งเป็นการปรับปรุงความเร็ว 5-10 เท่า

บทบาทของวิศวกรรมข้อมูลกำลังพัฒนาไปอย่างไร โดยเฉพาะอย่างยิ่งด้วยการนำ AI มาใช้เพิ่มขึ้น

วิศวกรรมข้อมูลกำลังพัฒนาไปอย่างรวดเร็ว โดยได้รับแรงผลักดันจากอัตโนมัติและความก้าวหน้า เช่น GenAI หลายด้านของสาขานี้ เช่น การสร้างโค้ดและการสร้างตัวเชื่อมต่อ กำลังเร็วขึ้นและง่ายขึ้น ตัวอย่างเช่น ด้วย GenAI อัตราที่ตัวเชื่อมต่อสามารถสร้างทดสอบและปรับใช้ได้เร็วขึ้นอย่างมาก แต่ความก้าวหน้านี้ยังนำมาซึ่งความท้าทายใหม่ๆ เช่น ความซับซ้อนและความกังวลเรื่องความปลอดภัย

ความกังวลที่สำคัญคือการละเมิดข้อมูลที่อาจเกิดขึ้นขององค์กร บริษัทต่างๆ กังวลเกี่ยวกับข้อมูลที่เป็นกรรมสิทธิ์ของตนซึ่งอาจถูกใช้ในการฝึกอบรมโมเดล AI โดยไม่ได้ตั้งใจและอาจสูญเสียความได้เปรียบทางการแข่งขันหรือประสบกับการละเมิดข้อมูลเมื่อข้อมูลถูกเปิดเผยต่อผู้อื่น ความซับซ้อนของระบบและปริมาณข้อมูลที่มากขึ้นจำเป็นต้องมีการมองเห็นภาพรวมของทีมวิศวกรรมข้อมูล โดยเน้นไปที่ปัญหาของระบบ เช่น ความปลอดภัย การกำกับดูแล และการรักษาความปลอดภัยของข้อมูล

ในขณะที่ AI ที่สร้างสรรค์สามารถทำให้กระบวนการทำงานอัตโนมัติได้ บทบาทของวิศวกรรมข้อมูลกำลังเปลี่ยนไปสู่การประสานงานระบบนิเวศที่กว้างขึ้น วิศวกรข้อมูลทำหน้าที่เป็นผู้ควบคุม โดยจัดการองค์ประกอบและกระบวนการที่หลากหลาย เช่น การตั้งค่าระบบป้องกันเพื่อป้องกันข้อผิดพลาดหรือการเข้าถึงที่ไม่ได้รับอนุญาต การรับรองว่ามีการปฏิบัติตามมาตรฐานการกำกับดูแล และการติดตามว่าผลลัพธ์ที่สร้างโดย AI ถูกนำไปใช้อย่างไรในการตัดสินใจทางธุรกิจ

ข้อผิดพลาดและข้อผิดพลาดในระบบเหล่านี้อาจมีค่าใช้จ่ายสูง ตัวอย่างเช่น ระบบ AI อาจดึงข้อมูลนโยบายที่ล้าสมัย ซึ่งนำไปสู่การตอบสนองที่ไม่ถูกต้อง เช่น การสัญญาว่าจะได้รับเงินคืนให้กับลูกค้าเมื่อไม่ได้รับอนุญาต การติดตามและแก้ไขข้อผิดพลาดเหล่านี้ต้องการการกำกับดูแลอย่างเข้มงวดและกระบวนการที่กำหนดไว้อย่างดี

ความรับผิดชอบหลักของทีมวิศวกรรมข้อมูลคือการปรับตัวให้เข้ากับการเปลี่ยนแปลงของประชากรผู้ใช้ เครื่องมือ AI ไม่ได้จำกัดอยู่แค่นักวิเคราะห์หรือผู้ใช้ทางเทคนิคที่สามารถตั้งคำถามถึงความถูกต้องของรายงานและข้อมูลได้แล้ว แต่เครื่องมือเหล่านี้กำลังถูกนำมาใช้โดยบุคคลที่ขอบเขตขององค์กร เช่น ตัวแทนฝ่ายสนับสนุนลูกค้า ซึ่งอาจไม่มีความเชี่ยวชาญในการท้าทายผลลัพธ์ที่ไม่ถูกต้อง สิ่งนี้เพิ่มความรับผิดชอบของทีมวิศวกรรมข้อมูลในการรับรองความถูกต้องและความน่าเชื่อถือของข้อมูล

คุณสามารถแบ่งปันคุณสมบัติหรือความก้าวหน้าใหม่ๆ ที่สามารถคาดหวังได้จาก Nexla เมื่อสาขาวิศวกรรมข้อมูลยังคงเติบโต

เรากำลังเน้นไปที่ความก้าวหน้าหลายอย่างเพื่อจัดการกับความท้าทายและโอกาสที่เกิดขึ้นเมื่อวิศวกรรมข้อมูลยังคงพัฒนาไป หนึ่งในสิ่งเหล่านี้คือการแก้ปัญหาด้วย AI เพื่อจัดการกับความหลากหลายของข้อมูล หนึ่งในความท้าทายหลักในวิศวกรรมข้อมูลคือการดูแลความหลากหลายของข้อมูลจากแหล่งต่างๆ ดังนั้นเราจึงใช้ AI เพื่อทำให้กระบวนการนี้ง่ายขึ้น ตัวอย่างเช่น เมื่อรับข้อมูลจากผู้ขายหลายร้อยราย ระบบสามารถจัดรูปข้อมูลให้เข้ากับโครงสร้างมาตรฐานได้อัตโนมัติ วันนี้กระบวนการนี้ต้องใช้ข้อมูลนำเข้าจากมนุษย์เป็นอย่างมาก แต่ความสามารถของ AI ของ Nexla มีเป้าหมายที่จะลดความพยายามของมนุษย์ให้เหลือน้อยที่สุดและเพิ่มประสิทธิภาพ

เรากำลังพัฒนาเทคโนโลยีการเชื่อมต่อเพื่อสนับสนุนการทำงานของข้อมูลรุ่นต่อไป รวมถึงความสามารถในการสร้างตัวแทนใหม่ๆ ได้อย่างง่ายดาย ตัวแทนเหล่านี้ช่วยให้สามารถเชื่อมต่อกับระบบใหม่ๆ และดำเนินการเฉพาะภายในระบบเหล่านั้นได้ สิ่งนี้มีเป้าหมายโดยเฉพาะสำหรับความต้องการที่เพิ่มขึ้นของผู้ใช้ GenAI และทำให้ง่ายต่อการรวมและโต้ตอบกับแพลตฟอร์มต่างๆ

ที่สาม เรายังคงสร้างสรรค์ในการตรวจสอบและรับรองคุณภาพข้อมูล เมื่อมีผู้บริโภคข้อมูลจำนวนมากขึ้นที่ใช้ข้อมูลข้ามระบบต่างๆ ความสำคัญของการตรวจสอบและรับรองคุณภาพข้อมูลเพิ่มขึ้นอย่างมาก เป้าหมายของเราคือการให้เครื่องมือที่แข็งแกร่งสำหรับการตรวจสอบระบบและรับรองคุณภาพ เพื่อให้ข้อมูลยังคงเชื่อถือได้และสามารถใช้งานได้แม้เมื่อการใช้งานเพิ่มขึ้น

สุดท้าย Nexla ก็กำลังดำเนินการเพื่อเปิดเผยความสามารถหลักบางอย่างของเราให้กับชุมชนโดยการเปิดแหล่งที่มา โดยคิดว่าการแบ่งปันเทคโนโลยีของเรากับชุมชนจะช่วยให้ผู้คนจำนวนมากขึ้นสามารถใช้เครื่องมือและโซลูชันการวิศวกรรมข้อมูลที่ทันสมัยได้ ซึ่งเป็นการสะท้อนถึงความมุ่งมั่นของเราในการส่งเสริมนวัตกรรมและความร่วมมือภายในสาขานี้

ขอขอบคุณสำหรับการตอบสนองที่ดี ผู้อ่านสามารถเรียนรู้เพิ่มเติมได้ที่ Nexla