ทำไม Generative-Augmented Retrieval จึงเป็นขอบเขตใหม่ของการวิเคราะห์ข้อมูล

สามในสี่คนบอกว่าองค์กรของตนใช้ AI แตกิจกรรมการใช้ AI ส่วนใหญ่ยังคงมุ่งเน้นไปที่เนื้อหาที่ไม่มีโครงสร้าง เช่น สรุปการประชุม การเขียนอีเมล หรือการทำให้การสนับสนุนลูกค้าเป็นอัตโนมัติ

แต่ในทางกลับกัน ข้อมูลที่ขับเคลื่อนการตัดสินใจทางธุรกิจส่วนใหญ่ เช่น รายงานทางการเงิน ตารางคลังข้อมูล และ KPI ยังคงไม่ได้รับการสัมผัสจาก AI

สาเหตุไม่ใช่การขาดความทะเยอทะยาน แต่เป็นการขาดความเชื่อถือ เมื่อโมเดลสร้างข้อความที่ไม่มีอยู่จริง มักจะสามารถแก้ไขได้ แต่เมื่อมันสร้างตัวเลขที่ไม่มีอยู่จริง จะเป็นเรื่องอันตราย CFO ไม่สามารถอนุมัติคำตอบที่ไม่สามารถยืนยันได้

ปัจจุบัน ข้อมูลที่มีโครงสร้างอาศัยอยู่ในระบบหลายระบบ แต่ละระบบมีกฎและความสัมพันธ์ของตนเอง การทำให้ AI ใช้เหตุผลได้อย่างถูกต้องข้ามความซับซ้อนนี้เป็นความท้าทายที่ยากกว่าการสร้างชัตบอท

ธุรกิจและทีมงาน รวมถึงผู้ใช้ที่ไม่ใช่เทคนิคต้องสามารถโต้ตอบกับข้อมูลได้อย่างง่ายดายเพื่อลดการขัดข้องและรับข้อมูลเชิงลึกที่รวดเร็วและแม่นยำ โดยไม่ต้องเรียนรู้ SQL

มีวิธีแก้ปัญหาบางอย่างที่เกิดขึ้น มา看看ตัวอย่างที่โดดเด่นพร้อมข้อดีและข้อเสีย

AI และข้อมูลที่มีโครงสร้าง – สะพานที่ไกลเกินไป

ในช่วงสองปีที่ผ่านมา มีการพยายามเชื่อมโยงการวิเคราะห์ AI และข้อมูลที่มีโครงสร้าง

หลายอย่างมาจากยักษ์เทคโนโลยีที่มีทรัพยากรและข้อมูลที่สำคัญ Snowflake เป็นต้น โดยแนะนำ Cortex Analyst ซึ่งพยายามให้ผู้ใช้สามารถถามคำถามภาษาธรรมชาติเกี่ยวกับคลังข้อมูล Snowflake

เพื่อเพิ่มความแม่นยำ Cortex มีวิธีการให้ข้อมูลอภิพันธุ์แบบอัตโนมัติ แต่โมเดลนี้มีข้อจำกัดอย่างมาก ตัวอย่างเช่น ต้องสร้างด้วยตนเอง และสามารถทำงานได้เพียง 10 ตารางเท่านั้น ซึ่งไม่เพียงพอแม้สำหรับบริษัทขนาดกลาง เมื่อเกินจำนวนนี้ ความเชื่อถือจะถูกทำลายและความแม่นยำจะลดลง

เรื่องราวเดียวกันเกิดขึ้นกับการพยายามของ Databricks ซึ่งใช้การเขียน SQL จากข้อความโดยใช้ AI/BI Genie วิธีนี้สามารถใช้งานได้เฉพาะในโดเมนขนาดเล็กเท่านั้น และจะสูญเสียความแม่นยำเมื่อข้อมูลเพิ่มขึ้น

Microsoft Power BI Copilot ใช้การสร้างข้อความแบบผิวเผินโดยฝัง AI ไว้ตรงกลางแดชบอร์ดเพื่ออธิบายภาพรวม เสนอการวัด และเขียนรายงาน มันเพิ่มการสำรวจ แต่ไม่เปลี่ยนแปลงวิธีการให้เหตุผลหรือยืนยันการวิเคราะห์

ระบบเหล่านี้ชี้ไปในทางที่ถูกต้องโดยใช้ AI กับข้อมูลที่มีโครงสร้างขององค์กร แต่พวกเขายังมีข้อบกพร่องร้ายแรงร่วมกัน คือ พวกเขาพึ่งพาโมเดล AI ในการสร้าง SQL จากภาษาธรรมชาติ และเมื่อ SQL นั้นผิด ซึ่งเกิดขึ้นบ่อย ผู้ใช้ธุรกิจจะถูกติดอยู่

วิธีอื่นในการแก้ปัญหาคือการสร้างคำถามและคำตอบที่อาจเกิดขึ้นล่วงหน้า GARAGe ของ Ada เป็นต้น โดยใช้วิธีนี้ แต่มันทำงานได้ดีเฉพาะในโดเมนที่แคบซึ่งคำถามสามารถคาดเดาได้ แต่ประสิทธิภาพจะลดลงเมื่อข้อมูลซับซ้อนเพิ่มขึ้น เมื่อตารางและแบบจำลองเพิ่มขึ้น การสร้างดัชนีล่วงหน้าจะกลายเป็นเรื่องที่จัดการไม่ได้

เส้นทางที่แตกต่าง: Generative-Augmented Retrieval

Generative-Augmented Retrieval (GAR) เป็นการพลิกโฉมการเข้าถึงข้อมูลที่มีอยู่ โดยใช้ AI ในการสร้างข้อความและเพิ่มความสามารถในการค้นหาข้อมูล

แทนที่จะขอให้ AI สร้าง SQL GAR ใช้ AI ในการทำความเข้าใจเจตนาของผู้ใช้และสร้างขั้นตอนการให้เหตุผลเพื่อให้ได้คำตอบ

ใน GAR คำถามโต้ตอบกับฐานความรู้โดยตรง มันถูก编译มากกว่าการสร้าง และคำถามเดียวกันจะให้คำตอบเดียวกันเสมอ สายการให้เหตุผลใน GAR เป็นเอกสารที่ถาวรและสามารถตรวจสอบได้ ไม่ใช่การโต้ตอบชั่วคราว

นั่นหมายความว่าผลลัพธ์จะมีความแม่นยำมากกว่าการใช้ AI ทั่วไป

ที่แก่นกลาง GAR ทำสิ่งเหล่านี้:

1. สร้างชั้นเชิงความหมายโดยอัตโนมัติ GAR ใช้ AI ในการค้นหาความสัมพันธ์และคำจำกัดความทางธุรกิจข้ามระบบ และรวมข้อมูลเข้าเป็นแบบจำลองเดียว
2. แปลเจตนาเชิงธุรกิจเป็นภาษาวิเคราะห์ระดับสูง ภาษานี้จับคำถามที่ระดับแนวคิดธุรกิจ (“รายได้ต่อการเข้าชมโดยผู้ให้บริการสำหรับ Q2”) และ编译โดยตรงเป็น SQL
3. บันทึกทุกขั้นตอนการให้เหตุผลเพื่อความสามารถในการตรวจสอบ ต้นกำเนิดของคำตอบทุกคำสามารถสืบย้อนกลับได้

ทำไมสิ่งนี้จึงสำคัญ

ด้วยการจำกัดขอบเขตการให้เหตุผลภายในโมเดลความรู้ของธุรกิจ GAR สามารถกำจัดการสร้างข้อความที่ไม่มีอยู่จริงและให้คำตอบที่ถูกต้องและเชื่อถือได้

คำจำกัดความ เมตริก และรูปแบบคำถามสะสมขึ้นเมื่อเวลาผ่านไป ทำให้คำตอบในอนาคตมีความปรับแต่งให้เหมาะสมกับผู้ใช้มากขึ้น

องค์ประกอบของความเชื่อถือมีความสำคัญต่อผู้ใช้ธุรกิจที่พึ่งพาข้อมูลที่มีโครงสร้างในการตัดสินใจ เมื่อมีการใช้ AI ที่ซับซ้อนมากขึ้น องค์กรเหล่านั้นจะเรียกร้องเฟรมเวิร์กที่นำความเสี่ยงของการสร้างข้อความที่ไม่มีอยู่จริงและข้อผิดพลาดมาใกล้ศูนย์

สิ่งนี้เกิดขึ้นเมื่อการค้นหาต่อเชื่อมต่อโดยตรงกับข้อมูลของคุณ เมื่อ AI สามารถทำงานกับชุดข้อมูลขนาดใหญ่โดยไม่หยุดชะงัก และเมื่อคำตอบถูกให้มาอย่างต่อเนื่องและเชื่อถือได้