สิ้นสุดของ Chain-of-Thought? CoreThink และนักวิจัยจาก University of California เสนอการเปลี่ยนแปลงใน AI Reasoning

เป็นเวลาหลายปีที่การแข่งขันในด้านปัญญาประดิษฐ์ (AI) มุ่งเน้นไปที่ การปรับขนาด โดยมีการพัฒนาโมเดลที่ใหญ่ขึ้น การใช้ GPU มากขึ้น และการปรับปรุงคำสั่งให้ยาวขึ้น OpenAI, Anthropic, และ Google (GOOGL ) เป็นผู้นำในการพัฒนาโมเดลภาษาขนาดใหญ่ (LLM) การฝึกอบรมแบบการเสริมกำลัง (reinforcement learning) และเทคนิคการให้คำสั่งแบบ chain-of-thought ซึ่งออกแบบมาเพื่อจำลองการให้เหตุผลโดยการแสดงคำตอบทีละขั้นตอน

แต่เอกสารทางเทคนิคที่มีชื่อว่า CoreThink: A Symbolic Reasoning Layer to reason over Long Horizon Tasks with LLMs จาก CoreThink AI และนักวิจัยจาก University of California ได้โต้แย้งว่าแนวทางนี้อาจถึงขีดจำกัดแล้ว ผู้เขียนเอกสารได้กล่าวถึงข้อเรียกร้องที่น่าสนใจ: LLMs เป็นเครื่องมือสร้างข้อความทางสถิติที่มีประสิทธิภาพ แต่ไม่ใช่เครื่องมือให้เหตุผล และ chain-of-thought ซึ่งเป็นวิธีที่ใช้บ่อยที่สุดในการแสดงให้เห็นถึงการให้เหตุผลนั้นเป็นการแสดงผลลัพธ์มากกว่าการให้เหตุผลที่แท้จริง

เพื่อตอบสนองต่อการวิพากษ์วิจารณ์นี้ ทีมงานได้แนะนำ General Symbolics, ซึ่งเป็นชั้นการให้เหตุผลแบบ neuro-symbolic ที่ออกแบบมาเพื่อเชื่อมต่อกับโมเดลที่มีอยู่แล้ว การประเมินของพวกเขาแสดงให้เห็นถึงการปรับปรุงที่สำคัญในด้านการให้เหตุผลที่หลากหลาย โดยไม่ต้องฝึกอบรมใหม่หรือเพิ่มค่าใช้จ่ายของ GPU หากแนวทางนี้ได้รับการยืนยัน อาจเป็นจุดเปลี่ยนสำคัญในการออกแบบระบบ AI สำหรับการให้เหตุผลและการตัดสินใจ

Chain-of-Thought คืออะไร และทำไมมันสำคัญ

Chain-of-thought (CoT) เป็นเทคนิคที่ได้รับการยอมรับอย่างกว้างขวางในการใช้งาน AI ในปัจจุบัน โดยการขอให้โมเดลเขียนขั้นตอนการให้เหตุผลก่อนที่จะให้คำตอบ นักวิจัยพบว่าสามารถปรับปรุงคะแนนการให้เหตุผลในด้านต่างๆ เช่น คณิตศาสตร์ การเขียนโค้ด และการวางแผนได้

แต่รายงานได้เน้นถึงข้อจำกัดของแนวทางนี้ การอธิบาย CoT อาจดูเหมือนจะน่าเชื่อถือ แต่การศึกษาพบว่าพวกมันบ่อยครั้งไม่สอดคล้องกับสิ่งที่โมเดลคำนวณจริงๆ โดยการให้เหตุผลหลังเหตุการณ์มากกว่าการเปิดเผยการให้เหตุผลที่แท้จริง ซึ่งสร้างความเสี่ยงในโลกแห่งความเป็นจริง ในด้านการแพทย์ การให้เหตุผลที่น่าเชื่อถืออาจบิดเบือนการขึ้นอยู่กับข้อมูลที่ไม่ถูกต้อง ซึ่งอาจนำไปสู่การวินิจฉัยที่ไม่ถูกต้องได้

เอกสารยังเน้นถึงความไม่มีประสิทธิภาพ: ช่อง CoT บ่อยครั้งจะยาวเกินไปสำหรับปัญหาที่ง่าย และยุบลงในขั้นตอนการให้เหตุผลที่ตื้นสำหรับปัญหาที่ซับซ้อน ผลลัพธ์คือการคำนวณที่สูญเปล่า และในหลายกรณี คือความแม่นยำที่ลดลง ผู้เขียนสรุปว่า chain-of-thought เป็น “การแสดงออกที่ไม่มีกลไก” ซึ่งเป็นการแสดงออกที่สร้างความเชื่อถือโดยไม่ได้ให้การให้เหตุผลที่แท้จริง

Symbolic AI: จากความฝันในยุคแรกๆ ถึงการฟื้นฟูใหม่

การวิจารณ์ CoT ทำให้เรามองย้อนกลับไปที่ประวัติศาสตร์ของ AI ในช่วงแรกๆ การวิจัย AI มุ่งเน้นไปที่ระบบที่ใช้กฎ (rule-based systems) ซึ่งเข้ารหัสความรู้ในลักษณะตรรกะที่ชัดเจน ระบบผู้เชี่ยวชาญ เช่น MYCIN พยายามวินิจฉัยโรคโดยการนำกฎที่สร้างขึ้นมาใช้ และระบบตรวจจับฉ้อโกงพึ่งพาเซตตรรกะขนาดใหญ่เพื่อจับข้อผิดปกติ

Symbolic AI มีความเข้มแข็งที่ไม่ต้องสงสัย: ทุกขั้นตอนของการให้เหตุผลมีความโปร่งใสและสามารถติดตามได้ แต่ระบบเหล่านี้เปราะบาง การเข้ารหัสกฎหลายหมื่นข้อต้องใช้แรงงานมาก และพวกมันล้มเหลวเมื่อเผชิญกับสถานการณ์ใหม่ๆ นักวิจารณ์เช่น Hubert Dreyfus แย้งว่าความฉลาดของมนุษย์ขึ้นอยู่กับการทำงานที่ไม่เห็นแก่ตัวซึ่งไม่สามารถจับได้ด้วยชุดกฎใดๆ

ในช่วงไม่กี่ปีที่ผ่านมา มีความพยายามที่จะรวมความแข็งแกร่งของทั้งสองโลกเข้าด้วยกันผ่าน AI ที่ใช้การให้เหตุผลแบบ neuro-symbolic ความคิดคือให้เครือข่ายประสาทจัดการกับข้อมูลที่ไม่สมบูรณ์ เช่น รูปภาพหรือข้อความ ในขณะที่โมดูลที่ใช้การให้เหตุผลแบบ symbolic ให้การให้เหตุผลที่มีโครงสร้างและรับประกันเชิงตรรกะ

General Symbolics: ชั้นการให้เหตุผลใหม่

ชั้นการให้เหตุผล General Symbolics Reasoner (GSR) ของ CoreThink มีเป้าหมายที่จะเอาชนะข้อจำกัดเหล่านี้ด้วยแนวทางที่แตกต่าง GSR ไม่แปลภาษาเป็นโครงสร้างที่ไม่ยืดหยุ่นหรือการฝังที่มีมิติสูง แต่ทำงานทั้งหมดภายในภาษาธรรมชาติ

เฟรมเวิร์กนี้ทำงานโดยการวิเคราะห์ข้อมูลเข้าเป็นภาษาธรรมชาติ การใช้ข้อจำกัดเชิงตรรกะผ่านการแปลงเชิงภาษา และการผลิตการให้เหตุผลที่อ่านได้โดยมนุษย์ เมื่อข้อขัดแย้งหรือข้อผิดพลาดปรากฏขึ้น พวกมันจะถูกแสดงออกมาโดยตรงในการให้เหตุผล ทำให้สามารถตรวจสอบและแก้ไขได้

เนื่องจาก GSR ทำงานเป็นชั้นและไม่ต้องการการฝึกอบรมใหม่ จึงสามารถใช้กับโมเดลฐานที่มีอยู่แล้ว ในการประเมิน GSR ให้ผลลัพธ์ที่ดีขึ้นอย่างต่อเนื่องระหว่าง 30 ถึง 60 เปอร์เซ็นต์ในการให้เหตุผลที่หลากหลาย โดยไม่ต้องเพิ่มค่าใช้จ่ายในการฝึกอบรม

ผลการประเมิน

การปรับปรุงเหล่านี้เห็นได้ชัดเจนผ่านการประเมินบน LiveCodeBench v6 ซึ่งประเมินปัญหาในการเขียนโค้ด CoreThink ได้ทำผลงานได้ดีกว่าโมเดลชั้นนำในประเภทเดียวกัน โดยได้รับ 66.6 เปอร์เซ็นต์ในการผ่านการทดสอบ

ตัวเลขเหล่านี้สะท้อนถึงมากกว่าความแม่นยำโดยตรง ในกรณีศึกษาที่มีรายละเอียด ระบบที่มีชั้นการให้เหตุผลแบบ symbolic สามารถทำงานได้ต่างออกไป ใน ColumnTransformer ของ scikit-learn โมเดลฐานเสนอการแก้ไขที่ผิวเผิน ในขณะที่ระบบที่ได้รับการปรับปรุงโดย CoreThink ระบุปัญหาและแก้ไขได้อย่างครอบคลุม

การปรับให้เข้ากับการฟื้นฟู Symbolic

General Symbolics เข้าร่วมการเคลื่อนไหวที่เพิ่มขึ้นในการนำโครงสร้างกลับเข้ามาใน AI การให้เหตุผล AI แบบ symbolic ในยุคแรกๆ แสดงถึงคุณค่าของความโปร่งใส แต่ไม่สามารถปรับตัวให้เข้ากับสิ่งใหม่ๆ ได้

ความก้าวหน้าล่าสุดชี้ให้เห็นถึงศักยภาพของการผสมผสานใหม่ๆ DeepMind’s AlphaGeometry ได้แสดงให้เห็นว่าโครงสร้างที่ใช้การให้เหตุผลแบบ symbolic สามารถทำได้ดีกว่าโมเดลที่ใช้การเรียนรู้ของเครื่องเพียงอย่างเดียวในเรื่องเรขาคณิต

CoreThink นำแนวทางนี้ไปข้างหน้า โดยการให้เหตุผลโดยตรงภายในภาษา ทำให้สามารถรักษาความยืดหยุ่นและความสามารถในการอธิบายได้

ทำไมมันสำคัญ

หาก chain-of-thought เป็นเพียงการแสดงออกของการให้เหตุผล อุตสาหกรรม AI จะต้องเผชิญกับความท้าทายที่กดดัน องค์กรไม่สามารถพึ่งพาระบบที่ดูเหมือนจะให้เหตุผลได้ โดยเฉพาะในสถานการณ์ที่มีความเสี่ยงสูง เช่น การแพทย์ กฎหมาย และการเงิน

General Symbolics เป็นรากฐานหนึ่งสำหรับการพัฒนา AI ที่แท้จริง โดยการให้เหตุผลที่แท้จริงและสามารถอธิบายได้ โดยไม่ต้องเพิ่มค่าใช้จ่ายในการฝึกอบรม

ตามที่ผู้เขียนเอกสารกล่าวไว้: “เราไม่ต้องการเพิ่มพารามิเตอร์เพื่อให้การให้เหตุผลที่ดีขึ้น — เราต้องคิดใหม่เกี่ยวกับรากฐาน”