เมื่อ AI คิดเหมือนมนุษย์: การสำรวจความคิดของ LLMs และเอเจนต์

วันนี้ LLMs และเอเจนต์เรียนรู้ วิเคราะห์ และตัดสินใจในลักษณะที่สามารถทำให้เส้นแบ่งระหว่างการคิดแบบอัลกอริทึมและความคิดของมนุษย์ไม่ชัดเจน วิธีการที่พวกเขาสร้างขึ้นแล้วเลียนแบบกระบวนการทางปัญญาของเรา และขนาดของการฝึกอบรมของพวกเขานั้นมากกว่าประสบการณ์ของมนุษย์หลายเท่า ซึ่งทำให้เกิดคำถามว่า: เรากำลังสร้างเครื่องมือที่ขยายความสามารถของเราหรือไม่ หรือเรากำลังสร้างใจใหม่ที่มีผลกระทบที่ยังไม่สามารถคาดเดาได้?

วิธีการคิดของโมเดล

เป็นเรื่องสำคัญที่จะต้องแยกความแตกต่างระหว่างแนวคิดของ LLMs และเอเจนต์ หากต้องการเปรียบเทียบกับคอมพิวเตอร์ LLM สามารถเทียบเท่ากับหนึ่งในส่วนประกอบ เช่น โปรเซสเซอร์ ในขณะที่เอเจนต์เป็นระบบทั้งหมด “เมนบอร์ด” ที่เชื่อมต่อกับโมดูลต่างๆ เช่น หน่วยความจำ การ์ดจอ และเครือข่าย ในทำนองเดียวกัน เอเจนต์เป็นระบบที่ซับซ้อนซึ่งสามารถรวม LLMs หนึ่งหรือหลายตัวพร้อมกับกลไกการตัดสินใจและเครื่องมือสำหรับการโต้ตอบกับสภาพแวดล้อมภายนอก

หากเราพิจารณาการทำงานของ LLM เพียงตัวเดียว มันจะลดลงเหลือการค้นหาความเหมือนกัน แต่เมื่อเอเจนต์เชื่อม LLMs หลายตัวเข้าด้วยกัน เราสามารถพูดได้ว่ามัน “คิด” แม้ว่ากระบวนการนี้ยังคงสร้างขึ้นจากความเหมือนกัน เอเจนต์สร้างตรรกะของการโต้ตอบระหว่างโมเดล ตัวอย่างเช่น LLM หนึ่งตัววิเคราะห์งาน และตามการวิเคราะห์นั้น เอเจนต์จะกำหนดว่า LLM อีกตัวควรดำเนินการอย่างไร

การคิดของมนุษย์ทำงานในลักษณะที่คล้ายกัน เราใช้ความรู้และรูปแบบที่สะสมไว้เลือกที่เวลาที่เหมาะสมประมวลผล และสรุปผล นี้เรียกว่าการให้เหตุผล

ChatGPT มีหน่วยความจำสองประเภท เช่นเดียวกับมนุษย์: หน่วยความจำระยะสั้นและหน่วยความจำระยะยาว ความแตกต่างคือว่าในมนุษย์ การเข้าถึงระดับหน่วยความจำเหล่านี้ซับซ้อนและไม่เสมอไปเป็นเช่นนั้น

หน่วยความจำระยะสั้นคือข้อมูลที่เรากำลังทำงานอยู่ สำหรับมนุษย์ อาจเป็นสิ่งที่คุณพูดเมื่อ 5 นาทีที่แล้ว: คุณอาจจำได้หรือไม่ GPT จะพิจารณาทุกอย่างภายใน “หน้าต่างบริบท” ของมันเสมอ – ไม่สามารถข้ามหรือเพิกเฉยต่อข้อมูลนี้ได้

หน่วยความจำระยะยาวในมนุษย์ประกอบด้วยความทรงจำที่ไม่เสมอไปมีประสิทธิภาพและอาจปรากฏเฉพาะเมื่อมีการกระตุ้นเฉพาะ: ความทรงจำจากวัยเด็ก ความบอบช้ำทางจิตใจ หรือตัวอย่างเช่น การทำงานกับนักจิตวิทยา GPT มีตรรกะที่คล้ายกัน: ไม่สามารถ “เรียก” ข้อมูลได้โดยไม่ต้องกระตุ้นอย่างชัดเจน ตัวอย่างเช่น คำแนะนำเช่น “ไม่เคยถามคำถามนี้อีก” หรือ “ที่อยู่กับฉันอย่างเป็นทางการเสมอ” สามารถเก็บไว้ในหน่วยความจำระยะยาวและใช้ในการสนทนาแต่ละครั้ง

ตัวอย่างอื่นของหน่วยความจำระยะยาวคือเอกสารที่บันทึกไว้ สมมติว่าคุณอัปโหลดคำแนะนำสำหรับการวิจัยการตลาดไปยัง GPT โมเดลสามารถเก็บข้อมูลนี้ไว้ในหน่วยความจำ แต่ไม่ได้หมายความว่าจะอ้างอิงเอกสารนั้นด้วยคำถามทุกข้อ หากคุณถามว่า “คุณสามารถส่องแสงไปที่ดวงจันทร์ได้ไหม?” GPT จะเพิกเฉยต่อคำแนะนำ แต่ถ้าคำขอประกอบด้วยคำที่ตรงกับข้อความในเอกสาร โมเดลสามารถ “เรียก” มันกลับมาได้

กลไกนี้ใช้ RAG (Retrieval-Augmented Generation) ซึ่งเป็นวิธีการที่โมเดลสามารถเข้าถึงข้อมูลที่เก็บไว้ได้โดยการกระตุ้นที่เกี่ยวข้องผ่านฐานข้อมูลเวกเตอร์

ดังนั้น จึงสามารถพูดได้ว่าโมเดลมีหน่วยความจำจริงๆ แต่มันทำงานตามตรรกะที่แตกต่างและเป็นทางการมากกว่าหน่วยความจำของมนุษย์

ทำไมการสนทนากับ AI จึงบางครั้งรู้สึกเหมือนบำบัด และบางครั้งเย็นชาและเหมือนหุ่นยนต์

โมเดลภาษาที่ทันสมัยมีขนาดใหญ่มาก: เก็บข้อมูล ความรู้ และบริบทจำนวนมากที่น่าเหลือเชื่อ ทั้งหมดนี้ถูกจัดระเบียบเป็น “คลัสเตอร์” พื้นที่ทางธีมและความหมาย โมเดลได้รับการฝึกอบรมจากแหล่งต่างๆ ตั้งแต่เรื่องราวและบทความทางวิทยาศาสตร์ไปจนถึงความคิดเห็นบน YouTube

เมื่อคุณโต้ตอบกับ AI คำถาม (พรอมต์) ของคุณจะชี้โมเดลไปยังคลัสเตอร์เฉพาะ

ตัวอย่างเช่น หากคุณเขียนว่า: “คุณเป็นทนายความด้านอสังหาริมทรัพย์ในนิวยอร์กและมีประสบการณ์ 20 ปี ช่วยฉันซื้ออพาร์ตเมนต์” โมเดลจะกระตุ้นคลัสเตอร์หลายตัวพร้อมกัน: ทนายความ → นิวยอร์ก → อสังหาริมทรัพย์ ในผลลัพธ์ คุณจะได้รับการตอบสนองที่สอดคล้อง ที่เกี่ยวข้อง และสมจริง เช่นเดียวกับการปรึกษากับมืออาชีพที่มีประสบการณ์จริงๆ

หากคำถามเกี่ยวข้องกับหัวข้อส่วนตัวหรือปรัชญา เช่น การพัฒนาตนเองหรืออารมณ์ โมเดลจะ “เปลี่ยน” ไปยังคลัสเตอร์อื่นๆ เช่น จิตวิทยา ปรัชญา หรือการทำงานภายใน ในกรณีนี้ คำตอบของมันอาจดูเหมือนมนุษย์มากและดูเหมือนบำบัด

อย่างไรก็ตาม ด้วยการเขียนที่คลุมเครือหรือไม่ชัดเจน โมเดลจะ “สับสน” ในโครงสร้างคลัสเตอร์และให้คำตอบเริ่มต้น ซึ่งเป็นทางการ ไม่มีอารมณ์ และไม่มีสัมผัสทางอารมณ์

รูปแบบและความลึกของคำตอบ AI ขึ้นอยู่กับคลัสเตอร์ที่คุณชี้ให้โมเดลไปพร้อมกับพรอมต์ของคุณ

ปรัชญาของการฝึกอบรมโมเดลและ RLHF

ปัญญาประดิษฐ์มีแนวทางต่างๆ ในการเรียนรู้ ไม่ใช่ปรัชญา แต่เป็นกลยุทธ์

ตัวเลือกแบบดั้งเดิมคือการเรียนรู้แบบมีคำแนะนำ ซึ่งโมเดลจะได้รับคำถามและคำตอบที่ถูกต้อง มันเรียนรู้โดยการสังเกตสิ่งที่ถือว่าถูกต้องและจากนั้นสร้างคำตอบที่คล้ายกันในอนาคต

แต่วิธีการอื่นคือ RLHF (Reinforcement Learning from Human Feedback) นี่เป็นวิธีการที่แตกต่าง: โมเดลพยายามบางสิ่ง รับ “รางวัล” สำหรับการกระทำที่สำเร็จ และปรับพฤติกรรมของมันอย่างต่อเนื่อง มันพัฒนากลยุทธ์ที่มีประสิทธิภาพ

RLHF สามารถเปรียบเทียบกับกระบวนการเปลี่ยนวัสดุหลักเป็นผลิตภัณฑ์ที่เสร็จสิ้น เพื่อสร้างโมเดลที่ใช้งานง่าย ต้องใช้การทำงานจำนวนมากกับข้อเสนอแนะจากมนุษย์

ลองนึกภาพว่าฉันแสดงวัตถุให้คุณโดยไม่ระบุชื่อโดยตรง คุณจะลังเล: “มันคือกล่องซิการ์? หรือคือที่เก็บบัตร?” ฉันให้คำใบ้เพียงเล็กน้อย เช่น “ใกล้”, “ไกล”, “60% ใช่” หลังจากการวนซ้ำหลายร้อยครั้ง คุณเดาได้: “อ๋อ มันคือกระเป๋าสตางค์”

LLMs ถูกฝึกอบรมในลักษณะนี้ มนุษย์ ผู้ให้คำอธิบาย และผู้เชี่ยวชาญโดยทั่วไป ประเมิน: คำตอบนี้ดี คำตอบนี้ไม่ดี และมอบคะแนนให้ บริษัทต่างๆ เช่น Keymakr ซึ่งมีบทบาทสำคัญในการให้ข้อมูลที่มีคุณภาพสูงและตรวจสอบยืนยัน ข้อเสนอแนะยังมาจากผู้ใช้ทั่วไป: การชอบ การร้องเรียน และปฏิกิริยา โมเดลตีความสัญญาณเหล่านี้และสร้างรูปแบบพฤติกรรม

การฝึกอบรมโมเดลในทางปฏิบัติ

ตัวอย่างที่ชัดเจนคือ การทดลองของ OpenAI ในการฝึกอบรมเอเจนต์โดยใช้การเรียนรู้แบบเสริมกำลังในเกม “Hide and Seek”

มีสองทีมเข้าร่วม: “ผู้ตาม” (สีแดง) และ “ผู้ซ่อน” (สีน้ำเงิน) กฎ 간่าย: หากผู้ตามจับผู้ซ่อนได้ จะได้คะแนน แต่ถ้าไม่จับได้ จะเสียคะแนน เมื่อแรกเริ่ม เอเจนต์เหล่านี้มีความสามารถทางกายภาพพื้นฐานเท่านั้น เช่น การวิ่งและกระโดด โดยไม่มีกลยุทธ์ที่กำหนดไว้ล่วงหน้า

ในตอนแรก ผู้ตามกระทำการอย่างไม่สอดคล้องกัน และการจับกุมผู้ซ่อนเกิดขึ้นโดยบังเอิญ แต่หลังจากล้านๆ ครั้ง พฤติกรรมของพวกมันพัฒนา ผู้ซ่อนเริ่มใช้วัตถุโดยรอบเพื่อขวางประตูและสร้างอุปสรรค์ ทักษะเหล่านี้เกิดขึ้นโดยไม่ต้องเขียนโปรแกรมโดยตรง แต่เกิดจากการลองผิดลองถูกและรางวัลสำหรับความสำเร็จ

ในทางกลับกัน ผู้ตามเริ่มใช้การกระโดด ซึ่งเป็นความสามารถที่มีอยู่ตั้งแต่แรก แต่ไม่ได้ใช้มาก่อน หลังจากชุดความล้มเหลว การใช้การกระโดดแบบสุ่มเผยให้เห็นคุณค่าทางยุทธวิธี จากนั้นผู้ซ่อนก็เพิ่มการป้องกันของตนโดยการเอาวัตถุออกจากเส้นทางสายตาและสร้างที่หลบภัยที่มั่นคงยิ่งขึ้น

การทดลองแสดงให้เห็นว่าผ่านรอบการลองผิดลองถูก รางวัล และการลงโทษหลายพันล้านครั้ง พฤติกรรมร่วมที่ซับซ้อนสามารถก่อตัวขึ้นได้โดยไม่ต้องมีการแทรกแซงจากนักพัฒนา นอกจากนี้ เอเจนต์เริ่มกระทำการร่วมกัน แม้ว่ากลไกการสื่อสารจะไม่ได้รับการเขียนโปรแกรมไว้ก็ตาม เพียงเพราะว่าการทำงานเป็นทีมมีประสิทธิภาพมากกว่า

ก็เหมือนกับโมเดลภาษาที่ใหญ่ๆ มันไม่สามารถเขียนสคริปต์ทุกๆ สถานการณ์ได้: มีสถานการณ์และความแปรผันมากเกินไปในโลก ดังนั้นเราจึงไม่สอนโมเดลให้ทำตามกฎที่กำหนดไว้ แต่สอนให้เรียนรู้

นี่คือคุณค่าของ RLHF หากไม่มีมัน LLM และเอเจนต์จะยังคงเป็นเพียงห้องสมุดข้อความเท่านั้น แต่ด้วยมัน มันกลายเป็นคู่สนทนาที่สามารถปรับตัว แก้ไขตัวเอง และพัฒนาอย่างแท้จริง

อะไรคือสิ่งถัดไป?

หลายคนสงสัยว่า LLMs และการพัฒนาของเอเจนต์อาจนำไปสู่ผลลัพธ์ที่ไม่พึงประสงค์หรือแม้กระทั่งอันตราย

เป็นเรื่องสำคัญที่จะต้องเข้าใจว่าสิ่งที่เรามองเห็นในปัจจุบันไม่ใช่แม้กระทั่ง MVP แต่เป็นเพียงต้นแบบเท่านั้น

การปฏิวัติจริงๆ จะไม่เกี่ยวกับการช่วยเขียนจดหมายที่สวยงามหรือแปลเป็นภาษาฝรั่งเศส สิ่งเหล่านี้เป็นเรื่องเล็กๆ ทิศทางหลักคือการทำให้กระบวนการทำงานอัตโนมัติและกระบวนการทำงานตามปกติ เหลือให้คนมีหน้าที่สร้างสรรค์ทางปัญญาหรือมีเวลาพักผ่อนจริงๆ

นวัตกรรมที่แท้จริงมุ่งเน้นไปที่เอเจนต์ ระบบที่สามารถคิด ทำงาน และตัดสินใจแทนคนได้ นี่คือที่ที่บริษัทต่างๆ เช่น OpenAI, Google, Meta และอื่นๆ มุ่งเน้นความพยายามของพวกเขาในปัจจุบัน

โมเดลภาษาที่ใหญ่ๆ เป็นเพียงรากฐานเท่านั้น อนาคตที่แท้จริงอยู่ที่เอเจนต์ที่ได้รับการฝึกอบรมให้ใช้ชีวิตในโลกที่มีการเปลี่ยนแปลงได้ รับการตอบกลับ และปรับตัวให้เข้ากับการเปลี่ยนแปลง