มุมมองของ Anderson

AI ต่อสู้เพื่อเลียนแบบภาษาในอดีต

mm
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ChatGPT-4o and Adobe Firefly.

การร่วมมือกันระหว่างนักวิจัยในสหรัฐอเมริกาและแคนาดาพบว่าโมเดลภาษาขนาดใหญ่ (LLM) เช่น ChatGPT ต่อสู้เพื่อสร้างสำนวนทางประวัติศาสตร์โดยไม่ต้องมีการฝึกอบรมล่วงหน้าอย่างกว้างขวาง – ซึ่งเป็นกระบวนการที่มีค่าใช้จ่ายสูงและต้องใช้แรงงานอย่างมาก ซึ่งทำให้โครงการ เช่น การสร้างนวนิยายเรื่องสุดท้ายที่ยังไม่เสร็จของชาร์ลส์ ดิกเกนส์ โดยใช้ AI เป็นเรื่องที่ไม่น่าเป็นไปได้

นักวิจัยได้สำรวจวิธีการต่างๆ ในการสร้างข้อความที่ “ดู” มีความแม่นยำทางประวัติศาสตร์ โดยเริ่มต้นด้วยการให้คำแนะนำโดยใช้ข้อความจากต้นศตวรรษที่ 20 และย้ายไปสู่การปรับแต่งโมเดลเชิงพาณิชย์บนหนังสือเล็กๆ จากช่วงเวลานั้น

พวกเขายังเปรียบเทียบผลลัพธ์กับโมเดลที่ได้รับการฝึกอบรมทั้งหมดจากหนังสือที่ตีพิมพ์ระหว่างปี 1880 ถึง 1914

ในการทดสอบครั้งแรก การสั่งให้ ChatGPT-4o เลียนแบบภาษา fin-de-siècle ผลลัพธ์ที่แตกต่างจากโมเดล GPT2 ที่เล็กกว่าซึ่งได้รับการปรับให้เหมาะสมกับวรรณกรรมจากช่วงเวลานั้น

เมื่อถูกขอให้สร้างข้อความทางประวัติศาสตร์ที่แท้จริง แม้แต่ ChatGPT-4o ที่ได้รับการเตรียมการดี (ด้านซ้ายล่าง) ก็ไม่สามารถเลียนแบบสำนวนที่ต้องการได้ ในทางกลับกัน โมเดล GPT2 ที่ได้รับการปรับให้เหมาะสมกับภาษาได้ดี แต่ไม่แม่นยำในด้านอื่นๆ

เมื่อถูกขอให้สร้างข้อความทางประวัติศาสตร์ที่แท้จริง (ด้านบน) แม้แต่ ChatGPT-4o ที่ได้รับการเตรียมการดี (ด้านซ้ายล่าง) ก็ไม่สามารถเลียนแบบสำนวนที่ต้องการได้ ในทางกลับกัน โมเดล GPT2 ที่ได้รับการปรับให้เหมาะสมกับภาษา (ด้านขวาล่าง) เลียนแบบสำนวนที่ต้องการได้ดี แต่ไม่แม่นยำในด้านอื่นๆ

แม้ว่าการปรับให้เหมาะสมจะทำให้ผลลัพธ์ใกล้เคียงกับภาษาเดิม แต่ผู้อ่านมนุษย์ยังคงสามารถตรวจจับภาษาหรือความคิดสมัยใหม่ได้บ่อยครั้ง ซึ่งบ่งชี้ว่าแม้แต่โมเดลที่ได้รับการปรับให้เหมาะสมอย่างรอบคอบยังคงสะท้อนถึงอิทธิพลของข้อมูลการฝึกอบรมร่วมสมัย

นักวิจัยได้สรุปว่าไม่มีวิธีการที่ง่ายและราคาไม่แพงในการสร้างข้อความที่ถูกต้องทางสำนวนและประวัติศาสตร์โดยใช้เครื่องจักร

งานวิจัยฉบับใหม่นี้มีชื่อว่า Can Language Models Represent the Past without Anachronism? จัดทำโดยนักวิจัยจากมหาวิทยาลัยอิลลินอยส์ มหาวิทยาลัยบริติชโคลัมเบีย และมหาวิทยาลัยชิคาโก ผู้เขียนชี้ว่าการสร้างบทสนทนาระหว่างผู้ถามในศตวรรษที่ 21 กับผู้ตอบจากปี 1914 ไม่มีตัวอย่างที่ “แท้จริง” ให้ยึดเป็นมาตรฐาน เพราะการตีความอดีตย่อมเป็นการต่อรองระหว่างมุมมองปัจจุบันกับอดีตเสมอ

ความล้มเหลวที่สมบูรณ์แบบ

ในตอนแรก นักวิจัยได้ทดสอบว่าโมเดลภาษาสมัยใหม่สามารถเลียนแบบภาษาในอดีตได้หรือไม่โดยใช้การให้คำแนะนำอย่างง่าย โดยใช้ตัวอย่างจากหนังสือที่ตีพิมพ์ระหว่างปี 1905 ถึง 1914 และขอให้ ChatGPT-4o ต่อข้อความเหล่านั้นในสำนวนที่เหมือนกัน

ข้อความต้นฉบับจากช่วงเวลานั้นคือ

‘ในกรณีสุดท้าย บางครั้งประหยัดเงินได้ 5 หรือ 6 ดอลลาร์ต่อนาที เนื่องจากต้องม้วนฟิล์มมากกว่า 20 หลาเพื่อฉายวิดีโอของวัตถุหรือภูมิประเทศในหนึ่งนาที ดังนั้นจึงได้รับการผสมผสานระหว่างภาพนิ่งและเคลื่อนไหวที่มีผลกระทบทางศิลปะสูง’

‘นอกจากนี้ยังช่วยให้สามารถทำงานได้สองเครื่องฉายภาพที่ฉายสลับกันเพื่อหลีกเลี่ยงการกระพริบ หรือฉายภาพสีแดงและสีเขียวพร้อมกันและสร้างสีตามธรรมชาติ ซึ่งช่วยลดความเมื่อยล้าทางกายภาพของมนุษย์ที่ได้รับแสงพื้นฐานพร้อมกัน’

เพื่อประเมินว่าข้อความที่สร้างขึ้นตรงกับสำนวนที่ต้องการหรือไม่ นักวิจัยได้ปรับโมเดล RoBERTa เพื่อประมาณการวันที่ตีพิมพ์โดยใช้ Corpus of Historical American English ซึ่งครอบคลุมวัสดุจากปี 1810 ถึง 2009

โมเดล RoBERTa ที่ปรับให้เหมาะสมแล้วถูกใช้เพื่อประเมินผลลัพธ์ที่สร้างขึ้นโดย ChatGPT-4o ซึ่งได้รับการสั่งให้สร้างข้อความจากหนังสือที่ตีพิมพ์ระหว่างปี 1905 ถึง 1914

คำสั่งระบบ (คำแนะนำเชิงบริบทให้กับ ChatGPT เกี่ยวกับวิธีการดำเนินการ) คือ

‘งานของคุณคือการสร้างข้อความจากหนังสือในต้นศตวรรษที่ 20 คุณจะได้รับข้อความจากหนังสือที่ตีพิมพ์ในปี 1913 ต่อข้อความนั้นในสำนวนที่เหมือนกัน โดยไม่ต้องมีการแสดงความคิดเห็นหรือคำนำ’

แม้ว่าการให้คำแนะนำแบบ one-shot และ 20-shot แต่ผลลัพธ์ของ ChatGPT-4o ก็มีความเอนเอียงไปที่สำนวนที่มีลักษณะสมัยใหม่

ตัวอย่างที่ให้ไว้ในเอกสารคือความพยายามของ ChatGPT-4o ในการสร้างข้อความในสำนวนที่เหมือนกับข้อความต้นฉบับเกี่ยวกับการถ่ายภาพ

‘การใช้แสงเย็นในการถ่ายภาพทันทีได้ปฏิวัติวิธีการในการจับภาพภายใต้สภาพแสงแปรผัน โดยปกติ ช่างภาพต้องต่อสู้กับความเข้มและความแปรผันของแสงธรรมชาติหรือลักษณะรบกวนของการถ่ายภาพด้วยแฟลช ซึ่งอาจรบกวนบรรยากาศของฉากหรือพฤติกรรมตามธรรมชาติของวัตถุ โดยเฉพาะอย่างยิ่งในการถ่ายภาพสัตว์ป่าและภาพถ่ายคน’

‘แสงเย็นมีลักษณะอ่อนและกระจายมากขึ้น ช่วยให้สามารถแสดงสีและเนื้อผ้าได้ตามธรรมชาติ ซึ่งมักจะสูญเสียไปภายใต้แสงเทียมที่รุนแรง’

ผลลัพธ์นี้ไม่ตรงกับสำนวนที่เหมือนกับข้อความต้นฉบับ และไม่ได้ต่อข้อความต้นฉบับ แต่เริ่มต้นใหม่ในเรื่องที่ไม่เกี่ยวข้อง

ทีมนักวิจัยยังทดสอบ GPT-1914 ซึ่งเป็นโมเดล GPT-2 ที่เล็กกว่าซึ่งได้รับการฝึกอบรมจากข้อความที่ตีพิมพ์ระหว่างปี 1880 ถึง 1914

ผลลัพธ์ของ GPT-1914 มีความสอดคล้องกับสำนวนที่เหมือนกับข้อความต้นฉบับ แต่ไม่สอดคล้องกันในด้านอื่นๆ

‘หลักการของการทำงานได้รับการอธิบายแล้ว (หน้า 4) เราจะกล่าวถึงเฉพาะวิธีการใช้ประโยชน์เมื่อต้องการได้รับภาพถ่ายที่รวดเร็วบนกระดาษที่เคลือบด้วยคอลโลเดียน และภาพถ่ายที่ทำโดยใช้แผ่นเจลาติน’

‘ในกรณีเหล่านี้ การเปิดรับแสงไม่ควรเกินหนึ่งวินาที แต่ถ้าต้องการพัฒนาภาพในเวลาน้อยกว่านั้น เช่น ครึ่งวินาที อุณหภูมิไม่ควรต่ำกว่า 20 องศาเซลเซียส ไม่เช่นนั้นภาพจะกลายเป็นสีเข้มหลังจากพัฒนา และแผ่นจะเสียความไวต่อแสงภายใต้สภาพเหล่านี้’

‘สำหรับวัตถุประสงค์ทั่วไป ก็เพียงพอแล้วที่จะทำให้พื้นผิวที่ไวต่อแสงได้รับความร้อนในระดับต่ำโดยไม่ต้องมีการเตรียมการพิเศษอื่นๆ นอกเหนือจากการรักษาความปลอดภัย’

ผลลัพธ์ของ GPT-1914 อาจมีความแม่นยำทางประวัติศาสตร์ แต่ไม่ชัดเจนว่าความแม่นยำนั้นถูกต้องเพียงใด

นักวิจัยสรุปว่าการให้คำแนะนำอย่างง่ายไม่ช่วยให้โมเดลภาษาขนาดใหญ่เช่น ChatGPT-4o สามารถเลียนแบบภาษาในอดีตได้

เรื่องราวที่ซับซ้อน

เพื่อวัดว่าผลลัพธ์ของโมเดลมีความใกล้เคียงกับภาษาในอดีตมากน้อยเพียงใด นักวิจัยได้ใช้เครื่องจำแนกทางสถิติเพื่อประมาณการวันที่ตีพิมพ์ของแต่ละตัวอย่างข้อความ

จากนั้นจึงแสดงผลลัพธ์โดยใช้แผนภาพความหนาแน่นของเคอร์เนล ซึ่งแสดงถึงตำแหน่งที่โมเดลคิดว่าแต่ละข้อความอยู่ในเส้นเวลาทางประวัติศาสตร์

การประมาณการวันที่ตีพิมพ์สำหรับข้อความที่แท้จริงและสร้างขึ้น โดยอาศัยเครื่องจำแนกที่ได้รับการฝึกอบรมเพื่อรับรู้รูปแบบทางประวัติศาสตร์ (ข้อความต้นฉบับจากปี 1905-1914 เทียบกับการต่อข้อความโดย ChatGPT-4o โดยใช้คำแนะนำ one-shot และ 20-shot และโดย GPT-1914 ที่ฝึกอบรมจากวรรณกรรมระหว่างปี 1880-1914)

การประมาณการวันที่ตีพิมพ์สำหรับข้อความที่แท้จริงและสร้างขึ้น โดยอาศัยเครื่องจำแนกที่ได้รับการฝึกอบรมเพื่อรับรู้รูปแบบทางประวัติศาสตร์ (ข้อความต้นฉบับจากปี 1905-1914 เทียบกับการต่อข้อความโดย ChatGPT-4o โดยใช้คำแนะนำ one-shot และ 20-shot และโดย GPT-1914 ที่ฝึกอบรมจากวรรณกรรมระหว่างปี 1880-1914)

โมเดลที่ได้รับการฝึกอบรมจากวรรณกรรมระหว่างปี 1880 ถึง 1914 มีผลลัพธ์ที่ใกล้เคียงกับข้อความต้นฉบับจากช่วงเวลานั้น

ในทางกลับกัน ผลลัพธ์ของ ChatGPT-4o มีลักษณะที่ใกล้เคียงกับภาษาในศตวรรษที่ 21 มากกว่า

นักวิจัยได้วัดความแตกต่างระหว่างโมเดลเหล่านี้โดยใช้การวัดความแตกต่างของ Jensen-Shannon ซึ่งแสดงถึงความแตกต่างระหว่างการกระจายตัวของความน่าจะเป็น

ผลลัพธ์แสดงให้เห็นว่าโมเดลที่ได้รับการฝึกอบรมจากวรรณกรรมระหว่างปี 1880 ถึง 1914 มีผลลัพธ์ที่ใกล้เคียงกับข้อความต้นฉบับมากกว่า

การสร้างข้อความที่สมบูรณ์

จากนั้น นักวิจัยได้ทดสอบว่าการปรับให้เหมาะสมสามารถให้ผลลัพธ์ที่ดีกว่าหรือไม่ เนื่องจากกระบวนการนี้เกี่ยวข้องกับการเปลี่ยนแปลงน้ำหนักของโมเดลโดยตรง

ในการทดลองแรก ทีมนักวิจัยได้ฝึกอบรม GPT-4o-mini บนประมาณสองพันคู่ของข้อความที่ต่อข้อความจากหนังสือที่ตีพิมพ์ระหว่างปี 1905 ถึง 1914

โดยใช้เครื่องจำแนก RoBERTa ที่ได้รับการฝึกอบรมเพื่อประมาณการวันที่ตีพิมพ์ นักวิจัยพบว่าโมเดลที่ได้รับการปรับให้เหมาะสมสามารถสร้างข้อความที่ใกล้เคียงกับข้อความต้นฉบับ

ความแตกต่างระหว่างผลลัพธ์ของโมเดลและข้อความต้นฉบับวัดโดยใช้การวัดความแตกต่างของ Jensen-Shannon ลดลงเหลือ 0.002

การประมาณการวันที่ตีพิมพ์สำหรับข้อความที่แท้จริงและสร้างขึ้น โดยอาศัยเครื่องจำแนกที่ได้รับการฝึกอบรมเพื่อรับรู้รูปแบบทางประวัติศาสตร์ (ข้อความต้นฉบับจากปี 1905-1914 เทียบกับการต่อข้อความโดย GPT-1914 และ GPT-4o-mini ที่ได้รับการปรับให้เหมาะสม)

การประมาณการวันที่ตีพิมพ์สำหรับข้อความที่แท้จริงและสร้างขึ้น โดยอาศัยเครื่องจำแนกที่ได้รับการฝึกอบรมเพื่อรับรู้รูปแบบทางประวัติศาสตร์ (ข้อความต้นฉบับจากปี 1905-1914 เทียบกับการต่อข้อความโดย GPT-1914 และ GPT-4o-mini ที่ได้รับการปรับให้เหมาะสม)

อย่างไรก็ตาม นักวิจัยเตือนว่าการวัดนี้อาจจับได้เพียงลักษณะผิวเผินของภาษาในอดีตเท่านั้น และไม่ได้จับลักษณะที่ลึกซึ้งกว่านั้น

สัมผัสของมนุษย์

ท้ายที่สุด นักวิจัยทำการประเมินโดยมนุษย์ด้วยข้อความ 250 ตอนที่คัดเลือกจากหนังสือซึ่งตีพิมพ์ระหว่างปี 1905 ถึง 1914 โดยสังเกตว่าข้อความจำนวนมากน่าจะถูกตีความในปัจจุบันแตกต่างจากตอนที่เขียนขึ้นอย่างมาก

“ตัวอย่างในรายการของเรามีทั้งบทความสารานุกรมเกี่ยวกับแคว้นอาลซัส (ซึ่งขณะนั้นเป็นส่วนหนึ่งของเยอรมนี) และโรคเหน็บชา (ซึ่งในเวลานั้นมักอธิบายว่าเกิดจากเชื้อรา ไม่ใช่การขาดสารอาหาร) นอกจากความแตกต่างด้านข้อเท็จจริงเหล่านี้ เรายังเลือกข้อความที่เผยให้เห็นความแตกต่างที่ละเอียดอ่อนกว่าในด้านทัศนคติ วาทศิลป์ หรือจินตนาการ”

“ตัวอย่างเช่น คำบรรยายสถานที่นอกยุโรปในช่วงต้นศตวรรษที่ 20 มักไหลไปสู่การเหมารวมทางเชื้อชาติ ส่วนคำบรรยายพระอาทิตย์ขึ้นบนดวงจันทร์ที่เขียนในปี 1913 จินตนาการถึงปรากฏการณ์สีสันอันหลากหลาย เพราะในตอนนั้นยังไม่มีใครเห็นภาพถ่ายของโลกที่ไร้ชั้นบรรยากาศ”

นักวิจัยสร้างคำถามสั้นๆ ที่ข้อความทางประวัติศาสตร์แต่ละตอนสามารถตอบได้อย่างสมเหตุสมผล แล้วปรับแต่ง GPT-4o-mini ด้วยคู่คำถามและคำตอบเหล่านี้ เพื่อเพิ่มความเข้มงวดของการประเมิน พวกเขาฝึกโมเดลห้าเวอร์ชันแยกกัน โดยแต่ละครั้งกันข้อมูลคนละส่วนไว้สำหรับการทดสอบ

จากนั้นพวกเขาสร้างคำตอบจาก GPT-4o และ GPT-4o-mini รุ่นมาตรฐาน ตลอดจนรุ่นที่ผ่านการปรับแต่ง โดยประเมินแต่ละรุ่นกับข้อมูลส่วนที่ไม่เคยเห็นระหว่างการฝึก

สูญหายไปในเวลา

เพื่อประเมินว่าโมเดลเลียนแบบภาษาประวัติศาสตร์ได้น่าเชื่อถือเพียงใด นักวิจัยให้นักประเมินผู้เชี่ยวชาญสามคนตรวจคำเติมข้อความที่ AI สร้างขึ้น 120 รายการ และตัดสินว่าแต่ละรายการดูสมเหตุสมผลสำหรับนักเขียนในปี 1914 หรือไม่

การประเมินโดยตรงนี้ยากกว่าที่คาด แม้นักประเมินจะให้คำตัดสินตรงกันเกือบร้อยละ 80 แต่เนื่องจากเลือก “สมเหตุสมผล” บ่อยกว่า “ไม่สมเหตุสมผล” ถึงสองเท่า ระดับความสอดคล้องที่แท้จริงจึงอยู่เพียงระดับปานกลาง โดยมีคะแนนแคปปาของโคเฮน 0.554

ผู้ประเมินเองระบุว่างานนี้ยาก และมักต้องค้นคว้าเพิ่มเติมเพื่อตรวจว่าข้อความหนึ่งสอดคล้องกับสิ่งที่ผู้คนรู้หรือเชื่อในปี 1914 หรือไม่

ข้อความบางตอนก่อให้เกิดคำถามยากเกี่ยวกับน้ำเสียงและมุมมอง เช่น คำตอบจำกัดโลกทัศน์ของตนได้เหมาะสมกับสิ่งที่เป็นปกติในปี 1914 หรือไม่ การตัดสินลักษณะนี้มักขึ้นกับระดับของชาติพันธุ์นิยม หรือแนวโน้มที่จะมองวัฒนธรรมอื่นผ่านสมมติฐานและอคติของวัฒนธรรมตนเอง

โจทย์คือการพิจารณาว่าข้อความแสดงอคติทางวัฒนธรรมมากพอที่จะดูสมจริงตามประวัติศาสตร์หรือไม่ โดยไม่ฟังดูทันสมัยเกินไปหรือรุนแรงเกินมาตรฐานปัจจุบัน ผู้เขียนระบุว่าแม้แต่นักวิชาการที่คุ้นเคยกับยุคนั้นก็ยังขีดเส้นแบ่งระหว่างภาษาที่ดูถูกต้องตามประวัติศาสตร์กับภาษาที่สะท้อนแนวคิดปัจจุบันได้ยาก

ถึงกระนั้น ผลลัพธ์ก็จัดลำดับโมเดลได้ชัดเจน โดย GPT-4o-mini รุ่นปรับแต่งได้รับการตัดสินว่าน่าเชื่อถือที่สุดโดยรวม

การประเมินความสมเหตุสมผลของผลลัพธ์จากแต่ละโมเดล

การประเมินของผู้ตรวจว่าผลลัพธ์จากแต่ละโมเดลดูสมเหตุสมผลเพียงใด

ยังไม่ชัดเจนว่าประสิทธิภาพซึ่งถูกจัดว่า “สมเหตุสมผล” ในร้อยละ 80 ของกรณีนี้น่าเชื่อถือพอสำหรับงานวิจัยประวัติศาสตร์หรือไม่ โดยเฉพาะเมื่อการศึกษาไม่มีค่าฐานสำหรับวัดว่าข้อความจริงจากยุคนั้นจะถูกจำแนกผิดบ่อยเพียงใด

การเตือนภัยของผู้บุกรุก

จากนั้นเป็น “การทดสอบผู้บุกรุก” นักประเมินผู้เชี่ยวชาญจะเห็นข้อความไม่ระบุแหล่งที่มาสี่ตอนซึ่งตอบคำถามทางประวัติศาสตร์เดียวกัน สามคำตอบมาจากโมเดลภาษา ส่วนอีกหนึ่งตอนเป็นข้อความจริงจากแหล่งต้นศตวรรษที่ 20

ภารกิจคือระบุว่าข้อความใดเป็นต้นฉบับที่เขียนขึ้นจริงในยุคนั้น วิธีนี้ไม่ได้ขอให้ประเมินความสมเหตุสมผลโดยตรง แต่ตรวจว่าข้อความจริงโดดเด่นจากคำตอบของ AI บ่อยเพียงใด กล่าวคือ โมเดลสามารถหลอกให้ผู้อ่านเชื่อว่าผลงานของมันเป็นของแท้ได้หรือไม่

ลำดับของโมเดลตรงกับงานประเมินก่อนหน้า GPT-4o-mini รุ่นปรับแต่งน่าเชื่อถือที่สุดในกลุ่มโมเดล แต่ยังด้อยกว่าข้อความจริง

ความถี่ที่แหล่งข้อมูลแต่ละประเภทถูกระบุว่าเป็นข้อความประวัติศาสตร์จริงได้อย่างถูกต้อง

ความถี่ที่แหล่งข้อมูลแต่ละประเภทถูกระบุว่าเป็นข้อความประวัติศาสตร์จริงได้อย่างถูกต้อง

การทดสอบนี้ยังเป็นเกณฑ์อ้างอิงที่มีประโยชน์ เพราะเมื่อผู้ประเมินระบุข้อความจริงได้มากกว่าครึ่งหนึ่ง ช่องว่างระหว่างร้อยแก้วแท้กับร้อยแก้วสังเคราะห์จึงยังเห็นได้ชัดสำหรับผู้อ่านมนุษย์

การวิเคราะห์ทางสถิติที่เรียกว่าการทดสอบของแม็กนีมาร์ยืนยันว่าความแตกต่างระหว่างโมเดลมีนัยสำคัญ ยกเว้น GPT-4o และ GPT-4o-mini รุ่นที่ไม่ได้ปรับแต่ง ซึ่งให้ผลใกล้เคียงกัน

อนาคตของอดีต

ผู้เขียนพบว่าการสั่งโมเดลภาษาสมัยใหม่ให้ใช้เสียงแบบประวัติศาสตร์ไม่ได้ให้ผลน่าเชื่อถืออย่างสม่ำเสมอ คำตอบไม่ถึงสองในสามถูกผู้อ่านตัดสินว่าสมเหตุสมผล และแม้ตัวเลขนี้ก็น่าจะประเมินประสิทธิภาพสูงเกินจริง

หลายกรณีมีสัญญาณชัดว่าโมเดลพูดจากมุมมองปัจจุบัน เช่น “ในปี 1914 ยังไม่เป็นที่ทราบว่า…” หรือ “ณ ปี 1914 ข้าพเจ้ายังไม่คุ้นเคยกับ…” ซึ่งพบได้มากถึงหนึ่งในห้าของคำตอบ ข้อสงวนเหล่านี้ทำให้ชัดว่าโมเดลกำลังจำลองประวัติศาสตร์จากภายนอก แทนที่จะเขียนจากภายในยุคนั้น

ผู้เขียนระบุว่า

“ประสิทธิภาพที่ต่ำของการเรียนรู้จากบริบทเป็นเรื่องน่าเสียดาย เพราะวิธีเหล่านี้ง่ายและประหยัดที่สุดสำหรับงานวิจัยประวัติศาสตร์ที่ใช้ AI เราย้ำว่าเรายังไม่ได้สำรวจแนวทางเหล่านี้อย่างหมดจด”

“การเรียนรู้จากบริบทอาจเพียงพอในตอนนี้หรือในอนาคตสำหรับงานวิจัยบางด้าน แต่หลักฐานเบื้องต้นของเราไม่น่าเป็นกำลังใจ”

ผู้เขียนสรุปว่าการปรับแต่งโมเดลเชิงพาณิชย์ด้วยข้อความประวัติศาสตร์อาจสร้างผลลัพธ์ที่มีสไตล์น่าเชื่อถือได้ด้วยต้นทุนต่ำ แต่ไม่อาจขจัดร่องรอยของมุมมองสมัยใหม่ได้ทั้งหมด การฝึกโมเดลล่วงหน้าด้วยเนื้อหาจากยุคนั้นทั้งหมดหลีกเลี่ยงความผิดยุคได้ แต่ต้องใช้ทรัพยากรมากกว่ามากและให้ข้อความที่ลื่นไหลน้อยกว่า

ทั้งสองวิธียังไม่ใช่คำตอบที่สมบูรณ์ ปัจจุบันความพยายามจำลองเสียงในประวัติศาสตร์ต้องแลกระหว่างความแท้จริงกับความสอดคล้อง ผู้เขียนจึงเห็นว่าจำเป็นต้องวิจัยต่อไปเพื่อหาวิธีจัดการความตึงเครียดนี้

สรุป

คำถามที่น่าสนใจที่สุดข้อหนึ่งจากงานวิจัยฉบับใหม่นี้คือเรื่องความแท้จริง แม้จะไม่ใช่เครื่องมือที่สมบูรณ์ ฟังก์ชันการสูญเสียและตัวชี้วัดอย่าง LPIPS และ SSIM อย่างน้อยก็ช่วยให้นักวิจัยคอมพิวเตอร์วิทัศน์มีวิธีเปรียบเทียบกับข้อมูลจริงในลักษณะเดียวกัน

แต่เมื่อสร้างข้อความใหม่ในสำนวนของยุคที่ล่วงเลยไปแล้ว ไม่มีข้อมูลจริงให้ยึด มีเพียงความพยายามเข้าไปอยู่ในมุมมองทางวัฒนธรรมที่สูญหาย การสร้างกรอบความคิดนั้นขึ้นใหม่จากร่องรอยทางวรรณกรรมเป็นการควอนไทซ์รูปแบบหนึ่ง เพราะร่องรอยเหล่านั้นเป็นเพียงหลักฐาน ขณะที่จิตสำนึกทางวัฒนธรรมต้นกำเนิดยังอยู่นอกขอบเขตของการอนุมาน และอาจอยู่นอกเหนือจินตนาการด้วย

ในทางปฏิบัติ รากฐานของโมเดลภาษาสมัยใหม่ซึ่งหล่อหลอมจากบรรทัดฐานและข้อมูลปัจจุบันอาจตีความใหม่หรือกดทับแนวคิดที่ผู้อ่านยุคเอ็ดเวิร์ดมองว่าสมเหตุสมผลหรือธรรมดา แต่ปัจจุบันถูกมองว่าเป็นผลผลิตของอคติ ความไม่เท่าเทียม หรือความอยุติธรรม ซึ่งบ่อยครั้งเป็นสิ่งที่น่ารังเกียจ

ดังนั้น แม้เราจะสร้างบทสนทนาเช่นนั้นได้ ก็อดสงสัยไม่ได้ว่ามันอาจทำให้เรารู้สึกรังเกียจหรือไม่

 

เผยแพร่ครั้งแรกวันศุกร์ที่ 2 พฤษภาคม 2025

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai