การแสดงอารมณ์ผ่านตัวอักษรโดยใช้ AI

แนวโน้มและนวัตกรรมในปัจจุบันในการสื่อสารข้อความ (รวมถึงอีเมล์ การส่งข้อความ และระบบคำบรรยาย) ต้องเจรจาเพื่อข้ามช่องว่างทางอารมณ์ระหว่างการเขียนและการพูดในลักษณะที่หยาบและประมาณค่า

ตัวอย่างเช่น ในช่วงไม่กี่ปีที่ผ่านมาได้นำ ตัวอักษรที่สลับกัน เข้ามาในกระแสโซเชียลมีเดียในฐานะมีมที่กระตุ้นในการต่อสู้ทางออนไลน์ ในขณะที่การใช้ คีย์แคปส์ล็อก (เช่นเดียวกับผลกระทบตัวอักษรที่เข้มข้นและรบกวนซึ่งอนุญาตโดยบางแพลตฟอร์มการแสดงความคิดเห็น) ยังคงกระตุ้นให้ผู้ดูแลระบบเข้ามาแทรกแซง การใช้วิธีการเหล่านี้เป็นวิธีการที่มีเสียงเดียวและแสดงถึงวิธีการที่กว้างๆ ในการทำให้เจตนารมณ์ของข้อความที่เขียนชัดเจนขึ้น

ในเวลาเดียวกัน ความนิยมที่เพิ่มขึ้นของอิโมจิและอีโมจิในฐานะตัวส่งสัญญาณอารมณ์ที่เป็นข้อความ/ภาพ ได้กระตุ้น การมีส่วนร่วมอย่างแข็งขัน ของภาควิจัยการประมวลผลภาษาธรรมชาติ (NLP) ในช่วงไม่กี่ปีที่ผ่านมา พร้อมด้วยความสนใจใน ความหมายของภาพจิฟแอนิเมชัน ที่ผู้ใช้โพสต์ในเส้นทางความคิดเห็น

เมื่อเวลาผ่านไป ภาษาที่เขียนได้พัฒนาวิธีการทางภาษาที่ “เพิ่มเติม” เหล่านี้ ซึ่งพยายามทั้งการแทนเจตนารมณ์หรือเรียกเจตนารมณ์ขึ้นมาในความไม่มีข้อมูลน้ำเสียงในคำพูด

โดยทั่วไป อย่างไรก็ตาม เราต้องแสดงเจตนารมณ์ให้ดีที่สุดจากบริบทของข้อความที่เขียน ตัวอย่างเช่น พิจารณา การตะโกน ‘โอ้ โอ้ โอ้!’ ที่สิ้นสุดของการกล่าวสุนทรพจน์กลางคืนของเลดี้แม็คเบธที่บ้าคลั่ง ซึ่งเป็นกรณีศึกษาที่ชัดเจนเกี่ยวกับระดับที่น้ำเสียงสามารถส่งผลต่อความหมาย

ในหลายๆ การดัดแปลง การร้องเพลงที่เจ็บปวดครั้งนี้ใช้เวลา 2-6 วินาที ในการผลิต แม็คเบธ ของ Trevor Nunn ในปี 1976 ของ Royal Shakespeare Company Judi Dench ได้นำการอ่านบรรทัดนี้ไปสู่การบันทึกที่ไม่เคยท้าทายซึ่ง 24.45 วินาที ในการวิเคราะห์บทบาทที่สำคัญ

(ระบบการเขียนคำบรรยายอัตโนมัติของ YouTube สำหรับคลิปนี้อธิบายการร้องเพลงของ Dench เป็น [MUSIC])

การแปล Prosody เป็น Typography

เอกสารวิจัยล่าสุดจากบราซิลเสนอระบบตัวอักษรที่ควบคุมด้วยเสียงพูดที่อาจรวม Prosody และส่วนประกอบพาราลิงกัวส์อื่นๆ ได้โดยตรงเข้ากับการคำบรรยายเสียง โดยเพิ่มมิติของอารมณ์ที่จับได้ไม่ดีโดยการเติมคำคุณศัพท์เช่น [การตะโกน] หรือเทคนิค “แบน” อื่นๆ ที่มีให้ในการแสดงคำบรรยายแบบปิด

‘เราเสนอแบบจำลองใหม่ของ Speech-Modulated Typography โดยที่คุณลักษณะทางเสียงจากเสียงพูดถูกใช้ในการควบคุมการแสดงภาพของข้อความ นี่จะทำให้การถอดเสียงของคำพูดไม่เพียงแต่แสดงถึงคำที่พูด แต่ยังแสดงถึงวิธีการพูดด้วย ‘

‘ด้วยสิ่งนี้ เราหวังที่จะค้นหาตัวแปรตัวอักษรที่สามารถรับรู้ได้ทั่วไปว่าเป็นตัวแทนภาพของลักษณะ Prosody ของความเข้มข้น ความสูง และระยะเวลา’

กระบวนการที่แปล Prosody เป็นรูปแบบตัวอักษร โดยมีเป้าหมายที่จะสร้างระบบที่หลากหลายและใช้งานได้มากที่สุด ผู้เขียนจำกัดตัวเองไว้ที่การเปลี่ยนเส้นฐาน การกระจายตัวอักษร และความเข้มข้น ซึ่งล่าสุดได้รับการสนับสนุนจากความสามารถของฟอนต์แบบเปิด Source: https://arxiv.org/pdf/2202.10631.pdf

เอกสารวิจัย นี้ มีชื่อเรื่องว่า เสียงร้อง เสียงกระซิบ และเสียงเห่าซ่อนเร้น: ข้อความสามารถทำให้ดูเหมือนมากกว่าคำพูดได้หรือไม่? และมาจาก Calua de Lacerda Pataca และ Paula Dornhofer Paro Costa นักวิจัยสองคนจาก Universidade Estadual de Campinas ในบราซิล

ตัวอักษรที่เข้มข้น

แม้ว่าจุดมุ่งหมายโดยรวมของโครงการคือการพัฒนาระบบที่สามารถส่งผ่าน Prosody และคุณลักษณะภาษาอื่นๆ ในการคำบรรยาย แต่ผู้เขียนยังเชื่อว่าระบบประเภทนี้อาจพัฒนาความนิยมในโลกที่ได้ยินได้เช่นกัน

มีหลายโครงการก่อนหน้านี้ในพื้นที่นี้ รวมถึง โครงการในปี 1983 ที่เสนอระบบการคำบรรยายที่อาจรวม ‘เอฟเฟกต์พิเศษ สี และตัวอักษรตัวใหญ่ [เพื่อแสดง] ข้อมูลน้ำเสียงที่มีค่าซึ่งถูกปฏิเสธเด็กที่หูหนวก[.]’

ในทางตรงกันข้าม โครงการบราซิลสามารถใช้ประโยชน์จากทั้งการถอดเสียงอัตโนมัติและความก้าวหน้าใหม่ๆ ในการรับรู้ผลกระทบ ซึ่งรวมกันเพื่อให้สามารถทำงานได้ซึ่งสามารถนำเข้าและจัดประเภทส่วนประกอบในเสียงพูด

หลังจากที่คุณลักษณะ Prosody ถูกถอดและประมวลผลแล้ว จะถูกแมปกับเวลาของคำพูดในเสียงพูด โดยผลิตโทเค็นที่สามารถใช้ในการปรับเปลี่ยนการแสดงตัวอักษรตามกฎ (ดูภาพด้านบน)

ผลลัพธ์นี้สามารถแสดงถึงระดับที่สัญลักษณ์หนึ่งๆ อาจถูกยืดออก เตะ ตอกย้ำ หรือมีข้อมูลบริบทอื่นๆ ที่จะสูญเสียไปในข้อความที่ถอดเสียงแบบดั้งเดิม

จากขั้นทดสอบของโครงการ โปรดทราบวิธีการที่การกระจายตัวอักษร (พื้นที่ระหว่างตัวอักษรในคำ) ถูกขยายออกเพื่อสะท้อนถึงการออกเสียงที่ยืดออก

ผู้เขียนชี้แจงว่างานของพวกเขามีจุดมุ่งหมายไม่เพื่อช่วยในการรับรู้อารมณ์และการรับรู้ผลกระทบ แต่เพื่อจัดประเภทคุณลักษณะของเสียงพูดและแสดงด้วยการแสดงภาพที่เรียบง่ายและจำกัด

อย่างน้อยที่สุด การเน้นเพิ่มเติมที่ระบบให้มาจะช่วยให้ประโยคที่วัตถุของการกระทำอาจไม่ชัดเจนสำหรับผู้ชมที่ไม่สามารถได้ยินเสียง (ไม่ว่าจะผ่านความพิการหรือสถานการณ์การเล่น เช่น สภาพแวดล้อมที่มีเสียงดัง)

เพื่อยืมคำพูดของตัวเองในปี 2017 ซึ่งตรวจสอบว่าระบบการเรียนรู้ของเครื่องสามารถ มีปัญหา ในการเข้าใจว่าวัตถุและการกระทำอยู่ที่ไหนในประโยค มันง่ายที่จะเห็นระดับที่การเน้นสามารถเปลี่ยนความหมายของประโยคง่ายๆ ได้อย่างไร:

ฉัน ไม่ได้ขโมยสิ่งนั้น (คนอื่นขโมยมัน)
ฉัน ไม่ ขโมยสิ่งนั้น (ฉันปฏิเสธข้อกล่าวหาว่าฉันขโมยมัน)
ฉันไม่ได้ ขโมย สิ่งนั้น (ฉันเป็นเจ้าของมัน การขโมยไม่เกี่ยวข้อง)
ฉันไม่ได้ขโมย สิ่งนั้น (แต่ฉันขโมยสิ่งอื่น)

โดยที่ระบบการทำงาน Prosody>Typography เช่นที่ผู้เขียนชาวบราซิลแนะนำอาจมีประโยชน์เป็นส่วนเสริมในการพัฒนาชุดข้อมูลสำหรับการวิจัยการคำนวณอารมณ์ เนื่องจากช่วยให้สามารถประมวลผลข้อมูลข้อความที่ไม่มีเพียงข้อมูลน้ำเสียงล่วงหน้า

นอกจากนี้ ผู้วิจัยยังชี้ว่าข้อมูลภาษาเพิ่มเติมของข้อความที่รู้ Prosody อาจมีประโยชน์ในงาน NLP หลายอย่าง รวมถึงการประเมินความพึงพอใจของลูกค้า และการอนุมานการซึมเศร้าจากเนื้อหาข้อความ

Typography ที่ยืดหยุ่น

เฟรมเวิร์กที่นักวิจัยพัฒนาขึ้นเสนอวิธีการเปลี่ยนแปลงเส้นฐานที่ตัวอักษรอาจสูงหรือต่ำกว่า “เส้นฐาน” ที่ประโยคพักอยู่; การกระจายตัวอักษร โดยที่พื้นที่ระหว่างตัวอักษรในคำอาจถูกหดหรือยืดออก; และน้ำหนักของฟอนต์ (ความเข้มข้น)

การออกแบบเหล่านี้สอดคล้องกับคุณลักษณะเสียงพูดที่โครงการได้จำกัดตัวเองไว้: ตามลำดับ ความสูง, ระยะเวลา และ ความเข้มข้น

การเปลี่ยนแปลงรูปแบบตัวอักษรในประโยค ใน #1 เราจะเห็นขอบเขตสัญลักษณ์ที่ถูกกำหนดไว้ในกระบวนการถอดรหัส ใน #2 เราจะเห็นตัวแทนของการเปลี่ยนแปลงการแสดงภาพแต่ละแบบ (ขนาด|น้ำหนัก การกระจายตัวอักษร|ระยะเวลา และการเปลี่ยนเส้นฐาน|ความสูง) ที่ใช้แบบเดียว ใน #3 เราจะเห็นการเปลี่ยนแปลงการแสดงภาพที่รวมกันในผลลัพธ์สุดท้ายที่นำเสนอให้กับผู้เข้าร่วมการทดลอง 117 คน

เนื่องจากฟอนต์แบบเดียวอาจต้องมีฟอนต์เสริมสำหรับการเปลี่ยนแปลง เช่น ตัวหนาและอิตาลิก ผู้วิจัยใช้การนำไปใช้ของ Google การนำไปใช้ ของฟอนต์แบบเปิด อินเตอร์ ซึ่งรวมช่วงน้ำหนักที่ละเอียดเข้าด้วยกันในฟอนต์แบบเดียว

จากเอกสารวิจัย แผนภูมิที่แสดงถึงระดับที่ไกลโกลฟ์แบบเปิดจากฟอนต์ Inter สามารถแสดงการเน้นย้ำที่เข้มข้นได้

การทดสอบ

การแสดงการกระจายตัวอักษรและเปลี่ยนเส้นฐานถูกนำมาใช้ในปลั๊กอินของเบราว์เซอร์ ซึ่งทำให้การทดสอบสามารถทำได้กับผู้เข้าร่วมที่มีการได้ยิน 117 คน

ชุดข้อมูลสำหรับการทดสอบถูกสร้างขึ้นโดยเฉพาะสำหรับโครงการ โดยการว่าจ้างนักแสดงคนหนึ่งที่อ่านบทกวีหลายครั้งด้วยการเน้นย้ำที่แตกต่างกันในแต่ละครั้ง ซึ่งตรงกับคุณลักษณะทั้งสามที่โครงการกำลังศึกษา บทกวีนี้ถูกเลือกเพราะมันอนุญาตให้มีการเน้นย้ำที่หลากหลาย (แม้กระทั่งมากกว่าเจตนารมณ์ของกวี) โดยไม่ฟังดูไม่ธรรมชาติ

ผู้เข้าร่วมถูกแบ่งออกเป็นสองกลุ่ม กลุ่มแรกได้รับ 15 รอบการอ่านของนักแสดงที่มีการแสดงภาพเคลื่อนไหวและปรับเปลี่ยนรูปแบบตัวอักษรที่สอดคล้องกันซึ่งเลื่อนไปพร้อมกับคลิปเสียง

กลุ่มที่สองได้รับชุดงานที่เหมือนกัน แต่แสดงภาพนิ่งของรูปแบบตัวอักษรที่ปรับเปลี่ยนซึ่งไม่เปลี่ยนแปลงระหว่างการเล่นคลิปเสียงของนักแสดง

อัตราความถูกต้องเฉลี่ยคือ 67% สำหรับกลุ่มภาพนิ่ง และ 63% สำหรับกลุ่มภาพเคลื่อนไหว คำตอบจากผู้เข้าร่วมที่ผู้วิจัยขอหลังการทดลองยืนยันสมมติฐานของพวกเขาว่าภาระการประมวลผลของการแสดงภาพเคลื่อนไหวอาจมีส่วนทำให้ได้คะแนนต่ำกว่าในการทดสอบที่ไม่ใช่ภาพนิ่ง อย่างไรก็ตาม ระบบการคำบรรยายและข้อความที่ระบบนี้มีจุดมุ่งหมายที่จะใช้โดยทั่วไปจะให้ข้อความที่เสร็จสมบูรณ์โดยค่าเริ่มต้น

คำตอบของผู้เข้าร่วมยังชี้ให้เห็นว่ามีข้อจำกัดที่เข้มงวดในการใช้การกระจายตัวอักษรเพื่อแสดงระยะเวลา โดยผู้ตอบแบบสอบถามคนหนึ่งกล่าวว่าเมื่อตัวอักษรอยู่ห่างกันมากเกินไป มันจะยากที่จะแยกคำออก

ผู้วิจัยยังชี้ว่า:

‘[บาง] ผู้เข้าร่วมรู้สึกว่าแบบจำลองควรสามารถแสดงถึงการแทนเจตนารมณ์ที่ซับซ้อนและหลากหลายมากขึ้น ซึ่งควรทำด้วยภาษาที่มีสำเนียงและแสดงออกที่หลากหลายมากขึ้น แม้ว่านี่จะไม่ใช่หน้าที่ที่ง่าย แต่ก็เป็นเรื่องที่น่าสนใจที่จะจินตนาการถึงการประยุกต์ใช้ Speech-Modulated Typography ที่แตกต่างกันซึ่งอาจพัฒนาไปตามความก้าวหน้าของสาขานี้’

เผยแพร่ครั้งแรกเมื่อวันที่ 24 กุมภาพันธ์ 2022