คาร์บอนฟุตพรินต์ที่สูงของโมเดลการแปลภาษาเยอรมัน

การวิจัยใหม่เกี่ยวกับคาร์บอนฟุตพรินต์ที่สร้างขึ้นโดยโมเดลการแปลภาษาด้วยเครื่องจักรแสดงให้เห็นว่าภาษาเยอรมาอาจเป็นภาษาที่ต้องการการฝึกอบรมมากที่สุด แม้ว่าจะไม่ชัดเจนว่าทำไมก็ตาม รายงานใหม่นี้มีจุดมุ่งหมายเพื่อเปิดโอกาสในการวิจัยเพิ่มเติมเกี่ยวกับวิธีการฝึกอบรม AI ที่มีประสิทธิภาพมากขึ้น ในบริบทของการเติบโตของความตระหนักเกี่ยวกับระดับที่ระบบการเรียนรู้ของเครื่องจักรใช้ไฟฟ้า

รายงานที่ไม่ได้รับการพิมพ์ขึ้นชื่อว่า Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation และมาจากนักวิจัยที่สถาบันเทคโนโลยี Manipal ของอินเดีย

ผู้เขียนทดสอบเวลาการฝึกอบรมและคำนวณค่าการปล่อยก๊าซคาร์บอนสำหรับโมเดลการแปลภาษาต่างๆ และพบ ‘ความแตกต่างที่น่าสังเกต’ ระหว่างเวลาที่ใช้ในการแปลสามคู่ภาษาที่มีการปล่อยก๊าซคาร์บอนสูงสุด และสามโมเดลที่มีการปล่อยก๊าซคาร์บอนต่ำสุด

ค่าเฉลี่ยของการปล่อยก๊าซคาร์บอนในช่วง 10 ยุคของการฝึกอบรม Source: https://arxiv.org/pdf/2109.12584.pdf

รายงานพบว่าคู่ภาษาที่มีการปล่อยก๊าซคาร์บอนต่ำที่สุดในการฝึกอบรมคือ ภาษาอังกฤษ>ภาษาฝรั่งเศส ภาษาฝรั่งเศส>ภาษาอังกฤษ และภาษาเยอรมัน>ภาษาอังกฤษ ในขณะที่ภาษาเยอรมันอยู่ในคู่ภาษาที่มีการปล่อยก๊าซคาร์บอนสูงสุด: ภาษาฝรั่งเศส>ภาษาเยอรมัน ภาษาอังกฤษ>ภาษาเยอรมัน และภาษาเยอรมัน>ภาษาฝรั่งเศส

ดอกเบี้ยทบต้น

ผลการวิจัยชี้ให้เห็นว่าความหลากหลายทางคำศัพท์ ‘เป็นสัดส่วนโดยตรงต่อเวลาการฝึกอบรมในการบรรลุระดับการทำงานที่เหมาะสม’ และทราบว่าภาษาเยอรมันมีคะแนนความหลากหลายทางคำศัพท์สูงสุดในหมู่ภาษาที่ทดสอบสามภาษา ตาม อัตราส่วน Type-Token (TTR) – การวัดขนาดของคำศัพท์ตามความยาวของข้อความ

ความต้องการที่เพิ่มขึ้นในการประมวลผลภาษาเยอรมันในโมเดลการแปลไม่ได้สะท้อนให้เห็นในข้อมูลที่ใช้ในการทดลอง จริงๆ แล้ว โทเค็นภาษาเยอรมันที่สร้างขึ้นจากข้อมูลที่ใช้ในการทดลองมีจำนวนน้อยกว่า (299445) เมื่อเทียบกับภาษาอังกฤษ (320108) และน้อยกว่าภาษาฝรั่งเศส (335917) มาก

ความท้าทายจากมุมมองของการประมวลผลภาษาธรรมชาติ (NLP) คือการแยกคำประกอบภาษาเยอรมันออกเป็นคำที่ประกอบขึ้น ระบบ NLP มักต้องทำสิ่งนี้สำหรับภาษาเยอรมันโดยไม่มีคำใบ้ทางไวยากรณ์หรือคำใบ้ทางบริบทที่สามารถพบได้ในภาษาที่มีคะแนน TTR ต่ำกว่า เช่น ภาษาอังกฤษ การแยกคำประกอบภาษาเยอรมันเรียกว่า การแยกคำประกอบ หรือ การแยกคำ

ภาษาเยอรมันมีคำที่ยาวที่สุดในโลก แต่ในปี 2013 มัน เสียการยอมรับอย่างเป็นทางการ ของคำที่ยาวที่สุดซึ่งมี 65 ตัวอักษร ซึ่งยาวพอที่จะต้องมีบรรทัดใหม่ในบทความนี้:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

คำนี้หมายถึงกฎหมายที่มอบหมายให้ตรวจสอบฉลากเนื้อสัตว์ แต่สูญเสียการยอมรับเนื่องจากการเปลี่ยนแปลงข้อบังคับของยุโรปในปีนั้น และส่งมอบตำแหน่งให้กับคำที่มีชื่อเสียงอื่นๆ เช่น ‘ม่ายของกัปตันเรือ汽船ดานูบ’ (49 ตัวอักษร):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

โดยทั่วไป โครงสร้างทางไวยากรณ์ของภาษาเยอรมันต้องการการเปลี่ยนแปลงจากสมมติฐานเกี่ยวกับลำดับคำที่เป็นพื้นฐานของการปฏิบัติงาน NLP ในหลายภาษาทางตะวันตก โดยมีเฟรมเวิร์ก NLP ที่ได้รับความนิยม (spaCY) ที่ตั้งอยู่ในเบอร์ลิน รับภาษาเยอรมันเป็นภาษาแม่ ในปี 2016

การแมปกับคำศัพท์ในประโยคภาษาอังกฤษและภาษาเยอรมัน Source: https://explosion.ai/blog/german-model

ข้อมูลและการทดสอบ

สำหรับข้อมูลที่ใช้ในการทดลอง นักวิจัยใช้ ชุดข้อมูล Multi30k ซึ่งมีตัวอย่าง 30,000 ตัวอย่างทั่วภาษาฝรั่งเศส เยอรมัน และอังกฤษ

โมเดลแรกที่นักวิจัยใช้คือ Convolutional Sequence to Sequence (ConvSeq) ของ Facebook AI ในปี 2017 ซึ่งเป็นเครือข่ายประสาทที่มีเลเยอร์เชิงการคำนวณ แต่ไม่มีหน่วยเกิดซ้ำ และใช้ฟิลเตอร์เพื่อสร้างคุณลักษณะจากข้อความ ซึ่งช่วยให้การดำเนินการสามารถเกิดขึ้นได้ในรูปแบบขนานที่มีประสิทธิภาพ

แนวทางที่สองที่ใช้คือ โมเดล Transformers ของ Google ในปี 2017 ซึ่งใช้เลเยอร์เชิงเส้น กลไกการให้ความสนใจ และการปรับมาตรฐาน โมเดลที่เผยแพร่เดิมได้รับการวิพากษ์วิจารณ์เกี่ยวกับการปล่อยก๊าซคาร์บอนที่ไม่มีประสิทธิภาพ โดยมีการอ้างว่ามีการปรับปรุงในภายหลัง ถูกโต้แย้ง

การทดลองดำเนินการบน Google Colab โดยใช้ Tesla K80 GPU ภาษาได้รับการเปรียบเทียบโดยใช้ BLEU (Bilingual Evaluation Understudy) และ CodeCarbon Machine Learning Emissions Calculator ข้อมูลได้รับการฝึกอบรมในช่วง 10 ยุค

ผลการวิจัย

นักวิจัยพบว่าการฝึกอบรมที่นานขึ้นสำหรับคู่ภาษาที่เกี่ยวข้องกับภาษาเยอรมันทำให้เกิดการปล่อยก๊าซคาร์บอนที่สูงขึ้น แม้ว่าคู่ภาษาอื่นๆ เช่น ภาษาอังกฤษ>ภาษาฝรั่งเศส และภาษาฝรั่งเศส>ภาษาอังกฤษ จะมีการปล่อยก๊าซคาร์บอนที่สูงกว่า แต่พวกมันฝึกอบรมได้เร็วขึ้นและแก้ไขได้ง่ายขึ้น โดยที่การปล่อยก๊าซคาร์บอนเหล่านี้ถูกอธิบายโดยนักวิจัยว่า ‘ไม่สำคัญ’ เมื่อเทียบกับการปล่อยก๊าซคาร์บอนของคู่ภาษาที่รวมภาษาเยอรมัน

การวิเคราะห์คู่ภาษาโดยการปล่อยก๊าซคาร์บอนของเครื่องส่งและเครื่องรับ

นักวิจัยสรุปว่า:

‘ผลการวิจัยของเราบ่งชี้อย่างชัดเจนว่าคู่ภาษาบางคู่มีการปล่อยก๊าซคาร์บอนที่สูงกว่าคู่ภาษาอื่นๆ และแนวโน้มนี้ยังคงอยู่แม้จะเปลี่ยนโครงสร้าง’

พวกเขายังคง:

‘อย่างไรก็ตาม ยังมีคำถามที่ไม่ได้รับคำตอบเกี่ยวกับเหตุผลที่มีการปล่อยก๊าซคาร์บอนที่แตกต่างกันในการฝึกอบรมโมเดลสำหรับคู่ภาษาหนึ่งมากกว่าอีกคู่หนึ่ง และไม่แน่ใจว่าโครงสร้างใดอาจเหมาะสมกว่าสำหรับคู่ภาษาที่มีการปล่อยก๊าซคาร์บอนที่สูง และเหตุผลที่แท้จริง’

รายงานเน้นย้ำว่าเหตุผลที่มีการปล่อยก๊าซคาร์บอนที่แตกต่างกันในการฝึกอบรมโมเดลไม่ชัดเจน และพวกเขาคาดหวังที่จะพัฒนาการวิจัยนี้โดยใช้ภาษาที่ไม่ใช่ภาษาละติน

1.20pm GMT+2 – ข้อผิดพลาดในการเขียนถูกแก้ไข.