การเพิ่มประสิทธิภาพการประมวลผลภาษาโดยใช้โมเดล BERT ที่เปิดเผยโดย Google

โมเดล BERT (Bidirectional Encoder Representations from Transformers) เป็นโมเดลการฝึกที่ได้รับการปรับปรุงประสิทธิภาพและผลลัพธ์ของโมเดล NLP (Natural Language Processing) อย่างมาก เมื่อ Google (GOOGL ) เปิดเผยโมเดล BERT ทำให้สามารถปรับปรุงโมเดล NLP ในอุตสาหกรรมต่างๆ ได้ ในบทความนี้ เราจะพิจารณาว่า BERT ได้เปลี่ยนแปลง NLP ให้เป็นหนึ่งในโซลูชัน AI ที่มีประสิทธิภาพและเป็นประโยชน์มากที่สุดในโลกปัจจุบัน

การประยุกต์ใช้โมเดล BERT กับการค้นหา

เครื่องมือค้นหาของ Google มีชื่อเสียงในด้านการนำเสนอเนื้อหาที่เกี่ยวข้อง และได้เปิดเผยโปรแกรมการประมวลผลภาษาที่เป็นธรรมชาติให้กับโลก

ความสามารถของระบบในการอ่านและตีความภาษาที่เป็นธรรมชาติเป็นสิ่งสำคัญมากขึ้นเรื่อยๆ เมื่อโลกผลิตข้อมูลใหม่ๆ อย่างรวดเร็ว ความสามารถของ Google ในการนำเสนอเนื้อหาที่เกี่ยวข้องและฐานข้อมูลคำศัพท์เปิดเผยให้กับโลก ทั้งการประมวลผลภาษาที่เป็นธรรมชาติและโมเดล BERT สามารถ 추출ข้อมูลจากข้อมูลที่ไม่มีโครงสร้างและสามารถนำไปใช้สร้างอินเทอร์เฟซการค้นหาสำหรับห้องสมุดใดๆ ได้ ในบทความนี้ เราจะพิจารณาว่าเทคโนโลยีนี้สามารถนำไปใช้ในอุตสาหกรรมพลังงานได้อย่างไร

BERT เป็นแนวทางในการฝึกที่ได้รับการเสนอโดยทีม Google AI Language เพื่อแก้ไขปัญหาที่พบในโมเดล NLP ในช่วงแรก: การขาดข้อมูลฝึกที่เพียงพอ

ลองอธิบายโดยไม่ลงรายละเอียดมากเกินไป:

การฝึกโมเดล

งาน NLP ระดับต่ำ (เช่น การตระหนักถึงชื่อของสิ่งและการแบ่งส่วนหัวข้อ) และงาน NLP ระดับสูง (เช่น การวิเคราะห์ความรู้สึกและการรู้จำเสียงพูด) ต้องการชุดข้อมูลที่มีการบ่งชี้เฉพาะงาน ซึ่งยากและแพงในการรวบรวม ชุดข้อมูลที่มีการบ่งชี้มีบทบาทสำคัญต่อประสิทธิภาพของโมเดลทั้งแบบผิวเผินและแบบลึก ผลลัพธ์ของการอนุมานที่มีคุณภาพสูงสามารถทำได้เมื่อมีตัวอย่างการฝึกที่มีการบ่งชี้หลายล้านหรือหลายพันล้านตัวอย่าง และนั่นเป็นปัญหาที่ทำให้หลายงาน NLP ไม่สามารถเข้าถึงได้ จนกระทั่ง BERT ถูกพัฒนา

BERT เป็นโมเดลการแทนคำที่มีจุดมุ่งหมายทั่วไปที่ฝึกจากข้อมูลข้อความที่ไม่มีการบ่งชี้ เมื่อโมเดลได้รับการฝึกจากข้อมูลข้อความขนาดใหญ่ มันจะ เรียนรู้ เพื่อทำความเข้าใจบริบทและความสัมพันธ์ระหว่างคำในประโยค ไม่เหมือนกับโมเดลการเรียนรู้ก่อนหน้าที่แสดงความหมายที่ระดับคำ (เช่น คำว่า “ธนาคาร” จะมีความหมายเหมือนกันใน “บัญชีธนาคาร” และ “ฝั่งธนาคาร”) BERT จริงๆ แล้วสนใจบริบท นั่นคือ สิ่งที่อยู่ก่อนและหลังคำในประโยค บริบทเป็นความสามารถที่ขาดหายไปในโมเดล NLP และมีผลกระทบโดยตรงต่อประสิทธิภาพของโมเดล การออกแบบโมเดลที่รู้บริบท เช่น BERT เป็นที่รู้จักโดยหลายคนว่าเป็นจุดเริ่มต้นของยุคใหม่ใน NLP

การฝึก BERT จากข้อมูลข้อความขนาดใหญ่คือเทคนิคที่เรียกว่า การฝึกก่อน ซึ่งหมายความว่าน้ำหนักของโมเดลถูกปรับให้เหมาะสมสำหรับการทำความเข้าใจข้อความทั่วไป และโมเดลที่มีรายละเอียดมากกว่าสามารถสร้างขึ้นบนโมเดลนี้ได้ ผู้เขียนได้พิสูจน์ความเหนือกว่าของเทคนิคนี้เมื่อพวกเขาใช้โมเดล BERT กับงาน NLP 11 งานและได้ผลลัพธ์ที่ดีที่สุด

โมเดลที่ฝึกก่อน

สิ่งที่ดีที่สุดคือ: โมเดล BERT ที่ฝึกก่อนเปิดเผยและสามารถเข้าถึงได้โดยสาธารณะ ซึ่งหมายความว่าใครๆ ก็สามารถจัดการกับงาน NLP และสร้างโมเดลของตนเองบน BERT ได้ ไม่มีอะไรที่ดีกว่านี้หรอก ใช่ไหม? โอ้ รอ一下: สิ่งนี้ยังหมายความว่าโมเดล NLP สามารถฝึก (ปรับให้เหมาะสม) ได้โดยใช้ชุดข้อมูลที่เล็กกว่า โดยไม่ต้องฝึกจากศูนย์ จุดเริ่มต้นของยุคใหม่จริงๆ

โมเดลเหล่านี้ช่วยให้บริษัทต่างๆ ลดค่าใช้จ่ายและเวลาที่ต้องใช้ในการนำโมเดล NLP ไปใช้ภายในหรือภายนอกองค์กร ประสิทธิภาพของโมเดล NLP ที่ฝึกได้ดีถูกเน้นโดย Michael Alexis ซีอีโอของ teambuilding.com ซึ่งเป็นบริษัทที่สร้างวัฒนธรรมทีมเสมือนจริง

“ประโยชน์ที่ใหญ่ที่สุดของ NLP คือการอนุมานและประมวลผลข้อมูลที่มีประสิทธิภาพและสม่ำเสมอ” – Michael Alexis ซีอีโอของ teambuilding.com

Michael อธิบายว่า NLP สามารถนำไปใช้กับโปรแกรมสร้างวัฒนธรรมทีม เช่น กิจกรรมทำลายน้ำแข็งหรือแบบสำรวจได้อย่างไร บริษัทสามารถได้รับข้อมูลเชิงลึกที่มีคุณค่าเกี่ยวกับวัฒนธรรมของบริษัทโดยการวิเคราะห์คำตอบของพนักงานได้ สิ่งนี้ทำได้ไม่เพียงแต่การวิเคราะห์ข้อความเท่านั้น แต่ยังรวมถึงการวิเคราะห์ข้อมูลที่มีการบ่งชี้ด้วย โดยที่โมเดล “อ่านระหว่างบรรทัด” เพื่อสรุปอารมณ์ ความรู้สึก และทัศนคติโดยรวม BERT สามารถช่วยในสถานการณ์เช่นนี้ได้โดยการฝึกโมเดลที่มีฐานของตัวชี้วัดที่สามารถใช้เพื่อเปิดเผยความแตกต่างของภาษาและให้ข้อมูลเชิงลึกที่แม่นยำยิ่งขึ้น

การปรับปรุงการค้นหา

ความสามารถในการสร้างแบบจำลองบริบทได้เปลี่ยน BERT ให้เป็นฮีโร่ของ NLP และปฏิวัติการค้นหาของ Google เอง ต่อไปนี้คือคำพูดจากทีมผลิตภัณฑ์การค้นหาของ Google และประสบการณ์การทดสอบของพวกเขาเมื่อพวกเขาปรับ BERT เพื่อทำความเข้าใจเจตนาเบื้องหลังการค้นหา

“ต่อไปนี้เป็นตัวอย่างที่แสดงให้เห็นถึงความสามารถของ BERT ในการทำความเข้าใจเจตนาเบื้องหลังการค้นหา ตัวอย่างเช่น การค้นหา ‘2019 บราซิล ผู้เดินทางไปสหรัฐอเมริกาต้องการวีซ่า’ คำว่า ‘ไป’ และความสัมพันธ์กับคำอื่นๆ ในการค้นหานั้นสำคัญมากในการทำความเข้าใจความหมาย มันเกี่ยวกับผู้เดินทางจากบราซิลไปสหรัฐอเมริกา ไม่ใช่ในทางกลับกัน ก่อนหน้านี้ อัลกอริทึมของเราจะไม่เข้าใจความสำคัญของความเชื่อมโยงนี้และเราจะแสดงผลลัพธ์เกี่ยวกับพลเมืองสหรัฐอเมริกาที่เดินทางไปบราซิล ด้วย BERT การค้นหาสามารถเข้าใจความแตกต่างนี้และรู้ว่าคำทั่วไปๆ เช่น ‘ไป’ มีความสำคัญมากในกรณีนี้และเราสามารถให้ผลลัพธ์ที่เกี่ยวข้องมากขึ้นสำหรับการค้นหานี้ได้”– การทำความเข้าใจภาษาที่ดีกว่าเคย โดย Pandu Nayak Fellow และ Vice President ของ Search

ตัวอย่างการค้นหา BERT ก่อนและหลัง

ในบทความก่อนหน้าของเราที่เกี่ยวกับ NLP และ OCR เราได้แสดงให้เห็นตัวอย่างการใช้ NLP ในอุตสาหกรรมอสังหาริมทรัพย์ เรายังได้กล่าวถึงว่า “เครื่องมือ NLP เป็นเครื่องมือในการ 추출ข้อมูลที่เหมาะสม” ลองมาดูอุตสาหกรรมพลังงานและดูว่าเทคโนโลยี NLP ที่เป็นนวัตกรรมใหม่ๆ เช่น BERT สามารถนำไปใช้ได้อย่างไร

โมเดล NLP สามารถ 추출ข้อมูลจากข้อมูลที่ไม่มีโครงสร้างได้

หนึ่งในวิธีที่โมเดล NLP สามารถนำไปใช้คือการ 추출ข้อมูลสำคัญจากข้อมูลข้อความที่ไม่มีโครงสร้าง อีเมล จดหมาย บันทึก รายงาน และเอกสารอื่นๆ เป็นตัวอย่างของแหล่งข้อมูลข้อความที่เป็นส่วนหนึ่งของการดำเนินงานประจำวันของธุรกิจ เอกสารเหล่านี้อาจมีข้อมูลสำคัญที่สามารถช่วยเพิ่มประสิทธิภาพการดำเนินงานและลดค่าใช้จ่ายได้

เมื่อต้องการนำ การบำรุงรักษาแบบคาดการณ์สำหรับกังหันลม ไปใช้ รายงานการล้มเหลวอาจมีข้อมูลสำคัญเกี่ยวกับการทำงานของส่วนประกอบต่างๆ แต่เนื่องจากผู้ผลิตกังหันลมต่างๆ มีมาตรฐานการรวบรวมข้อมูลที่แตกต่างกัน (เช่น รายงานการบำรุงรักษามีรูปแบบและภาษาที่แตกต่างกัน) การระบุข้อมูลที่เกี่ยวข้องด้วยตนเองอาจกลายเป็นเรื่องที่มีค่าใช้จ่ายสูงสำหรับเจ้าของโรงงาน เครื่องมือ NLP สามารถ 추출แนวคิด คุณลักษณะ และเหตุการณ์ที่เกี่ยวข้องจากเนื้อหาที่ไม่มีโครงสร้าง การวิเคราะห์ข้อความสามารถนำไปใช้เพื่อค้นหาความสัมพันธ์และรูปแบบในแหล่งข้อมูลต่างๆ ได้ สิ่งนี้ทำให้เจ้าของโรงงานสามารถนำการบำรุงรักษาแบบคาดการณ์ไปใช้โดยอาศัยมาตรการที่ระบุในรายงานการล้มเหลว

โมเดล NLP สามารถให้อินเทอร์เฟซการค้นหาที่เป็นภาษาที่เป็นธรรมชาติ

ในทำนองเดียวกัน นักธรณีวิทยาในบริษัทน้ำมันและก๊าซธรรมชาติต้องตรวจสอบเอกสารหลายฉบับที่เกี่ยวข้องกับการดำเนินงานที่ผ่านมา บันทึกหลุมและข้อมูลสีสเมติก เนื่องจากเอกสารเหล่านี้มีรูปแบบและกระจายอยู่หลายที่ (ทั้งทางกายภาพและดิจิทัล) พวกเขาจึงเสียเวลาค้นหาข้อมูลในสถานที่ที่ไม่ถูกต้อง วิธีแก้ปัญหาที่เป็นไปได้คือ อินเทอร์เฟซการค้นหาที่ใช้ NLP ซึ่งจะทำให้ผู้ใช้สามารถค้นหาข้อมูลด้วยภาษาที่เป็นธรรมชาติได้ จากนั้น โมเดล NLP สามารถสร้างความสัมพันธ์ระหว่างข้อมูลในเอกสารหลายร้อยฉบับและคืนชุดคำตอบสำหรับการค้นหาได้ ผู้ใช้สามารถตรวจสอบผลลัพธ์ตามความรู้เชิงผู้เชี่ยวชาญของตนเอง และข้อมูลที่ได้รับจะช่วยปรับปรุงโมเดลต่อไป

อย่างไรก็ตาม ยังมีการพิจารณาทางเทคนิคในการนำโมเดลเหล่านี้ไปใช้ ด้านหนึ่งคือ จาร์กอนเฉพาะอุตสาหกรรมสามารถทำให้โมเดลการเรียนรู้แบบดั้งเดิมที่ไม่มีความเข้าใจเชิงซีแมนติกส์ที่เหมาะสมสับสน อีกด้านหนึ่ง ประสิทธิภาพของโมเดลอาจได้รับผลกระทบจากขนาดของชุดข้อมูลฝึก ซึ่งเป็นเวลาที่โมเดลที่ฝึกก่อน เช่น BERT สามารถแสดงถึงประโยชน์ได้ การแสดงผลบริบทสามารถสร้างความหมายของคำที่เหมาะสมและกำจัดความสับสนที่เกิดจากคำศัพท์เฉพาะอุตสาหกรรมได้ โดยการใช้โมเดลที่ฝึกก่อน สามารถฝึกเครือข่ายได้ด้วยชุดข้อมูลที่เล็กกว่า ซึ่งช่วยประหยัดเวลา พลังงาน และทรัพยากรที่จะจำเป็นต้องใช้ในการฝึกจากศูนย์

เกี่ยวกับธุรกิจของคุณเอง?

คุณสามารถคิดถึงงาน NLP ที่อาจช่วยลดค่าใช้จ่ายและเพิ่มประสิทธิภาพการดำเนินงานได้หรือไม่?

ทีมวิทยาศาสตร์ข้อมูลของ Blue Orange Digital ยินดีที่จะปรับ BERT ให้เหมาะสมกับคุณด้วย!