อะไรคือการGradient Descent?

อะไรคือการGradient Descent?

หากคุณเคยอ่านเกี่ยวกับวิธีการฝึกอบรมเครือข่ายประสาทเทียม คุณอาจจะเคยพบคำว่า “การGradient Descent” มาก่อน การGradient Descent เป็นวิธีการหลักในการปรับปรุงประสิทธิภาพของเครือข่ายประสาทเทียม โดยการลดอัตราความผิดพลาดหรือความสูญเสียของเครือข่าย อย่างไรก็ตาม การGradient Descent อาจเป็นเรื่องที่ยากสำหรับผู้ที่ใหม่ในการเรียนรู้เครื่องจักร และบทความนี้จะพยายามให้ความเข้าใจที่ดีเกี่ยวกับวิธีการทำงานของการGradient Descent

การGradient Descent เป็นอัลกอริทึมในการปรับปรุงประสิทธิภาพของเครือข่ายประสาทเทียม โดยการปรับเปลี่ยนพารามิเตอร์ของเครือข่ายเพื่อให้ความสูญเสียหรือความผิดพลาดของเครือข่ายน้อยที่สุด การGradient Descent ใช้ค่าเริ่มต้นของพารามิเตอร์และใช้การดำเนินการทางคณิตศาสตร์เพื่อปรับเปลี่ยนค่าเหล่านั้นเพื่อให้เครือข่ายมีความแม่นยำมากที่สุด คุณไม่จำเป็นต้องมีความรู้มากนักเกี่ยวกับคณิตศาสตร์เพื่อเข้าใจว่าการGradient Descent ทำงานอย่างไร แต่คุณต้องมีความเข้าใจเกี่ยวกับกราดีเยนท์

กราดีเยนท์คืออะไร?

สมมติว่ามีกราฟที่แสดงถึงจำนวนความผิดพลาดที่เครือข่ายประสาทเทียมทำได้ จุดต่ำสุดของกราฟแสดงถึงจุดที่มีความผิดพลาดน้อยที่สุด และจุดสูงสุดของกราฟแสดงถึงจุดที่มีความผิดพลาดมากที่สุด เราต้องการย้ายจากจุดสูงสุดลงไปที่จุดต่ำสุด กราดีเยนท์เป็นวิธีการในการ量化ความสัมพันธ์ระหว่างความผิดพลาดและน้ำหนักของเครือข่ายประสาทเทียม ความสัมพันธ์ระหว่างสองสิ่งนี้สามารถแสดงเป็นกราฟที่มีความชัน โดยที่น้ำหนักที่ไม่ถูกต้องจะทำให้เกิดความผิดพลาดมากขึ้น ความชันของกราฟแสดงถึงความเร็วที่เครือข่ายเรียนรู้

ความชันที่มากหมายถึงการลดความผิดพลาดที่มาก และเครือข่ายเรียนรู้ได้เร็ว ในขณะที่ความชันที่เป็นศูนย์หมายถึงเครือข่ายอยู่ในจุดที่ไม่มีการเรียนรู้ เราสามารถย้ายลงไปที่จุดต่ำสุดของกราฟโดยการคำนวณกราดีเยนท์ ซึ่งเป็นคำแนะนำในการเคลื่อนที่ (การเปลี่ยนแปลงพารามิเตอร์ของเครือข่าย) สำหรับโมเดลของเรา

ลองเปลี่ยนเป็นเรื่องราวที่แตกต่างเล็กน้อย และจินตนาการว่ามีเนินและหุบเขา เราต้องการไปที่จุดต่ำสุดของหุบเขาและหาจุดที่มีความผิดพลาดน้อยที่สุด เมื่อเริ่มต้นที่จุดสูงสุดของเนิน เราสามารถเดินลงไปที่จุดต่ำสุดของหุบเขาได้อย่างมั่นใจว่าเรากำลังไปในทิศทางที่ถูกต้อง

อย่างไรก็ตาม เมื่อเรากำลังใกล้เข้าไปที่จุดต่ำสุดของหุบเขา ก้าวของเราต้องเล็กลง หรือเราอาจจะพลาดจุดต่ำสุดของหุบเขาและไปที่จุดอื่น ในทำนองเดียวกัน เมื่อปรับเปลี่ยนน้ำหนักของเครือข่าย เราอาจจะทำให้เครือข่ายไปที่จุดอื่นที่ไม่ใช่จุดต่ำสุดของหุบเขา ดังนั้นการปรับเปลี่ยนต้องเล็กลงเมื่อเวลาผ่านไป ในบริบทของการลงไปที่จุดต่ำสุดของหุบเขา กราดีเยนท์เป็นเวกเตอร์ที่ให้คำแนะนำในการเคลื่อนที่และขนาดของก้าว

ตอนนี้เรารู้แล้วว่ากราดีเยนท์เป็นคำแนะนำที่บอกเราว่าควรเคลื่อนที่ไปในทิศทางใดและขนาดของก้าว เราสามารถสำรวจวิธีการคำนวณกราดีเยนท์ได้

การคำนวณกราดีเยนท์และการGradient Descent

การGradient Descent เริ่มต้นที่จุดที่มีความสูญเสียมาก และโดยการทำซ้ำหลายครั้ง จะย้ายไปในทิศทางที่มีความสูญเสียน้อยที่สุด โดยมีเป้าหมายในการหาค่าพารามิเตอร์ที่เหมาะสมที่สุด ภาพ: Роман Сузи via Wikimedia Commons, CCY BY SA 3.0 (https://commons.wikimedia.org/wiki/File:Gradient_descent_method.png)

ในการทำการGradient Descent เราต้องคำนวณกราดีเยนท์ก่อน ในการคำนวณกราดีเยนท์ เราต้องรู้ฟังก์ชันความสูญเสียหรือฟังก์ชันค่าใช้จ่าย เราจะใช้ฟังก์ชันค่าใช้จ่ายเพื่อกำหนดอนุพันธ์ ในคณิตศาสตร์ อนุพันธ์หมายถึงความชันของฟังก์ชันที่จุดหนึ่งๆ ดังนั้นเราจึงคำนวณความชันของหุบเขาโดยใช้ฟังก์ชันความสูญเสีย เราจะกำหนดความสูญเสียโดยการผ่านพารามิเตอร์ไป черезฟังก์ชันความสูญเสีย หากเราแสดงฟังก์ชันความสูญเสียเป็น “f” เราก็สามารถเขียนสมการในการคำนวณความสูญเสียได้ดังนี้ (เรากำลังผ่านพารามิเตอร์ไป черезฟังก์ชันค่าใช้จ่ายที่เราเลือก)

ความสูญเสีย = f(พารามิเตอร์)

จากนั้นเราคำนวณอนุพันธ์ หรือความชัน เราจะได้ความชันของฟังก์ชันความสูญเสียที่จุดหนึ่งๆ ซึ่งจะบอกเราว่าควรเคลื่อนที่ไปในทิศทางใด โดยการให้เครื่องหมายที่เหมาะสมในการปรับเปลี่ยนพารามิเตอร์ เราจะแสดงทิศทางที่เหมาะสมเป็น “delta”

delta = ฟังก์ชันอนุพันธ์ของความสูญเสีย

เรามีกราดีเยนท์แล้ว ซึ่งเป็นคำแนะนำในการเคลื่อนที่ (การเปลี่ยนแปลงพารามิเตอร์ของเครือข่าย) สำหรับโมเดลของเรา เราสามารถปรับเปลี่ยนพารามิเตอร์ของเครือข่ายได้โดยการลบการเปลี่ยนแปลงที่เหมาะสมออกจากพารามิเตอร์เดิม โดยการเปลี่ยนแปลงที่เหมาะสมจะถูกกำหนดโดยทิศทาง (delta) และตัวแปรที่ควบคุมขนาดของการเปลี่ยนแปลง (ขนาดของก้าว) ตัวแปรที่ควบคุมขนาดของการเปลี่ยนแปลงเรียกว่า “อัตราการเรียนรู้” และเราจะแสดงมันเป็น “alpha”

พารามิเตอร์ = พารามิเตอร์ – (alpha * delta)

จากนั้นเราจะทำซ้ำกระบวนการนี้จนกว่าเครือข่ายจะรวมกันที่จุดที่มีความสูญเสียน้อยที่สุด ซึ่งควรจะใกล้เคียงกับศูนย์

การเลือกค่าอัตราการเรียนรู้ที่เหมาะสมเป็นเรื่องที่สำคัญ ค่าอัตราการเรียนรู้ที่เลือกต้องไม่เล็กหรือใหญ่เกินไป เมื่อเรากำลังใกล้เข้าไปที่จุดที่มีความสูญเสียน้อยที่สุด ก้าวของเราต้องเล็กลง หรือเราอาจจะพลาดจุดต่ำสุดของหุบเขาและไปที่จุดอื่น หากขนาดของก้าวใหญ่เกินไป การทำงานของเครือข่ายจะยังคงกระโดดไปมารอบๆ จุดที่มีความสูญเสียน้อยที่สุด โดยการกระโดดไปที่ด้านหนึ่งแล้วกลับมาที่ด้านอื่น หากเกิดเหตุการณ์นี้ เครือข่ายจะไม่รวมกันที่ค่าพารามิเตอร์ที่เหมาะสมที่สุด

ในทางกลับกัน หากอัตราการเรียนรู้เล็กเกินไป เครือข่ายอาจจะใช้เวลานานมากในการรวมกันที่ค่าพารามิเตอร์ที่เหมาะสม

ประเภทของการGradient Descent

ตอนนี้เรารู้แล้วว่าการGradient Descent ทำงานอย่างไรในภาพรวม ลองมาดูประเภทต่างๆ ของการGradient Descent กัน

การGradient Descent แบบแบตช์ (Batch Gradient Descent) : รูปแบบนี้ของการGradient Descent จะทำซ้ำทั้งเซตการฝึกอบรมก่อนที่จะปรับเปลี่ยนพารามิเตอร์ รูปแบบนี้มีแนวโน้มที่จะเป็นรูปแบบที่มีประสิทธิภาพมากที่สุดในการคำนวณ เนื่องจากพารามิเตอร์จะถูกปรับเปลี่ยนหลังจากที่เซตการฝึกอบรมทั้งหมดถูกประมวลผลแล้ว ซึ่งหมายความว่ามีการปรับเปลี่ยนน้อยกว่า อย่างไรก็ตาม หากเซตการฝึกอบรมมีตัวอย่างการฝึกอบรมจำนวนมาก การGradient Descent แบบแบตช์อาจจะทำให้การฝึกอบรมใช้เวลานาน

การGradient Descent แบบสโตคาสติก (Stochastic Gradient Descent) : ในการGradient Descent แบบสโตคาสติก จะมีการประมวลผลตัวอย่างการฝึกอบรมเพียงตัวอย่างเดียวในแต่ละการทำซ้ำและปรับเปลี่ยนพารามิเตอร์ สิ่งนี้เกิดขึ้นสำหรับตัวอย่างการฝึกอบรมทุกตัวอย่าง เนื่องจากพารามิเตอร์จะถูกปรับเปลี่ยนหลังจากตัวอย่างการฝึกอบรมเพียงตัวอย่างเดียว การGradient Descent แบบสโตคาสติกมีแนวโน้มที่จะรวมกันเร็ว hơnการGradient Descent แบบแบตช์ เนื่องจากการปรับเปลี่ยนพารามิเตอร์เกิดขึ้นเร็วขึ้น อย่างไรก็ตาม เนื่องจากกระบวนการนี้ต้องทำซ้ำสำหรับตัวอย่างการฝึกอบรมทุกตัวอย่าง จึงอาจจะใช้เวลานานในการทำซ้ำทั้งเซตการฝึกอบรมหากเซตการฝึกอบรมมีขนาดใหญ่

การGradient Descent แบบมินิ-แบตช์ (Mini-Batch Gradient Descent) : การGradient Descent แบบมินิ-แบตช์ จะแบ่งเซตการฝึกอบรมทั้งหมดออกเป็นเซตย่อยๆ แล้วทำซ้ำเซตย่อยๆ เหล่านั้น เมื่อเซตย่อยๆ เหล่านั้นถูกใช้ในการคำนวณความสูญเสีย พารามิเตอร์จะถูกปรับเปลี่ยน การGradient Descent แบบมินิ-แบตช์เป็นจุดกึ่งกลางระหว่างการGradient Descent แบบสโตคาสติกและการGradient Descent แบบแบตช์ พารามิเตอร์จะถูกปรับเปลี่ยนบ่อยกว่าการGradient Descent แบบแบตช์ ซึ่งหมายความว่ามีการรวมกันที่เร็วและแข็งแรงกว่าสำหรับค่าพารามิเตอร์ที่เหมาะสมที่สุดของโมเดล นอกจากนี้ยังมีประสิทธิภาพในการคำนวณมากกว่าการGradient Descent แบบสโตคาสติก