การถดถอยเชิงเส้นคืออะไร?

การถดถอยเชิงเส้นคืออะไร?

การถดถอยเชิงเส้นเป็นอัลกอริทึมที่ใช้ในการทำนายหรือแสดงภาพ ความสัมพันธ์ระหว่างสองคุณลักษณะ/ตัวแปรที่แตกต่างกัน. ในงานการถดถอยเชิงเส้น มีการตรวจสอบตัวแปรสองประเภท: ตัวแปรตามและตัวแปรอิสระ. ตัวแปรอิสระ คือ ตัวแปรที่อยู่โดยตัวมันเอง ไม่ได้รับผลกระทบจากตัวแปรอื่น เมื่อตัวแปรอิสระถูกปรับ ระดับของตัวแปรตามจะผันผวน ตัวแปรตามคือตัวแปรที่กำลังศึกษาอยู่ และเป็นสิ่งที่โมเดลการถดถอยแก้/พยายามทำนาย ในงานการถดถอยเชิงเส้น ทุกการสังเกต/อินสแตนซ์ประกอบด้วยทั้งค่าตัวแปรตามและค่าตัวแปรอิสระ

นั่นเป็นคำอธิบายสั้นๆ ของการถดถอยเชิงเส้น แต่ขอให้แน่ใจว่าเราเข้าใจการถดถอยเชิงเส้นได้ดีขึ้นโดยดูตัวอย่างและตรวจสอบสูตรที่ใช้

ทำความเข้าใจเกี่ยวกับการถดถอยเชิงเส้น

สมมติว่าเรามีชุดข้อมูลที่ครอบคลุมขนาดฮาร์ดไดรฟ์และราคาของฮาร์ดไดรฟ์เหล่านั้น

สมมติว่าชุดข้อมูลที่เรามีประกอบด้วยสองคุณสมบัติที่แตกต่างกัน: จำนวนหน่วยความจำและค่าใช้จ่าย ยิ่งเราซื้อหน่วยความจำสำหรับคอมพิวเตอร์มากเท่าใด ค่าใช้จ่ายในการซื้อก็จะยิ่งสูงขึ้นเท่านั้น หากเราลงจุดข้อมูลแต่ละจุดบนแผนภาพกระจาย เราอาจได้กราฟที่มีลักษณะดังนี้:

อัตราส่วนหน่วยความจำต่อต้นทุนที่แน่นอนอาจแตกต่างกันไปตามผู้ผลิตและรุ่นของฮาร์ดไดรฟ์ แต่โดยทั่วไปแล้ว แนวโน้มของข้อมูลจะเริ่มต้นที่ด้านล่างซ้าย (ซึ่งฮาร์ดไดรฟ์มีราคาถูกและมีความจุน้อยกว่า) และย้ายไปที่ ด้านขวาบน (ซึ่งไดรฟ์มีราคาแพงกว่าและมีความจุสูงกว่า)

หากเรามีจำนวนหน่วยความจำบนแกน X และค่าใช้จ่ายบนแกน Y เส้นที่แสดงความสัมพันธ์ระหว่างตัวแปร X และ Y จะเริ่มที่มุมซ้ายล่างและวิ่งไปทางขวาบน

ฟังก์ชันของแบบจำลองการถดถอยคือการกำหนดฟังก์ชันเชิงเส้นระหว่างตัวแปร X และ Y ที่อธิบายความสัมพันธ์ระหว่างตัวแปรทั้งสองได้ดีที่สุด ในการถดถอยเชิงเส้น สันนิษฐานว่า Y สามารถคำนวณได้จากการรวมกันของตัวแปรอินพุต ความสัมพันธ์ระหว่างตัวแปรอินพุต (X) และตัวแปรเป้าหมาย (Y) สามารถแสดงได้โดยการลากเส้นผ่านจุดในกราฟ เส้นแสดงฟังก์ชันที่อธิบายความสัมพันธ์ระหว่าง X และ Y ได้ดีที่สุด (ตัวอย่างเช่น ทุกครั้งที่ X เพิ่มขึ้น 3, Y เพิ่มขึ้น 2) เป้าหมายคือการหา "เส้นถดถอย" ที่เหมาะสมที่สุด หรือเส้น/ฟังก์ชันที่เหมาะกับข้อมูลมากที่สุด

โดยทั่วไปเส้นต่างๆ จะแสดงด้วยสมการ: Y = m*X + b X หมายถึงตัวแปรตามในขณะที่ Y เป็นตัวแปรอิสระ ในขณะเดียวกัน m คือความชันของเส้นที่กำหนดโดย "การเพิ่มขึ้น" เหนือ "การวิ่ง" ผู้ปฏิบัติงานด้านแมชชีนเลิร์นนิงแสดงสมการความชัน-เส้นที่มีชื่อเสียงแตกต่างออกไปเล็กน้อย โดยใช้สมการนี้แทน:

y(x) = w0 + w1 * x

ในสมการข้างต้น y คือตัวแปรเป้าหมาย ในขณะที่ “w” คือพารามิเตอร์ของโมเดล และอินพุตคือ “x” ดังนั้นสมการจึงอ่านได้ว่า: "ฟังก์ชันที่ให้ Y ขึ้นอยู่กับ X เท่ากับพารามิเตอร์ของโมเดลคูณด้วยคุณสมบัติ" พารามิเตอร์ของแบบจำลองได้รับการปรับระหว่างการฝึกเพื่อให้ได้เส้นถดถอยที่เหมาะสมที่สุด

การถดถอยเชิงเส้นพหุคูณ

รูปภาพ: Cbaf ผ่าน Wikimedia Commons, โดเมนสาธารณะ (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

กระบวนการที่อธิบายข้างต้นใช้กับการถดถอยเชิงเส้นอย่างง่าย หรือการถดถอยในชุดข้อมูลที่มีคุณลักษณะ/ตัวแปรอิสระเพียงตัวเดียว อย่างไรก็ตาม การถดถอยสามารถทำได้ด้วยคุณสมบัติหลายอย่าง ในกรณีของ "การถดถอยเชิงเส้นพหุคูณ” สมการจะขยายตามจำนวนตัวแปรที่พบในชุดข้อมูล กล่าวอีกนัยหนึ่ง แม้ว่าสมการของการถดถอยเชิงเส้นแบบปกติคือ y(x) = w0 + w1 * x สมการของการถดถอยเชิงเส้นพหุคูณจะเป็น y(x) = w0 + w1x1 บวกน้ำหนักและอินพุตสำหรับคุณลักษณะต่างๆ หากเราแสดงจำนวนน้ำหนักและคุณลักษณะทั้งหมดเป็น w(n)x(n) เราก็สามารถแสดงสูตรได้ดังนี้:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

หลังจากกำหนดสูตรสำหรับการถดถอยเชิงเส้นแล้ว โมเดลแมชชีนเลิร์นนิงจะใช้ค่าต่างๆ สำหรับน้ำหนัก โดยวาดเส้นความพอดีที่แตกต่างกัน โปรดจำไว้ว่าเป้าหมายคือการค้นหาเส้นที่เหมาะกับข้อมูลมากที่สุด เพื่อกำหนดว่าชุดค่าน้ำหนักใดที่เป็นไปได้ (และด้วยเหตุนี้เส้นใดที่เป็นไปได้) จึงจะเหมาะสมกับข้อมูลมากที่สุด และอธิบายความสัมพันธ์ระหว่างตัวแปรต่างๆ

ฟังก์ชันต้นทุนใช้เพื่อวัดว่าค่า Y ที่สมมติขึ้นใกล้เคียงกับค่า Y จริงเพียงใดเมื่อกำหนดค่าน้ำหนักหนึ่งๆ ฟังก์ชันต้นทุน สำหรับการถดถอยเชิงเส้นคือค่าเฉลี่ยข้อผิดพลาดกำลังสอง ซึ่งใช้ค่าเฉลี่ย (กำลังสอง) ข้อผิดพลาดระหว่างค่าที่คาดการณ์และค่าจริงสำหรับจุดข้อมูลต่างๆ ทั้งหมดในชุดข้อมูล ฟังก์ชันต้นทุนใช้ในการคำนวณต้นทุน ซึ่งจะจับความแตกต่างระหว่างมูลค่าเป้าหมายที่คาดการณ์ไว้และมูลค่าเป้าหมายที่แท้จริง หากเส้นพอดีอยู่ไกลจากจุดข้อมูล ต้นทุนจะสูงขึ้น ในขณะที่ต้นทุนจะเล็กลงเมื่อเส้นเข้าใกล้เพื่อจับความสัมพันธ์ที่แท้จริงระหว่างตัวแปร จากนั้นน้ำหนักของแบบจำลองจะถูกปรับจนกว่าจะพบการกำหนดค่าน้ำหนักที่ทำให้เกิดข้อผิดพลาดน้อยที่สุด