Τι είναι η γραμμική παλινδρόμηση;

Τι είναι η γραμμική παλινδρόμηση;

Η γραμμική παλινδρόμηση είναι ένας αλγόριθμος που χρησιμοποιείται για την πρόβλεψη ή την οπτικοποίηση α σχέση μεταξύ δύο διαφορετικών χαρακτηριστικών/μεταβλητών. Στις εργασίες γραμμικής παλινδρόμησης, εξετάζονται δύο είδη μεταβλητών: η εξαρτημένη μεταβλητή και η ανεξάρτητη μεταβλητή. Η ανεξάρτητη μεταβλητή είναι η μεταβλητή που παραμένει μόνη της, δεν επηρεάζεται από την άλλη μεταβλητή. Καθώς προσαρμόζεται η ανεξάρτητη μεταβλητή, τα επίπεδα της εξαρτημένης μεταβλητής θα κυμαίνονται. Η εξαρτημένη μεταβλητή είναι η μεταβλητή που μελετάται και είναι αυτό που λύνει/επιχειρεί να προβλέψει το μοντέλο παλινδρόμησης. Σε εργασίες γραμμικής παλινδρόμησης, κάθε παρατήρηση/στιγμιότυπο αποτελείται τόσο από την τιμή της εξαρτημένης μεταβλητής όσο και από την τιμή της ανεξάρτητης μεταβλητής.

Αυτή ήταν μια γρήγορη εξήγηση της γραμμικής παλινδρόμησης, αλλά ας βεβαιωθούμε ότι καταλαβαίνουμε καλύτερα τη γραμμική παλινδρόμηση εξετάζοντας ένα παράδειγμά της και εξετάζοντας τον τύπο που χρησιμοποιεί.

Κατανόηση της Γραμμικής παλινδρόμησης

Ας υποθέσουμε ότι έχουμε ένα σύνολο δεδομένων που καλύπτει μεγέθη σκληρού δίσκου και το κόστος αυτών των σκληρών δίσκων.

Ας υποθέσουμε ότι το σύνολο δεδομένων που έχουμε αποτελείται από δύο διαφορετικά χαρακτηριστικά: την ποσότητα της μνήμης και το κόστος. Όσο περισσότερη μνήμη αγοράζουμε για έναν υπολογιστή, τόσο περισσότερο αυξάνεται το κόστος της αγοράς. Εάν σχεδιάσουμε τα μεμονωμένα σημεία δεδομένων σε ένα διάγραμμα διασποράς, μπορεί να λάβουμε ένα γράφημα που μοιάζει με αυτό:

Η ακριβής αναλογία μνήμης προς κόστος μπορεί να διαφέρει μεταξύ κατασκευαστών και μοντέλων σκληρού δίσκου, αλλά σε γενικές γραμμές, η τάση των δεδομένων είναι αυτή που ξεκινά από κάτω αριστερά (όπου οι σκληροί δίσκοι είναι και φθηνότεροι και έχουν μικρότερη χωρητικότητα) και μετακινείται σε πάνω δεξιά (όπου οι δίσκοι είναι πιο ακριβοί και έχουν μεγαλύτερη χωρητικότητα).

Αν είχαμε την ποσότητα μνήμης στον άξονα Χ και το κόστος στον άξονα Υ, μια γραμμή που καταγράφει τη σχέση μεταξύ των μεταβλητών Χ και Υ θα ξεκινούσε από την κάτω αριστερή γωνία και θα έτρεχε προς τα πάνω δεξιά.

Η λειτουργία ενός μοντέλου παλινδρόμησης είναι να προσδιορίσει μια γραμμική συνάρτηση μεταξύ των μεταβλητών X και Y που περιγράφει καλύτερα τη σχέση μεταξύ των δύο μεταβλητών. Στη γραμμική παλινδρόμηση, θεωρείται ότι το Y μπορεί να υπολογιστεί από κάποιο συνδυασμό των μεταβλητών εισόδου. Η σχέση μεταξύ των μεταβλητών εισόδου (X) και των μεταβλητών στόχου (Y) μπορεί να απεικονιστεί σχεδιάζοντας μια γραμμή στα σημεία του γραφήματος. Η γραμμή αντιπροσωπεύει τη συνάρτηση που περιγράφει καλύτερα τη σχέση μεταξύ X και Y (για παράδειγμα, κάθε φορά που το X αυξάνεται κατά 3, το Y αυξάνεται κατά 2). Ο στόχος είναι να βρεθεί μια βέλτιστη «γραμμή παλινδρόμησης» ή η γραμμή/συνάρτηση που ταιριάζει καλύτερα στα δεδομένα.

Οι γραμμές τυπικά αντιπροσωπεύονται από την εξίσωση: Y = m*X + b. Το X αναφέρεται στην εξαρτημένη μεταβλητή ενώ το Y είναι η ανεξάρτητη μεταβλητή. Εν τω μεταξύ, το m είναι η κλίση της γραμμής, όπως ορίζεται από την "άνοδο" πάνω από το "τρέξιμο". Οι επαγγελματίες μηχανικής μάθησης αντιπροσωπεύουν τη διάσημη εξίσωση γραμμής κλίσης λίγο διαφορετικά, χρησιμοποιώντας αυτήν την εξίσωση:

y(x) = w0 + w1 * x

Στην παραπάνω εξίσωση, το y είναι η μεταβλητή στόχος ενώ το «w» είναι οι παράμετροι του μοντέλου και η είσοδος είναι «x». Άρα η εξίσωση διαβάζεται ως εξής: «Η συνάρτηση που δίνει το Υ, ανάλογα με το Χ, είναι ίση με τις παραμέτρους του μοντέλου πολλαπλασιαζόμενες με τα χαρακτηριστικά». Οι παράμετροι του μοντέλου προσαρμόζονται κατά τη διάρκεια της προπόνησης για να επιτευχθεί η καλύτερη προσαρμογή γραμμή παλινδρόμησης.

Πολλαπλή Γραμμική Παλινδρόμηση

Φωτογραφία: Cbaf μέσω Wikimedia Commons, Δημόσιος Τομέας (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Η διαδικασία που περιγράφεται παραπάνω ισχύει για απλή γραμμική παλινδρόμηση ή παλινδρόμηση σε σύνολα δεδομένων όπου υπάρχει μόνο ένα χαρακτηριστικό/ανεξάρτητη μεταβλητή. Ωστόσο, μια παλινδρόμηση μπορεί επίσης να γίνει με πολλαπλά χαρακτηριστικά. Σε περίπτωση που "πολλαπλή γραμμική παλινδρόμηση”, η εξίσωση επεκτείνεται κατά τον αριθμό των μεταβλητών που βρίσκονται μέσα στο σύνολο δεδομένων. Με άλλα λόγια, ενώ η εξίσωση για την κανονική γραμμική παλινδρόμηση είναι y(x) = w0 + w1 * x, η εξίσωση για πολλαπλή γραμμική παλινδρόμηση θα είναι y(x) = w0 + w1x1 συν τα βάρη και τις εισόδους για τα διάφορα χαρακτηριστικά. Αν αντιπροσωπεύσουμε τον συνολικό αριθμό βαρών και χαρακτηριστικών ως w(n)x(n), τότε θα μπορούσαμε να αναπαραστήσουμε τον τύπο ως εξής:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Αφού καθορίσει τον τύπο για τη γραμμική παλινδρόμηση, το μοντέλο μηχανικής εκμάθησης θα χρησιμοποιήσει διαφορετικές τιμές για τα βάρη, σχεδιάζοντας διαφορετικές γραμμές προσαρμογής. Θυμηθείτε ότι ο στόχος είναι να βρεθεί η γραμμή που ταιριάζει καλύτερα στα δεδομένα, προκειμένου να καθοριστεί ποιος από τους πιθανούς συνδυασμούς βάρους (και επομένως ποια πιθανή γραμμή) ταιριάζει καλύτερα στα δεδομένα και εξηγεί τη σχέση μεταξύ των μεταβλητών.

Μια συνάρτηση κόστους χρησιμοποιείται για να μετρήσει πόσο κοντά είναι οι υποτιθέμενες τιμές Y στις πραγματικές τιμές Y όταν δίνεται μια συγκεκριμένη τιμή βάρους. Η συνάρτηση κόστους για τη γραμμική παλινδρόμηση είναι το μέσο τετράγωνο σφάλμα, το οποίο λαμβάνει απλώς το μέσο (τετράγωνο) σφάλμα μεταξύ της προβλεπόμενης τιμής και της πραγματικής τιμής για όλα τα διάφορα σημεία δεδομένων στο σύνολο δεδομένων. Η συνάρτηση κόστους χρησιμοποιείται για τον υπολογισμό ενός κόστους, το οποίο καταγράφει τη διαφορά μεταξύ της προβλεπόμενης τιμής στόχου και της πραγματικής τιμής στόχου. Εάν η γραμμή προσαρμογής είναι μακριά από τα σημεία δεδομένων, το κόστος θα είναι υψηλότερο, ενώ το κόστος θα γίνεται μικρότερο όσο πλησιάζει η γραμμή στην καταγραφή των πραγματικών σχέσεων μεταξύ των μεταβλητών. Στη συνέχεια, τα βάρη του μοντέλου προσαρμόζονται μέχρι να βρεθεί η διαμόρφωση βάρους που παράγει το μικρότερο ποσοστό σφάλματος.