Τι είναι η Γραμμική Παλινδρόμηση;

Τι είναι η Γραμμική Παλινδρόμηση;

Η γραμμική παλινδρόμηση είναι ένας αλγόριθμος που χρησιμοποιείται για να προβλέψει ή να οπτικοποιήσει, μια σχέση μεταξύ δύο διαφορετικών χαρακτηριστικών/μεταβλητών. Σε εργασίες γραμμικής παλινδρόμησης, υπάρχουν δύο είδη μεταβλητών που εξετάζονται: η εξαρτημένη μεταβλητή και η ανεξάρτητη μεταβλητή. Η ανεξάρτητη μεταβλητή είναι η μεταβλητή που στέκεται μόνη της, χωρίς να επηρεάζεται από την άλλη μεταβλητή. Όταν η ανεξάρτητη μεταβλητή調節, τα επίπεδα της εξαρτημένης μεταβλητής θα κυμαίνονται. Η εξαρτημένη μεταβλητή είναι η μεταβλητή που μελετάται και είναι αυτό που το μοντέλο παλινδρόμησης επιλύει/προσπαθεί να προβλέψει. Σε εργασίες γραμμικής παλινδρόμησης, κάθε παρατήρηση/παράδειγμα αποτελείται από cả την τιμή της εξαρτημένης μεταβλητής και την τιμή της ανεξάρτητης μεταβλητής.

Αυτή ήταν μια γρήγορη εξήγηση της γραμμικής παλινδρόμησης, αλλά ας βεβαιωθούμε ότι κατανοούμε καλύτερα τη γραμμική παλινδρόμηση με το να εξετάσουμε ένα παράδειγμα και να εξετάσουμε το τύπο που τη χρησιμοποιεί.

Κατανόηση της Γραμμικής Παλινδρόμησης

Υποθέτουμε ότι έχουμε ένα σύνολο δεδομένων που καλύπτει τις διαστάσεις των σκληρών δίσκων και το κόστος αυτών των σκληρών δίσκων.

Ας υποθέσουμε ότι το σύνολο δεδομένων μας αποτελείται από δύο διαφορετικά χαρακτηριστικά: την ποσότητα της μνήμης και το κόστος. Όσο περισσότερη μνήμη αγοράζουμε για έναν υπολογιστή, τόσο περισσότερο αυξάνεται το κόστος της αγοράς. Αν.plotάρουμε τα μεμονωμένα σημεία δεδομένων σε ένα διάγραμμα σκέδασης, μπορεί να πάρουμε ένα γράφημα που μοιάζει κάπως così:

Η ακριβής αναλογία μνήμης-κόστους μπορεί να ποικίλει μεταξύ κατασκευαστών και μοντέλων σκληρών δίσκων, αλλά γενικά, η τάση των δεδομένων είναι μια που ξεκινά από το κάτω αριστερό γωνία (όπου οι σκληροί δίσκοι είναι φθηνότεροι και έχουν μικρότερη χωρητικότητα) και κινείται προς την άνω δεξιά (όπου οι δίσκοι είναι πιο ακριβοί και έχουν μεγαλύτερη χωρητικότητα).

Αν είχαμε την ποσότητα της μνήμης στο άξονα X και το κόστος στο άξονα Y, μια γραμμή που να καταγράφει τη σχέση μεταξύ των μεταβλητών X και Y θα ξεκινούσε από τη κάτω αριστερή γωνία και θα τερμάτιζε στην άνω δεξιά.

Η λειτουργία ενός μοντέλου παλινδρόμησης είναι να καθορίσει μια γραμμική συνάρτηση μεταξύ των μεταβλητών X και Y που περιγράφει καλύτερα τη σχέση μεταξύ των δύο μεταβλητών. Σε γραμμική παλινδρόμηση, υποθέτουμε ότι το Y μπορεί να υπολογιστεί από κάποια συνδυασμό των εισαγώμενων μεταβλητών. Η σχέση μεταξύ των εισαγώμενων μεταβλητών (X) και των μεταβλητών-στόχου (Y) μπορεί να απεικονιστεί με τη διάγραμμα μιας γραμμής μέσω των σημείων στο γράφημα. Η γραμμή αντιπροσωπεύει τη συνάρτηση που περιγράφει καλύτερα τη σχέση μεταξύ X και Y (για παράδειγμα, για κάθε φορά που το X αυξάνεται κατά 3, το Y αυξάνεται κατά 2). Ο στόχος είναι να βρεθεί η βέλτιστη “γραμμή παλινδρόμησης”, ή η γραμμή/συνάρτηση που ταιριάζει καλύτερα στα δεδομένα.

Οι γραμμές συνήθως αναπαρίστανται από την εξίσωση: Y = m*X + b. Το X αναφέρεται στην ανεξάρτητη μεταβλητή, ενώ το Y είναι η εξαρτημένη μεταβλητή. Εν τω μεταξύ, το m είναι η κλίση της γραμμής, όπως ορίζεται από το “rise” sobre το “run”. Οι praktikoi της μηχανικής μάθησης αναπαρίστανται την περίφημη εξίσωση της κλίσης-γραμμής με немного διαφορετικό τρόπο, χρησιμοποιώντας αυτή την εξίσωση:

y(x) = w0 + w1 * x

Στην παραπάνω εξίσωση, το y είναι η μεταβλητή-στόχος, ενώ το “w” είναι τα παραμέτρα του μοντέλου και η εισαγωγή είναι “x”. Έτσι, η εξίσωση διαβάζεται ως: “Η συνάρτηση που δίνει το Y, ανάλογα με το X, είναι ίση με τα παραμέτρα του μοντέλου πολλαπλασιασμένα με τα χαρακτηριστικά”. Τα παραμέτρα του μοντέλου προσαρμόζονται κατά τη διάρκεια της εκπαίδευσης για να ληφθεί η βέλτιστη γραμμή παλινδρόμησης.

Πολυμελής Γραμμική Παλινδρόμηση

Φωτογραφία: Cbaf μέσω Wikimedia Commons, Δημόσια Δομή (https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif)

Η διαδικασία που περιγράφηκε παραπάνω ισχύει για την απλή γραμμική παλινδρόμηση, ή παλινδρόμηση σε σύνολα δεδομένων όπου υπάρχει μόνο μια χαρακτηριστική/ανεξάρτητη μεταβλητή. Ωστόσο, μια παλινδρόμηση μπορεί επίσης να γίνει με πολλαπλά χαρακτηριστικά. Σε περίπτωση “πολυμελούς γραμμικής παλινδρόμησης”, η εξίσωση επεκτείνεται από τον αριθμό των μεταβλητών που βρίσκονται στο σύνολο δεδομένων. Με άλλα λόγια, ενώ η εξίσωση για την κανονική γραμμική παλινδρόμηση είναι y(x) = w0 + w1 * x, η εξίσωση για την πολυμελή γραμμική παλινδρόμηση θα ήταν y(x) = w0 + w1x1 συν τα βάρη και τις εισαγωγές για τα διάφορα χαρακτηριστικά. Αν αναπαραστήσουμε τον tổng αριθμό των βαρών και των χαρακτηριστικών ως w(n)x(n), τότε θα μπορούσαμε να αναπαραστήσουμε το τύπο όπως αυτό:

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

Μετά τη θέσπιση του τύπου για την γραμμική παλινδρόμηση, το μοντέλο της μηχανικής μάθησης θα χρησιμοποιήσει διαφορετικές τιμές για τα βάρη, σχεδιάζοντας διαφορετικές γραμμές προσαρμογής. Θυμηθείτε ότι ο στόχος είναι να βρεθεί η γραμμή που ταιριάζει καλύτερα στα δεδομένα για να καθορίσει ποια από τις πιθανές συνδυασμούς βαρών (και επομένως ποια πιθανή γραμμή) ταιριάζει καλύτερα στα δεδομένα και εξηγεί τη σχέση μεταξύ των μεταβλητών.

Μια συνάρτηση κόστους χρησιμοποιείται για να μετρήσει πόσο κοντά είναι οι υποθετικές τιμές Y στις πραγματικές τιμές Y όταν δίνεται μια συγκεκριμένη τιμή βάρους. Η συνάρτηση κόστους για την γραμμική παλινδρόμηση είναι ο μέσος τετραγωνικός σφάλμα, ο οποίος λαμβάνει το μέσο (τετραγωνικό) σφάλμα μεταξύ της προβλεπόμενης τιμής και της πραγματικής τιμής για όλα τα διάφορα σημεία δεδομένων στο σύνολο δεδομένων. Η συνάρτηση κόστους χρησιμοποιείται για να υπολογίσει ένα κόστος, το οποίο καταγράφει τη διαφορά μεταξύ της προβλεπόμενης τιμής-στόχου και της πραγματικής τιμής-στόχου. Αν η γραμμή προσαρμογής είναι μακριά από τα σημεία δεδομένων, το κόστος θα είναι υψηλότερο, ενώ το κόστος θα γίνει μικρότερο όσο η γραμμή πλησιάζει στην καταγραφή των πραγματικών σχέσεων μεταξύ των μεταβλητών. Τα βάρη του μοντέλου προσαρμόζονται μέχρι να βρεθεί η διαμόρφωση βάρους που παράγει το μικρότερο ποσό σφάλματος.