Julien Rebetez, Αρχισυντάκτης Μηχανικής Μάθησης στο Picterra – Σειρά Συνεντεύξεων

Ο Julien Rebetez, είναι ο Αρχισυντάκτης Λογισμικού και Μηχανικής Μάθησης στο Picterra. Το Picterra παρέχει μια γεωχωρική cloud-based πλατφόρμα που σχεδιάστηκε ειδικά για την εκπαίδευση βαθιάς μάθησης ανιχνευτών, γρήγορα και ασφαλώς.

Χωρίς μια seule γραμμή κώδικα και με μόνο λίγες ανθρώπινες σημειώσεις, οι χρήστες του Picterra δημιουργούν και αναπτύσσουν μοναδικά ενεργά και έτοιμα για χρήση μοντέλα βαθιάς μάθησης.

Αυτόματα αναλύει εικόνες δορυφόρων και εναέριων εικόνων, επιτρέποντας στους χρήστες να αναγνωρίσουν αντικείμενα και μοτίβα.

Τι είναι αυτό που σας έκανε να ενδιαφερθείτε για τη μηχανική μάθηση και την τεχνητή νοημοσύνη;

Άρχισα να προγραμματίζω γιατί ήθελα να δημιουργήσω βιντεοπαιχνίδια και ενδιαφερόμουν για την υπολογιστική γραφική. Αυτό με οδήγησε στην υπολογιστική όραση, η οποία είναι ένα είδος αντίστροφης διαδικασίας όπου αντί να δημιουργήσετε ένα ψεύτικο περιβάλλον, έχετε το υπολογιστή να αντιλαμβάνεται το πραγματικό περιβάλλον. Κατά τη διάρκεια των σπουδών μου, πήρα κάποια μαθήματα Μηχανικής Μάθησης και ενδιαφερόμουν για την πλευρά της υπολογιστικής όρασης. Νομίζω ότι αυτό που είναι ενδιαφέρον για τη Μηχανική Μάθηση είναι ότι βρίσκεται στο σταυροδρόμι μεταξύ λογισμικού, αλγορίθμων και μαθηματικών και ακόμη νιώθει κάπως μαγικό όταν λειτουργεί.

Έχετε εργαστεί στη χρήση μηχανικής μάθησης για την ανάλυση εικόνων δορυφόρων για πολλά χρόνια τώρα. Ποιο ήταν το πρώτο σας έργο;

Η πρώτη μου έκθεση σε εικόνες δορυφόρων ήταν το έργο Terra-i (για την ανίχνευση της αποψίλωσης) και εργάστηκα σε αυτό κατά τη διάρκεια των σπουδών μου. Ήμουν εκπληγμένος από την ποσότητα ελεύθερα διαθέσιμων δεδομένων δορυφόρων που παράγονται από τις διάφορες διαστημικές υπηρεσίες (NASA, ESA, κ.λπ.). Μπορείτε να λάβετε τακτικές εικόνες του πλανήτη δωρεάν κάθε μέρα ή περίπου και αυτό είναι ένα εξαιρετικό ресурс για πολλές επιστημονικές εφαρμογές.

Μπορείτε να μοιραστείτε περισσότερες λεπτομέρειες σχετικά με το έργο “Terra-i”;

Το έργο Terra-i (http://terra-i.org/terra-i.html) ξεκίνησε από τον Καθηγητή Andrez Perez-Uribe, από το HEIG-VD (Ελβετία) και τώρα διηύθύνεται από τον Louis Reymondin, από το CIAT (Κολομβία). Η ιδέα του έργου είναι να ανιχνεύσει την αποψίλωση χρησιμοποιώντας ελεύθερα διαθέσιμες εικόνες δορυφόρων. Την εποχή εκείνη, εργαστήκαμε με εικόνες MODIS (250m pixel ανάλυση) επειδή παρείχαν μια ομοιόμορφη και προβλέψιμη κάλυψη (και χωρικά και χρονικά). Θα λάβαμε μια μέτρηση για κάθε pixel κάθε λίγες μέρες και από αυτή τη χρονοσειρά μετρήσεων, μπορείτε να προσπαθήσετε να ανιχνεύσετε ανωμαλίες ή καινοτομίες όπως τις λέμε στη Μηχανική Μάθηση.

Αυτό το έργο ήταν πολύ ενδιαφέρον επειδή η ποσότητα δεδομένων ήταν μια πρόκληση την εποχή εκείνη και υπήρχε επίσης κάποια λογισμική μηχανική για να το κάνει να λειτουργήσει σε πολλαπλούς υπολογιστές κ.λπ. Από την πλευρά της Μηχανικής Μάθησης, χρησιμοποιήσαμε Bayesian Νευρωνικό Δίκτυο (όχι πολύ βαθύ την εποχή εκείνη) για να προβλέψουμε τι θα έπρεπε να είναι η χρονοσειρά ενός pixel. Αν η μέτρηση δεν ταιριάζει με την πρόβλεψη, τότε θα είχαμε μια ανωμαλία.

Ως μέρος αυτού του έργου, εργάστηκα επίσης στην αφαίρεση νεφών. Χρησιμοποιήσαμε μια παραδοσιακή προσέγγιση επεξεργασίας σήματος, όπου έχετε μια χρονοσειρά μετρήσεων και κάποια από αυτά θα είναι完全emente εκτός λόγω νεφών. Χρησιμοποιήσαμε μια bốnier-βασισμένη προσέγγιση (HANTS) για να καθαρίσουμε τη χρονοσειρά πριν ανιχνεύσουμε καινοτομίες σε αυτή. Μια από τις δυσκολίες είναι ότι αν το καθαρίσαμε πολύ, θα αφαιρέσουμε επίσης καινοτομίες, οπότε υπήρξαν κάποια πειράματα για να βρούμε τα σωστά παραμέτρους.

Σχεδιάσατε και υλοποιήσατε επίσης ένα σύστημα βαθιάς μάθησης για την αυτόματη ταξινόμηση τύπων καλλιεργειών από εναέριες (drone) εικόνες αγροτικών πεδίων. Ποιοι ήταν οι κύριοι προβληματισμοί την εποχή εκείνη;

Αυτό ήταν η πρώτη μου πραγματική έκθεση στη Βαθιά Μάθηση. Την εποχή εκείνη, νομίζω ότι οι κύριοι προβληματισμοί ήταν περισσότερο στο να κάνουμε το πλαίσιο να τρέξει και να χρησιμοποιήσουμε σωστά μια GPU παρά στην ίδια τη Μηχανική Μάθηση. Χρησιμοποιήσαμε το Theano, το οποίο ήταν ένας από τους προγόνους του Tensorflow.

Ο στόχος του έργου ήταν να ταξινομήσει τον τύπο καλλιέργειας σε ένα πεδίο, από εναέριες εικόνες. Προσπαθήσαμε μια προσέγγιση όπου το Μοντέλο Βαθιάς Μάθησης χρησιμοποιούσε ιστογράμματα χρωμάτων ως εισόδους, αντί για τις сыές εικόνες. Για να το κάνουμε να λειτουργήσει λογικά γρήγορα, θυμάμαι ότι έπρεπε να υλοποιήσω ένα προσαρμοσμένο στρώμα Theano, μέχρι και κάποιο CUDA κώδικα. Αυτό ήταν μια εξαιρετική εμπειρία μάθησης την εποχή εκείνη και ένας καλός τρόπος να διεισδύσω λίγο στις τεχνικές λεπτομέρειες της Βαθιάς Μάθησης.

Είστε επίσημα ο Αρχισυντάκτης Λογισμικού και Μηχανικής Μάθησης στο Picterra. Πώς θα περιγράψατε τις καθημερινές σας δραστηριότητες;

Πραγματικά ποικίλλει, αλλά ένα μεγάλο μέρος αυτού είναι να διατηρήσετε ένα μάτι στην αρχιτεκτονική του συστήματος και του προϊόντος γενικά και να επικοινωνείτε με τους διάφορους ενδιαφερομένους. Αν και η Μηχανική Μάθηση είναι στο κέντρο της δραστηριότητάς μας, γρήγορα συνειδητοποιείτε ότι το μεγαλύτερο μέρος του χρόνου δεν ξοδεύεται στην ίδια τη Μηχανική Μάθηση, αλλά σε όλα τα άλλα γύρω από αυτή: διαχείριση δεδομένων, υποδομή, UI/UX, προτυποποίηση, κατανόηση χρηστών, κ.λπ. Αυτό είναι μια σημαντική αλλαγή από την Ακαδημία ή τις προηγούμενες εμπειρίες σε μεγαλύτερες εταιρείες όπου εσείς εστιάζετε περισσότερο σε ένα συγκεκριμένο πρόβλημα.

Τι είναι ενδιαφέρον στο Picterra είναι ότι δεν τρέχουμε μόνο Μοντέλα Βαθιάς Μάθησης για τους χρήστες, αλλά επιτρέπουμε επίσης στους χρήστες να εκπαιδεύσουν τα δικά τους. Αυτό είναι διαφορετικό από τις τυπικές ροές εργασίας Μηχανικής Μάθησης όπου έχετε την ομάδα Μηχανικής Μάθησης να εκπαιδεύει ένα μοντέλο και στη συνέχεια να το δημοσιεύει στην παραγωγή. Αυτό σημαίνει ότι δεν μπορούμε να παίξουμε χειροκίνητα με τους παράμετρους εκπαίδευσης όπως συχνά κάνετε. πρέπει να βρούμε κάποια μέθοδο εκπαίδευσης που θα λειτουργήσει για όλους τους χρήστες μας. Αυτό μας οδήγησε να δημιουργήσουμε το που λέμε «πλαίσιο πειραμάτων», το οποίο είναι μια μεγάλη βάση δεδομένων που.simulates τα δεδομένα εκπαίδευσης που θα χτίσει ο χρήστης στην πλατφόρμα. Μπορούμε τότε να δοκιμάσουμε αλλαγές στη μεθοδολογία εκπαίδευσης μας εναντίον αυτών των δεδομένων και να αξιολογήσουμε αν βοηθούν ή όχι. Αντι να αξιολογούμε ένα μοντέλο, αξιολογούμε περισσότερο μια αρχιτεκτονική + μεθοδολογία εκπαίδευσης.

Η άλλη πρόκληση είναι ότι οι χρήστες μας δεν είναι praktikoi Μηχανικής Μάθησης, οπότε δεν γνωρίζουν αναγκαστικά τι είναι ένα σετ εκπαίδευσης, τι είναι ένα λεγόμενο και così. Η κατασκευή μιας διεπαφής χρήστη για να επιτρέψει στους μη praktikous Μηχανικής Μάθησης να χτίζουν δεδομένα και να εκπαιδεύουν Μοντέλα Μηχανικής Μάθησης είναι μια συνεχής πρόκληση και υπάρχει πολύ πίσω-μπρος μεταξύ των ομάδων UX και ML για να βεβαιωθούμε ότι οδηγούμε τους χρήστες στην σωστή κατεύθυνση.

Ποια είναι κάποια από τα πιο ενδιαφέροντα έργα που έχετε εργαστεί;

Νομίζω ότι το πιο ενδιαφέρον ήταν το πρωτότυπο του Custom Detector στο Picterra. 1,5 χρόνο πριν, είχαμε «ενσωματωμένους» ανιχνευτές στην πλατφόρμα: αυτοί ήταν ανιχνευτές που εκπαιδεύαμε ourselves και τους κάνουμε διαθέσιμους στους χρήστες. Για παράδειγμα, είχαμε έναν ανιχνευτή κτιρίων, έναν ανιχνευτή αυτοκινήτων, κ.λπ.

Αυτό είναι η τυπική ροή εργασίας Μηχανικής Μάθησης: έχετε έναν μηχανικό Μηχανικής Μάθησης να αναπτύσσει ένα μοντέλο για μια συγκεκριμένη περίπτωση και στη συνέχεια το σερβίρετε στους πελάτες.

Αλλά θέλαμε να κάνουμε κάτι διαφορετικό και να ωθήσουμε τα όρια λίγο. Οπότε είπαμε: «Τι αν επιτρέψουμε στους χρήστες να εκπαιδεύουν τα δικά τους μοντέλα απευθείας στην πλατφόρμα»; Υπήρχαν κάποια προκλήσεις για να το κάνουμε να λειτουργήσει: πρώτον, δεν θέλαμε αυτό να πάρει πολλές ώρες. Αν θέλετε να διατηρήσετε αυτή τη感觉 interactivity, η εκπαίδευση πρέπει να πάρει λίγα λεπτά το πολύ. Δεύτερον, δεν θέλαμε να απαιτήσουμε χιλιάδες σημειώσεις, που είναι τυπικά ό,τι χρειάζονται για μεγάλα Μοντέλα Βαθιάς Μάθησης.

Οπότε ξεκινήσαμε με ένα πολύ απλό μοντέλο, κάναμε κάποια tests στο jupyter και στη συνέχεια προσπαθήσαμε να το ενσωματώσουμε στην πλατφόρμα μας και να δοκιμάσουμε την整ική ροή εργασίας, με μια βασική διεπαφή χρήστη και così. Αρχικά, δεν λειτουργούσε πολύ καλά στις περισσότερες περιπτώσεις, αλλά υπήρχαν κάποια περιπτώσεις όπου θα λειτουργούσε. Αυτό μας έδωσε ελπίδα και αρχίσαμε να επαναλαμβάνουμε τη μεθοδολογία εκπαίδευσης και το μοντέλο. Μετά από κάποια μήνες, καταφέραμε να φτάσουμε σε ένα σημείο όπου λειτουργούσε καλά, και τώρα έχουμε τους χρήστες μας να το χρησιμοποιούν συνέχεια.

Τι ήταν ενδιαφέρον σε αυτό ήταν η διπλή πρόκληση της διατήρησης της ταχύτητας εκπαίδευσης (τώρα λίγα λεπτά) και επομένως το μοντέλο δεν ήταν πολύ σύνθετο, αλλά同時 να το κάνουμε αρκετά σύνθετο ώστε να λειτουργήσει και να λύσει τα προβλήματα των χρηστών. Επιπλέον, λειτουργεί με λίγες (<100) ετικέτες για πολλές περιπτώσεις.

Εφαρμόσαμε επίσης πολλά από τα «Κανόνες της Μηχανικής Μάθησης» της Google (GOOGL ), ιδιαίτερα αυτούς σχετικά με την υλοποίηση της ολόκληρης διαδικασίας και μετρήσεων πριν αρχίσετε να βελτιώνετε το μοντέλο. Αυτό σας βάζει σε «σκέψη συστήματος» όπου καταλαβαίνετε ότι δεν όλα τα προβλήματά σας πρέπει να αντιμετωπιστούν από την κεντρική Μηχανική Μάθηση, αλλά κάποια από αυτά μπορούν να推ωθούν στην διεπαφή χρήστη, κάποια pre/post-επεξεργαστούν, κ.λπ.

Ποια είναι κάποια από τις τεχνολογίες Μηχανικής Μάθησης που χρησιμοποιούνται στο Picterra;

Στην παραγωγή, χρησιμοποιούμε Pytorch για την εκπαίδευση και εκτέλεση των μοντέλων μας. Χρησιμοποιούμε επίσης Tensorflow από καιρό σε καιρό, για κάποια συγκεκριμένα μοντέλα που αναπτύσσονται για πελάτες. Εκτός από αυτά, είναι ένα khá τυπικό επιστημονικό στάκ Python (numpy, scipy) με κάποια γεωχωρικές βιβλιοθήκες (gdal) που έχουν ρίχθεί μέσα.

Μπορείτε να συζητήσετε πώς λειτουργεί το Picterra στο backend όταν κάποιος ανεβάζει εικόνες και θέλει να εκπαιδεύσει το νευρωνικό δίκτυο για να αναzeichνει σωστά αντικείμενα;

Βέβαια, οπότε πρώτα όταν ανεβάζετε μια εικόνα, την επεξεργαζόμαστε και την αποθηκεύουμε σε μορφή «Cloud-Optimized-Geotiff» (COG) στο blobstore μας (Google Cloud Storage), το οποίο μας επιτρέπει να προσεγγίσουμε γρήγορα μπλοκ της εικόνας χωρίς να χρειαστεί να κατεβάσετε όλη την εικόνα αργότερα. Αυτό είναι ένα κρίσιμο σημείο επειδή οι γεωχωρικές εικόνες possono είναι τεράστιες: έχουμε χρήστες που εργάζονται κανονικά με εικόνες 50000×50000.

Στη συνέχεια, για να εκπαιδεύσετε το μοντέλο σας, θα πρέπει να δημιουργήσετε το σετ εκπαίδευσης σας μέσω της web διεπαφής μας. Θα το κάνετε αυτό ορίζοντας 3 τύπους περιοχών:

1. «Περιοχές εκπαίδευσης», στις οποίες θα σχεδιάσετε ετικέτες εκπαίδευσης
2. «Περιοχές δοκιμής», όπου το μοντέλο θα προβλέψει για να σας επιτρέψει να οραματιστείτε κάποια αποτελέσματα
3. «Περιοχή ακρίβειας», όπου θα σχεδιάσετε ετικέτες επίσης, αλλά αυτές δεν χρησιμοποιούνται για εκπαίδευση, μόνο για βαθμολογία

Μόλις δημιουργήσετε αυτό το σετ δεδομένων, μπορείτε απλά να κάνετε κλικ στο «Εκπαίδευση» και θα εκπαιδεύσουμε έναν ανιχνευτή για σας. Τι συμβαίνει μετά είναι ότι εντασσόμαστε μια δουλειά εκπαίδευσης, έχουμε έναν από τους GPU εργάτες μας να την πάρει, (νέοι GPU εργάτες ξεκινούν αυτόματα αν υπάρχουν πολλές συνεχόμενες δουλειές), εκπαιδεύουμε το μοντέλο σας, αποθηκεύουμε τα βάρη του στο blobstore και τελικά προβλέπουμε στην «Περιοχή δοκιμής» για να το εμφανίσουμε στην διεπαφή χρήστη. Από εκεί, μπορείτε να επαναλάβετε το μοντέλο σας. Τυπικά, θα δείτε κάποια λάθη στις «Περιοχές δοκιμής» και θα προσθέσετε «Περιοχές εκπαίδευσης» για να βοηθήσετε το μοντέλο να βελτιωθεί.

Μόλις είστε ικανοποιημένοι με το σκορ του μοντέλου σας, μπορείτε να το τρέξετε σε κλίμακα. Από την πλευρά του χρήστη, αυτό είναι πραγματικά απλό: απλά κάνετε κλικ στο «Ανιχνεύστε» δίπλα στην εικόνα που θέλετε να τρέξετε. Αλλά είναι немного πιο περίπλοκο κάτω από το καπό αν η εικόνα είναι μεγάλη. Για να ταχύνουμε τα πράγματα, να χειριζόμαστε αποτυχίες και να αποφεύγουμε να έχουν ανιχνεύσεις που διαρκούν πολλές ώρες, σπάμε τις μεγάλες ανιχνεύσεις σε grid cells και τρέχουμε μια ανεξάρτητη δουλειά ανίχνευσης για κάθε κελί. Αυτό μας επιτρέπει να τρέχουμε πολύ μεγάλης κλίμακας ανιχνεύσεις. Για παράδειγμα, είχαμε έναν πελάτη να τρέξει ανίχνευση σε ολόκληρη τη Δανία σε 25cm εικόνες, το οποίο είναι στην περιοχή των TB δεδομένων – για ένα μόνο έργο. Έχουμε καλύψει ένα παρόμοιο έργο σε αυτό το medium post.

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστείτε σχετικά με το Picterra;

Νομίζω ότι αυτό που είναι μεγάλο στο Picterra είναι ότι είναι ένα μοναδικό προϊόν, στο σταυροδρόμι μεταξύ Μηχανικής Μάθησης και Γεωχωρικών. Τι μας διακρίνει από άλλες εταιρείες που επεξεργάζονται γεωχωρικά δεδομένα είναι ότι εξοπλίζουμε τους χρήστες μας με μια αυτοεξυπηρετούμενη πλατφόρμα. Μπορούν εύκολα να βρουν τοποθεσίες, να αναλύσουν μοτίβα, και να ανιχνεύσουν και να μετρήσουν αντικείμενα σε εικόνες δορυφόρων. Θα ήταν αδύνατο χωρίς τη Μηχανική Μάθηση, αλλά οι χρήστες μας δεν χρειάζονται ούτε βασικές γνώσεις κώδικα – η πλατφόρμα κάνει τη δουλειά με βάση κάποιες ανθρώπινες σημειώσεις. Για εκείνους που θέλουν να πάνε πιο sâu και να μάθουν τις βασικές έννοιες της Μηχανικής Μάθησης στο γεωχωρικό τομέα, έχουμε εκκινήσει einen ολοκληρωμένο διαδικτυακό μάθημα.

Τι είναι επίσης αξιοσημείωτο είναι ότι οι πιθανές εφαρμογές του Picterra είναι απεριόριστες – ανιχνευτές που χτίστηκαν στην πλατφόρμα έχουν χρησιμοποιηθεί στην διαχείριση πόλεων, στην ακριβή γεωργία, στη διαχείριση δασών, στη διαχείριση ανθρωπιστικών και καταστροφών, στη γεωργία, κ.λπ., μόνο για να αναφέρω τις πιο συχνές εφαρμογές. Είμαστε βασικά έκπληκτοι κάθε μέρα από ότι οι χρήστες μας προσπαθούν να κάνουν με την πλατφόρμα μας. Μπορείτε να το δοκιμάσετε και να μας πείτε πώς λειτουργεί στα κοινωνικά μέσα.

Ευχαριστώ για τη μεγάλη συνέντευξη και για το ότι μοιραστήκατε μαζί μας πόσο ισχυρό είναι το Picterra, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν την ιστοσελίδα του Picterra.