Η Κρίσιμη Διαδρομή για την Αυτοματοποίηση της Ανάπτυξης Μοντέλων

Το επόμενο σημαντικό ορόσημο για την έρευνα του AI είναι να αυτοματοποιήσει την ανάπτυξη μοντέλων. Κάθε πρόοδος στη λογική, τη γλώσσα και την αντίληψη είναι, σε κάποιο βαθμό, ένα βήμα προς αυτόν τον στόχο. Ωστόσο, η διαδρομή προς την αυτοματοποίηση των μοντέλων απαιτεί την επίλυση ενός συνόλου θεμελιωδών προκλήσεων που πρέπει να επιλυθούν πρώτα.

Η γέφυρα προς αυτόν τον στόχο περνάει trực tiếp από τη μηχανική μάθηση (ML) μηχανική. Μια κοινή λανθασμένη αντίληψη υποστηρίζει ότι η ML είναι μια προηγούμενη τεχνολογία για το σύγχρονο AI και ότι τα μοντέλα θεμελίωσης έχουν απλώς αντικαταστήσει την ML. Αυτό παρεξηγεί τη σχέση. Ως ακαδημαϊκή дисциплина, η ML περιλαμβάνει tous τους τομείς της εκπαίδευσης μοντέλων, συμπεριλαμβανομένης της εκπαίδευσης των μοντέλων θεμελίωσης στο κέντρο της τρέχουσας AI στιγμής. Υπάρχει, ωστόσο, μια σημαντική διαφορά σε κλίμακα και複雑ότητα δεδομένων.

Τα παραδοσιακά μοντέλα ML εκπαιδεύονται συνήθως σε προσεκτικά επιλεγμένα, domain-ειδικά σύνολα δεδομένων που περιέχουν χιλιάδες ή εκατομμύρια παραδείγματα. Τα μοντέλα θεμελίωσης, από την άλλη πλευρά, εκπαιδεύονται σε χιλιάδες σύνολα δεδομένων ταυτόχρονα, που προέρχονται από πολύ διαφορετικές πηγές με ασυνεπείς μορφές, προέλευση και ποιότητα. Αυτή η διαφορά στην κλίμακα και την ετερογένεια των δεδομένων είναι ένας θεμελιώδης λόγος για τον οποίο η διαχείριση δεδομένων γίνεται πολύ khóτερη και πιο σημαντική καθώς τα μοντέλα γίνονται πιο ισχυρά.

Αυτό καθιστά την κατανόηση των δεδομένων ένα κεντρικό εμπόδιο στην αυτοματοποίηση της ανάπτυξης μοντέλων. Ένα σύστημα AI που μπορεί να ερμηνεύσει ετερογενή δεδομένα και να βελτιώσει τις διαδικασίες που κατασκευάζονται γύρω του θα μπορούσε, σε принцип, να βελτιώσει τη διαδικασία εκπαίδευσης και να βοηθήσει στην κατασκευή καλύτερων μοντέλων. Μόλις το AI μπορεί να βελτιώσει τη διαδικασία με την οποία εκπαιδεύεται, οι βελτιώσεις κατρακυλούν προς τα κάτω σε κάθε τομέα όπου εφαρμόζεται το AI.

Τρία Εμπόδια που Εμποδίζουν τον Δρόμο

Το πρώτο εμπόδιο είναι η κατακερματισμός του контекstu. Σε σχεδόν κάθε οργανισμό, τα σήματα, τα πειράματα, οι ορισμοί χαρακτηριστικών και η θεσμική γνώση που σχετίζονται με οποιοδήποτε δεδομένο πρόβλημα μοντελοποίησης είναι-scattered σε αποθήκες δεδομένων, σημειωματάρια και διαδικασίες που δεν σχεδιάστηκαν ποτέ να επικοινωνούν μεταξύ τους. Σκεφτείτε ένα σύστημα υγείας που κατασκευάζει ένα μοντέλο ανίχνευσης σήψης. Τα κλινικά κριτήρια που σχετίζονται με αυτό το πρόβλημα, όπως οι κριτικές τιμές, τα εργαστηριακά δεδομένα και τα πρότυπα τεκμηρίωσης, μπορεί να ζουν σε εντελώς ξεχωριστά μέρη ενός ηλεκτρονικού συστήματος υγείας.

Το δεύτερο εμπόδιο είναι η σημασιολογική αμφισημία. Η σημασία δεν είναι εγγενής στα δεδομένα, αλλά είναι αντίθετα контекστο- και οργανωτική. Το ίδιο όνομα πεδίου σε δύο διαφορετικές βάσεις δεδομένων μπορεί να αναφέρεται σε υποννοουμένα διαφορετικά πράγματα. Έννοιες όπως η έσοδα, ο ενεργός χρήστης και η εγκατάλειψη έχουν συχνά πολλές έγκυρες ορισμοί μέσα σε μια einz companyName. Ακόμη και μια έννοια όπως η “έσοδα” μπορεί να προκαλέσει προβλήματα. Μια ομάδα πωλήσεων μπορεί να ορίσει τα έσοδα ως την συνολική αξία των συμβολαίων που υπογράφηκαν αυτό το τρίμηνο, ενώ η ομάδα χρηματοοικονομικών ορίζει τα έσοδα ως τα πραγματικά ληφθέντα χρήματα. Η ομάδα προϊόντων έχει μια άλλη κατανόηση, καθώς ορίζει τον όρο να σημαίνει αναγνωρισμένα έσοδα που διανέμονται σε μια περίοδο συνδρομής. Όλα τα τρία τραβούν από πεδία που ονομάζονται “έσοδα” στα αντίστοιχα συστήματα, αλλά μια δια-ομάδα αναφορά που συνδυάζει αυτά θα σιωπηλά αναμιγνύει τρία ασύμβατα νούμερα.

Το τρίτο και πιο συστηματικό εμπόδιο είναι η απουσία τεκμηριωμένης οργανωτικής μνήμης. Η παρακολούθηση της προέλευσης, η επίλυση ασυνεπειών και η διατήρηση της ποιότητας των σημάτων σε τόσες πολλές πηγές είναι ένα ανεπίλυτο πρόβλημα ακόμη και για ανθρώπινες ομάδες. Χωρίς μια θεσμική μνήμη του τι έχει δοκιμαστεί και πώς καλά δούλεψαν αυτές οι προσεγγίσεις, οποιοδήποτε μηχανισμό αυτοματοποίησης μοντέλων θα συνεχίσει να ανακαλύπτει τα ίδια νεκρά στενά, σπαταλώντας χρόνο και πόροι.

Σκεφτείτε μια ομάδα επιστημών δεδομένων σε μια εταιρεία λιανικής που κατασκευάζει ένα μοντέλο πρόβλεψης ζήτησης. Σε τρία χρόνια, μια дozen αναλυτές έχουν ανακαλύψει ανεξάρτητα ότι τα ακατέργαστα δεδομένα καιρού μειώνουν την απόδοση του μοντέλου κατά τις εβδομάδες των διακοπών, ότι η τροφοδοσία αποθέματος ενός συγκεκριμένου προμηθευτή περιέχει μια συστηματική καθυστέρηση και ότι η τυπική προσέγγιση για την αντιμετώπιση των προωθητικών εκδηλώσεων προκαλεί διαρροή στόχου. Όταν οι αρχικοί αναλυτές μετακινήθηκαν σε άλλες ομάδες ή έφυγαν από την εταιρεία, η γνώση έφυγε μαζί τους. Χωρίς μια θεσμική εγγραφή του τι έχει δοκιμαστεί, τι απέτυχε και γιατί, ένας μηχανισμός αυτοματοποίησης μοντέλων δεν μπορεί να χτίσει πάνω στις συσσωρευμένες εμπειρίες. Απλώς ξεκινά από το μηδέν, ξανά και ξανά, σπαταλώντας άσκοπα χρόνο.

Τι Απαιτεί μια Πραγματική Λύση

Η ιστορία της αυτοματοποίησης ML είναι μια ιστορία μερικών λύσεων. Το AutoML αντιμετώπισε το στενό πρόβλημα της ρύθμισης των υπερπαραμέτρων, αλλά δεν μπορούσε να αντιμετωπίσει τις ανταγωνιστικές απαίσεις ή να σκεφτεί την οργανωτική πρόθεση. Το MLOps έκανε τις παραγωγικές διαδικασίες πιο robust και πιο εύκολες να παρακολουθούνται, αλλά τα εργαλεία MLOps εκτελούν μια στρατηγική αντί να την ορίζουν. Τα πιο πρόσφατα agents κώδικα αντιπροσωπεύουν ένα πραγματικό βήμα προς τα εμπρός, αλλά έχουν κληρονομήσει την ίδια τύφλα. Γεννούν κώδικα καλά ενώ λειτουργούν χωρίς οργανωτικό контекστο ή θεσμική μνήμη.

Ένα σύστημα ικανό για πραγματικά αυτόνομη μηχανική ML θα χρειαζόταν ικανότητες που δεν παρέχει κανένα υπάρχον εργαλείο σε συνδυασμό. Θα χρειαζόταν να χαρτογραφήσει τους επιχειρηματικούς στόχους σε στόχους μοντέλων, η οποία είναι μια μετάφραση που δεν μπορεί να υπονοηθεί από τα δεδομένα μόνο. Θα χρειαζόταν να ανακαλύψει σχετικά δεδομένα σε κατακερματισμένα συστήματα με ασυνεπείς σχήματα, ενώ αυτόματα να συμμορφώνεται με τις απαιτήσεις συμμόρφωσης, διακυβέρνησης και ασφάλειας, αντί να απαιτεί από τους ανθρώπους να τις διαχειρίζονται ως ξεχωριστή διαδικασία. Θα χρειαζόταν θεσμική μνήμη για να επιφέρουν υπάρχουσα δουλειά, να κατανοήσουν γιατί τα προηγούμενα πειράματα εγκαταλείφθηκαν και να χτίσουν πάνω σε αυτά που ήδη γνωρίζουν οι συνάδελφοι.

Σε αυστηρές ιχνηλασίες που παρακολουθούν την προέλευση σε διαφορετικές εκδόσεις δεδομένων, ορισμοί χαρακτηριστικών και υποβολές κώδικα θα χρειαζόταν να είναι μια βασική μηχανισμός για την εναρμόνιση του συστήματος με αυτό που πραγματικά συνέβη. Και ένα τέτοιο σύστημα θα χρειαζόταν προσεκτική σχεδίαση ανθρώπινου-στο-βρόχο. Όχι μια δυαδική επιλογή μεταξύ πλήρους αυτοματοποίησης και πλήρους χειροκίνητου ελέγχου, αλλά υποστήριξη για διαφορετικά επίπεδα αλληλεπίδρασης ανάλογα με την εργασία, τις απαιτήσεις και την εμπιστοσύνη του συστήματος σε κάθε σημείο λήψης αποφάσεων. Η αυτοματοποίηση που παρακάμπτει την ανθρώπινη κρίση σε κρίσιμους момέντες δεν είναι μια λειτουργία καλά σχεδιασμένου AI· αντίθετα, είναι ένα режим αποτυχίας.

Τι δεν έχει λυθεί ακόμη από κανένα εργαστήριο είναι πώς να δημιουργηθεί μια σημασιολογική κατανόηση των οργανωτικών δεδομένων που κατανοούν τι σημαίνουν τα δεδομένα σε ένα συγκεκριμένο θεσμικό контекστο. Το MCP λύνει το πρόβλημα της συνδεσιμότητας. Δεν λύνει ακόμη το πρόβλημα της σημασίας.

Τι Γίνεται Πιθανό

Οι οικονομικές επιπτώσεις της επίλυσης αυτών των προβλημάτων είναι σημαντικές. Η προσαρμοσμένη ανάπτυξη ML σήμερα απαιτεί ειδικούς praktikous και εβδομάδες επανάληψης, ακόμη και για καλά καθορισμένα προβλήματα. Ένα σύστημα που θα μπορούσε να πλοηγηθεί στην πλήρη διαδικασία αυτονομία από την ορισμό του προβλήματος μέχρι την ανακάλυψη δεδομένων, την ανάπτυξη μοντέλων και την αξιολόγηση μοντέλων θα άλλαζε δραματικά αυτήν την εξίσωση, συμπιέζοντας χρονοδιαγράμματα και ανοίγοντας υψηλής αξίας περιπτώσεις χρήσης που είναι目前 слишком πόρων-εντατικές να τις ακολουθήσετε. Projekts που απαιτούσαν ομάδες με βαθιά ML εμπειρία που εργάζονταν για εβδομάδες μπορούν τώρα να ολοκληρωθούν σε ημέρες χωρίς να χρειάζεται να χρησιμοποιήσουν τόσο πολύ από τους σπάνιους ML εμπειρογνώμονες χρόνο.

Οι προκλήσεις της κατακερματισμού του контекstu, της σημασιολογικής αμφισημίας και της απουσίας θεσμικής μνήμης δεν είναι μοναδικές για την επιχειρηματική ML. Εμφανίζονται υπό διαφορετικές περιοριστικές συνθήκες στην κατασκευή των διαδικασιών εκπαίδευσης μοντέλων θεμελίωσης, όπου χιλιάδες ετερογενή σύνολα δεδομένων πρέπει να συναθροισθούν, να φιλτράρονται και να ανακυκλώνονται. Ενώ οι δύο ρυθμίσεις διαφέρουν σε δομή και στόχο, και οι δύο περιορίζονται από το ίδιο υποκείμενο εμπόδιο: την απουσία συστημάτων που μπορούν να ανακτήσουν контекστο, να παρακολουθήσουν την προέλευση και να χτίσουν πάνω σε προηγούμενη δουλειά σε διαφορετικές επαναλήψεις. Η αυτοματοποίηση της ανάπτυξης μοντέλων στην επιχείρηση είναι επομένως ένα κρίσιμο βήμα στον δρόμο προς τα AI συστήματα ικανά να βελτιώσουν τον εαυτό τους.