Nikunj Bajaj, συνιδρυτής και διευθύνων σύμβουλος της TrueFoundry – Σειρά συνεντεύξεων

Πριν ιδρύσετε την TrueFoundry, εργαστήκατε στην έρευνα μηχανικής μάθησης, σε συστήματα τεχνητής νοημοσύνης σε παραγωγή στο Facebook (META ) και σε συστήματα συστάσεων μεγάλης κλίμακας. Ποιες εμπειρίες σας ώθησαν πιο άμεσα να δημιουργήσετε μια εταιρεία υποδομής τεχνητής νοημοσύνης για επιχειρήσεις και ποιο πρόβλημα θεωρούσατε ότι παρέμενε άλυτο τότε;

Στη Meta αντιμετωπίζαμε τη μηχανική μάθηση ως ειδική περίπτωση του λογισμικού και την παραγωγική τεχνητή νοημοσύνη ως ειδική περίπτωση της μηχανικής μάθησης. Έτσι προέκυπτε μια κατακόρυφη τεχνολογική στοίβα με το λογισμικό στη βάση, τη μηχανική μάθηση στη μέση και την παραγωγική τεχνητή νοημοσύνη στην κορυφή. Σε αυτή τη διάταξη, αν είμαι προγραμματιστής μηχανικής μάθησης, τα μοντέλα που δημιουργώ ακολουθούν το ίδιο πρότυπο θέσης σε λειτουργία με το υπόλοιπο λογισμικό, γεγονός που κάνει την κλιμάκωση των συστημάτων πολύ απλή.

Οι περισσότερες επιχειρήσεις, ωστόσο, χρησιμοποιούσαν παράλληλες στοίβες, δηλαδή ξεχωριστές στοίβες για το λογισμικό, τη μηχανική μάθηση και την παραγωγική τεχνητή νοημοσύνη. Με αυτές τις παράλληλες στοίβες η κλιμάκωση γίνεται πιο σύνθετη, επειδή απαιτούνται μεταβιβάσεις εργασιών μεταξύ του πεδίου της μηχανικής μάθησης και του κόσμου του λογισμικού.

Η ομάδα μας εργαζόταν ανέκαθεν στο σημείο συνάντησης της δημιουργίας μοντέλων μηχανικής μάθησης με την αντίστοιχη υποδομή. Αυτή η ιδιαίτερη οπτική μάς έδειξε ότι μπορούσαμε να φέρουμε παρόμοιες κατακόρυφες στοίβες στις επιχειρήσεις και να τις προσαρμόσουμε στις συγκεκριμένες απαιτήσεις τους. Προς τα τέλη του 2021 είχαμε επίσης διατυπώσει την υπόθεση ότι η μηχανική μάθηση πλησίαζε σε ένα σημείο καμπής. Όταν θα έφτανε εκεί, περισσότερες εταιρείες θα χρειάζονταν μια κατακόρυφα ενοποιημένη στοίβα για να θέτουν αυτά τα συστήματα σε λειτουργία και να τα κλιμακώνουν αποτελεσματικά. Αυτό τελικά μας οδήγησε στην ίδρυση της TrueFoundry και η υπόθεσή μας αποδείχθηκε σωστή. Η υιοθέτηση της τεχνητής νοημοσύνης επιταχύνθηκε μετά την κυκλοφορία του ChatGPT στα τέλη του 2022.

Καθώς τα συστήματα τεχνητής νοημοσύνης περνούν από τον πειραματισμό στην καθημερινή λειτουργία, τι έχει αλλάξει στον τρόπο με τον οποίο οι οργανισμοί πρέπει να σκέφτονται την αξιοπιστία και τις αστοχίες;

Με την παραγωγική τεχνητή νοημοσύνη διακυβεύονται πολύ περισσότερα απ’ ό,τι με τα παραδοσιακά συστήματα μηχανικής μάθησης. Όταν αυτά τα συστήματα περνούν στην παραγωγή, οι οργανισμοί αντιμετωπίζουν πολύ μεγαλύτερη ασάφεια και μη ντετερμινιστική συμπεριφορά, επειδή τα LLM είναι στοχαστικά από τη φύση τους. Τα συστήματα πρακτόρων που βασίζονται σε αυτά προσθέτουν ακόμη περισσότερη ασάφεια.

Επιπλέον, οι αστοχίες δεν είναι πλέον δυαδικές. Αντί τα συστήματα απλώς να λειτουργούν ή να μη λειτουργούν, πολλά προβλήματα εμφανίζονται ως μερικές αστοχίες ή αθόρυβη υποβάθμιση. Με τον χρόνο, τα συστήματα μπορεί να αποκρίνονται με μεγαλύτερη καθυστέρηση, χαμηλότερη ποιότητα ή λανθασμένη συμπεριφορά. Σε πολλές περιπτώσεις αυτή η υποβάθμιση εντοπίζεται δυσκολότερα και μερικές φορές είναι ακόμη πιο επιζήμια από μια πλήρη διακοπή λειτουργίας.

Οι οργανισμοί πρέπει να εξετάζουν την αξιοπιστία όχι μόνο ως χρόνο αδιάλειπτης λειτουργίας, αλλά και σε σχέση με την υποβάθμιση της απόδοσης με την πάροδο του χρόνου.

Το TrueFailover κυκλοφόρησε εν μέσω ενός κύματος διακοπών σε υπηρεσίες cloud και τεχνητής νοημοσύνης που έλαβαν μεγάλη δημοσιότητα. Ποια πρόσφατα γεγονότα κατέστησαν σαφές ότι η αξιοπιστία της τεχνητής νοημοσύνης είχε πάψει να αποτελεί απλώς ένα επιθυμητό πρόσθετο χαρακτηριστικό και είχε γίνει βασική αρχιτεκτονική απαίτηση;

Ένας πελάτης μας στον χώρο της υγείας επεξεργάζεται σε πραγματικό χρόνο αιτήματα ασθενών σχετικά με συνταγές, στα οποία η έγκαιρη ανταπόκριση είναι κρίσιμη. Επηρεάστηκε από μια διακοπή που προκλήθηκε από αστοχία μοντέλου. Οι ροές εργασίας του παράγουν χιλιάδες δολάρια εσόδων ανά δευτερόλεπτο και η διακοπή επηρέασε ορισμένες από αυτές τις κρίσιμες ροές. Ήταν ένας από τους πρώτους πελάτες του TrueFailover, οπότε μπορέσαμε να τον βοηθήσουμε να αποκαταστήσει γρήγορα τη λειτουργία και να περιοριστούν οι επιπτώσεις.

Τέτοια περιστατικά θέτουν ένα σημαντικό ερώτημα: καθώς αυξάνονται όσα διακυβεύονται με τα συστήματα παραγωγικής τεχνητής νοημοσύνης, γιατί οι διαδικασίες αποκατάστασης παραμένουν σε μεγάλο βαθμό χειροκίνητες; Αυτό ενίσχυσε την άποψη ότι τα συστήματα πρέπει να κατασκευάζονται με δεδομένο ότι θα υπάρξουν αστοχίες και να σχεδιάζονται ώστε να διορθώνονται αυτόματα. Η αξιοπιστία πρέπει επίσης να ενσωματώνεται στην ίδια τη στοίβα τεχνητής νοημοσύνης μέσω πυλών που μπορούν να παρέχουν κεντρική δρομολόγηση, παρατηρησιμότητα, μηχανισμούς προστασίας και έξυπνη εναλλαγή μοντέλων μεταξύ παρόχων.

Πολλές διακοπές λειτουργίας της τεχνητής νοημοσύνης εξακολουθούν να παρουσιάζονται ως μικρά τεχνικά προβλήματα. Πού βλέπετε να αρχίζει να εμφανίζεται το πραγματικό οικονομικό και ανθρώπινο κόστος όταν αυτά τα συστήματα σταματούν να λειτουργούν;

Η τεχνητή νοημοσύνη στις επιχειρήσεις έχει εξελιχθεί τόσο ώστε αυτά τα προβλήματα δεν επηρεάζουν πλέον μόνο τις εσωτερικές ροές εργασίας. Σήμερα οι διακοπές και η υποβάθμιση επηρεάζουν άμεσα και αμέσως τη δημόσια εικόνα και τα κέρδη, επειδή οι εφαρμογές σε παραγωγή εξυπηρετούν πλέον πελάτες. Αυτή η μετάβαση από τις εσωτερικές δοκιμές σε εφαρμογές που απευθύνονται στο κοινό και στις οποίες διακυβεύονται πολλά εξηγεί την αυξημένη ανάγκη για προσοχή και εποπτεία από τα ανώτατα στελέχη.

Καθώς τα συστήματα τεχνητής νοημοσύνης ενσωματώνονται βαθύτερα στις επιχειρησιακές ροές εργασίας, οι διακοπές δεν είναι πλέον μόνο τεχνικά ζητήματα. Έχουν ολοένα και περισσότερο άμεσες συνέπειες για τη λειτουργία της επιχείρησης, τους πελάτες και τη φήμη της.

Σε περιβάλλοντα κρίσιμης σημασίας, όπως τα φαρμακεία, οι υπηρεσίες υγείας ή η υποστήριξη πελατών, πόσο γρήγορα μπορεί μια διακοπή της τεχνητής νοημοσύνης να εξελιχθεί σε λειτουργικό κίνδυνο ή κίνδυνο για τη φήμη;

Σε περιβάλλοντα κρίσιμης σημασίας, η κλιμάκωση είναι σχεδόν άμεση, επειδή τα συστήματα αυτά υποστηρίζουν ροές εργασίας σε πραγματικό χρόνο στις οποίες η έγκαιρη ανταπόκριση είναι απαραίτητη. Ακόμη και μια σύντομη διακοπή μπορεί να σταματήσει κρίσιμες διαδικασίες, να καθυστερήσει την παροχή υπηρεσιών ή να διακόψει τη λειτουργία επόμενων συστημάτων που εξαρτώνται από αυτά τα αποτελέσματα, προκαλώντας αλυσιδωτές επιχειρησιακές επιπτώσεις σε ολόκληρο τον οργανισμό.

Σε τομείς όπως η υγεία, οι επιπτώσεις υπερβαίνουν τη λειτουργική διαταραχή και επηρεάζουν την εμπειρία του πελάτη και τα αποτελέσματα των υπηρεσιών. Αν ένας ασθενής δεν μπορεί να εκτελέσει εγκαίρως τη συνταγή του, μπορεί να υπάρξουν πραγματικές συνέπειες. Δεν είναι μόνο πρόβλημα για τον ασθενή· μπορεί επίσης να πληγεί η φήμη του φαρμακείου ή του παρόχου υπηρεσιών υγείας. Σε περιβάλλοντα κρίσιμης σημασίας όπου η εμπιστοσύνη είναι σημαντική, η συνεχής λειτουργία των συστημάτων είναι ύψιστης προτεραιότητας. Γι’ αυτό οι οργανισμοί αναγνωρίζουν όλο και περισσότερο ότι τα συστήματα τεχνητής νοημοσύνης πρέπει να σχεδιάζονται με δεδομένο ότι θα υπάρξουν αστοχίες και ότι οι μηχανισμοί αποκατάστασης πρέπει να ενεργοποιούνται αυτόματα για να ελαχιστοποιείται ο κίνδυνος.

Έχετε πει ότι πολλές ομάδες σχεδιάζουν την αρχιτεκτονική με γνώμονα τις δυνατότητες και όχι τη συνέχεια της λειτουργίας. Γιατί πιστεύετε ότι η ανθεκτικότητα είχε ιστορικά χαμηλότερη προτεραιότητα στον σχεδιασμό συστημάτων τεχνητής νοημοσύνης;

Αυτό οφείλεται κυρίως στα κίνητρα μέσα στους οργανισμούς. Οι νέες δυνατότητες είναι ορατές και προκαλούν ενθουσιασμό. Επιτρέπουν επιδείξεις, λειτουργίες και νέες προοπτικές για το προϊόν, που η διοίκηση μπορεί να δει αμέσως.

Η συνέχεια της λειτουργίας, εξ ορισμού, δεν γίνεται αντιληπτή όταν όλα λειτουργούν καλά. Γι’ αυτό τα συστήματα ανταμοιβής τείνουν να ευνοούν την κυκλοφορία νέων λειτουργιών αντί να επιβραβεύουν τη διασφάλιση ότι τίποτα δεν θα χαλάσει. Ως αποτέλεσμα, οι οργανισμοί συχνά επενδύουν δυσανάλογα περισσότερο στην ανάπτυξη δυνατοτήτων απ’ ό,τι στη μηχανική της ανθεκτικότητας.

Καθώς οι επιχειρήσεις εξαρτώνται όλο και περισσότερο από εξωτερικά μοντέλα και API, ποια νέα ευάλωτα σημεία εισάγονται στη στοίβα τεχνητής νοημοσύνης, των οποίων τη σημασία τα στελέχη ίσως δεν έχουν ακόμη αντιληφθεί πλήρως;

Τα LLM είναι κατ’ ουσίαν κοινόχρηστοι πόροι και οι επιχειρήσεις δεν τα κατέχουν όπως κατέχουν την παραδοσιακή υποδομή. Επιπλέον, σημαντικά συστήματα κρίσιμα για τη λειτουργία των επιχειρήσεων εκτελούνται σε εξωτερικά συστήματα που δεν έχουν ακόμη δοκιμαστεί πλήρως στον χρόνο. Τα ίδια τα LLM εξελίσσονται γρήγορα, πράγμα που σημαίνει ότι ένας πάροχος μοντέλου δεν μπορεί να θεωρείται υπεύθυνος για ζητήματα όπως η καθυστέρηση ή μια μικρή πτώση της απόδοσης, επειδή προχωρά πολύ γρήγορα σε διαδοχικές επαναλήψεις της έρευνάς του.

Επειδή τα LLM είναι κοινόχρηστοι πόροι, η καθυστέρηση μπορεί να αυξηθεί απότομα αν κάποιος άλλος χρήστης τους εκτελέσει μια συγκεκριμένη ενέργεια. Η ίδια η φύση των LLM εισάγει πολλά τέτοια σημεία αστοχίας και οι επιχειρήσεις σε αυτόν τον νέο κόσμο απλώς δεν έχουν πλήρη έλεγχο. Χωρίς πλήρη έλεγχο, το καλύτερο που μπορεί να κάνει μια επιχείρηση είναι να δημιουργήσει επαρκή πλεονασμό στο σύστημα, ώστε να το σχεδιάσει με ανθεκτικότητα.

Χωρίς να εστιάσουμε σε συγκεκριμένα προϊόντα, πώς πρέπει οι οργανισμοί να επανεξετάσουν την αρχιτεκτονική τεχνητής νοημοσύνης ώστε να θεωρούν τις αστοχίες δεδομένες, αντί να αντιμετωπίζουν τις διακοπές ως σπάνιες ακραίες περιπτώσεις;

Οι οργανισμοί πρέπει να επιστρέψουν στις θεμελιώδεις αρχές του σχεδιασμού κατανεμημένων συστημάτων. Τα συστήματα λογισμικού κατασκευάζονταν με δεδομένο ότι τα στοιχεία δικτύου και οι μηχανές θα παρουσίαζαν αστοχίες και ότι μια ολόκληρη γεωγραφική περιοχή θα μπορούσε να τεθεί εκτός λειτουργίας.

Τα συστήματα τεχνητής νοημοσύνης δεν πρέπει να αποτελούν εξαίρεση. Πρέπει να θεωρούμε δεδομένο ότι οι πάροχοι μοντέλων θα αντιμετωπίζουν καθυστερήσεις, υποβάθμιση ή διακοπές και να ενσωματώνουμε πλεονασμό, ώστε οι εφαρμογές να παραμένουν ανθεκτικές σε διαφορετικά σενάρια αστοχίας.

Περιμένετε η ανθεκτικότητα της τεχνητής νοημοσύνης να γίνει καθοριστικός παράγοντας στην επιλογή πλατφόρμας και προμηθευτή, όπως ο χρόνος αδιάλειπτης λειτουργίας και ο πλεονασμός διαμόρφωσαν τις αποφάσεις για τις υποδομές cloud;

Καθώς περισσότερα συστήματα τεχνητής νοημοσύνης περνούν στην παραγωγή, η ανθεκτικότητα θα γίνει ελάχιστη απαίτηση. Αν ένας προμηθευτής δεν μπορεί να παρουσιάσει γραφήματα και μετρήσεις για τον χρόνο αδιάλειπτης λειτουργίας και τη συνολική ανθεκτικότητα, δεν θα εξετάζεται καν. Μόλις η ανθεκτικότητα γίνει βασική προσδοκία για όλους τους προμηθευτές, οι καθοριστικοί παράγοντες θα μετατοπιστούν προς την εμπειρία χρήστη, τη βελτιστοποίηση της απόδοσης, την παρατηρησιμότητα και τις δυνατότητες του προϊόντος σε ανώτερο επίπεδο. Με τον χρόνο, στοιχεία όπως η πύλη τεχνητής νοημοσύνης και η αυτόματη μετάπτωση σε εφεδρική λύση θα γίνουν βασικά θεμέλια της εταιρικής υποδομής τεχνητής νοημοσύνης.

Κοιτάζοντας μπροστά, τι σημαίνει πραγματικά τεχνητή νοημοσύνη «έτοιμη για παραγωγή» σε έναν κόσμο όπου αναμένεται να είναι συνεχώς διαθέσιμη και όχι απλώς περιστασιακά χρήσιμη;

Τα συστήματα τεχνητής νοημοσύνης που είναι έτοιμα για παραγωγή πρέπει να προσφέρουν παρατηρησιμότητα, δυνατότητα ελέγχου και δυνατότητα αποκατάστασης. Πρέπει να πληρούν και τις τρεις προϋποθέσεις.

Για να υπάρχει παρατηρησιμότητα στην τεχνητή νοημοσύνη σε παραγωγή, οι ομάδες χρειάζονται σε βάθος εικόνα της συμπεριφοράς των μοντέλων, της καθυστέρησης, των ποσοστών σφαλμάτων, της χρήσης token, της μετατόπισης και των μοτίβων αστοχίας. Χωρίς ισχυρή παρατηρησιμότητα, είναι πολύ δύσκολο να εντοπιστεί η υποβάθμιση προτού αρχίσουν να την αντιλαμβάνονται οι χρήστες.

Η δυνατότητα ελέγχου των συστημάτων περιλαμβάνει διαμόρφωση της κίνησης, περιορισμό του ρυθμού αιτημάτων, μηχανισμούς προστασίας, επιβολή πολιτικών και έξυπνη δρομολόγηση μεταξύ μοντέλων και παρόχων. Εδώ η πύλη τεχνητής νοημοσύνης αποκτά θεμελιώδη ρόλο, λειτουργώντας ως κεντρικό επίπεδο ελέγχου που επιβάλλει μηχανισμούς προστασίας, εξασφαλίζει συνεπή διακυβέρνηση και επιτρέπει δυναμική εναλλαγή μοντέλων όταν μειώνεται η απόδοση ή η αξιοπιστία.

Τέλος, για να μπορεί να αποκατασταθεί η λειτουργία, τα συστήματα πρέπει να κατασκευάζονται με δεδομένο ότι τα στοιχεία τους μπορεί να υπολειτουργούν ή να είναι εντελώς εκτός λειτουργίας, είτε λόγω διακοπών στους παρόχους, υποβάθμισης της ποιότητας των μοντέλων, ορίων στον ρυθμό αιτημάτων είτε λόγω απροσδόκητων εισόδων από κακόβουλους παράγοντες. Η αυτόματη μετάπτωση σε εφεδρική λύση και οι μηχανισμοί αυτοαποκατάστασης πρέπει να είναι ενσωματωμένοι στην αρχιτεκτονική και όχι να βασίζονται σε χειροκίνητες διαδικασίες που ενεργοποιούνται αφού προκύψει πρόβλημα.

Προς αυτή την κατεύθυνση εργαζόμαστε στην TrueFoundry. Οι προμηθευτές που ορίζουν έτσι την ετοιμότητα για παραγωγή, συνδυάζοντας παρατηρησιμότητα, κεντρικό έλεγχο και αυτόματη αποκατάσταση, θα κερδίσουν τη μακροχρόνια εμπιστοσύνη των πελατών και θα μπορούν να συνεχίσουν να λύνουν νέα προβλήματα καθώς αυτά εμφανίζονται.

Σας ευχαριστώ για την εξαιρετική συνέντευξη. Οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν την TrueFoundry.