Η ScaleOps Ανεβάζει 130 Εκατ. Δολάρια Σειράς C για Αυτόνομη Υποδομή στο Πυρήνα των Λειτουργιών του AI

ScaleOps έχει ανεβάσει 130 εκατομμύρια δολάρια σε χρηματοδότηση Σειράς C με αξιολόγηση που υπερβαίνει τα 800 εκατομμύρια δολάρια, καθώς η ζήτηση για συστήματα που μπορούν να διαχειρίζονται ολοένα και πιο σύνθετα φορτία cloud και AI χωρίς συνεχή ανθρώπινη παρέμβαση αυξάνεται.

Η φάση οδηγήθηκε από την Insight Partners, με συνεχής υποστήριξη από την Lightspeed Venture Partners, NFX, Glilot Capital Partners και Picture Capital. Η εταιρεία έχει ανεβάσει συνολικά περισσότερα από 210 εκατομμύρια δολάρια.

Από την Βελτιστοποίηση του Kubernetes στην Αυτόνομη Υποδομή

Η ScaleOps εμφανίστηκε το 2022 με επίκεντρο την αυτοματοποίηση ενός από τα πιο επίμονες προβλήματα στη σύγχρονη υποδομή: την κατανομή πόρων σε περιβάλλοντα Kubernetes. Αντί να βασίζεται σε στατικές ρυθμίσεις, η πλατφόρμα συνεχώς điều chỉnh τους υπολογιστικούς πόρους, όπως η CPU και η μνήμη, με βάση την πραγματική συμπεριφορά του φορτίου εργασίας.

Στον πυρήνα της, το σύστημα λειτουργεί ως κλειστό βρόχο βελτιστοποίησης. Παρατηρεί την ζήτηση του φορτίου εργασίας, αξιολογεί τα σήματα απόδοσης και εκτελεί αλλαγές αυτόματα. Αυτό περιλαμβάνει τη δυναμική αναδιαμόρφωση των φορτίων εργασίας, τη ρύθμιση του αριθμού των αντιγράφων και την βελτιστοποίηση της χρήσης των κόμβων σεクラστερ.

Με τον καιρό, αυτό έχει επεκταθεί πέρα από την παραδοσιακή βελτιστοποίηση του cloud σε περιβάλλοντα που βασίζονται σε GPU και συνδέονται με συστήματα AI. Η πλατφόρμα εφαρμόζει παρόμοιους αρχές στη διαχείριση των GPU, όπου η ανεφфективής χρήση μπορεί να γίνει γρήγορα ένα σημαντικό εμπόδιο.

Γιατί Αυτό το Στρώμα Γίνεται Κρίσιμο

Τα σύγχρονα συστήματα AI εισάγουν ένα επίπεδο μεταβλητότητας που τα παραδοσιακά εργαλεία υποδομής δεν σχεδιάστηκαν για να χειριστούν. Τα φορτία εργασίας αυξάνονται απρόβλεπτα, τα μοντέλα ανταγωνίζονται για περιορισμένη ικανότητα GPU και οι απαιτήσεις απόδοσης μεταβάλλονται σε πραγματικό χρόνο.

Ιστορικά, οι ομάδες έχουν διαχειριστεί αυτό μέσω χειροκίνητου ρυθμισμού ή αυτοματοποίησης με βάση κανόνες. Αλλά αυτές οι προσεγγίσεις δυσκολεύονται σε κλίμακα. Το Kubernetesเอง, ενώ σχεδιάστηκε για ορχήστρα, εξακολουθεί να βασίζεται σε μεγάλο βαθμό σε στατικές ρυθμίσεις που οι μηχανικοί πρέπει να調整不断 για να αποφευχθεί η υπο- ή υπερ-παρέχηση.

Αυτό δημιουργεί μια δομική αναποτελεσματικότητα. Οι ομάδες μηχανικών dànhουν σημαντικό χρόνο αντιδρώντας σε προβλήματα απόδοσης, ρυθμίζοντας την κατανομή πόρων και επιλύοντας παραβιάσεις SLO αντί να κατασκευάζουν νέα συστήματα.

Η προσέγγιση της ScaleOps αντικαθιστά αυτό το αντιδραστικό μοντέλο με συνεχή, εξαρτώμενη από το контέκστ αυτοματοποίηση. Αντί να ορίζουν προκαταβολικά τις κατωφλίσεις, το σύστημα προσαρμόζεται σε πραγματικό χρόνο με βάση την παρατηρημένη συμπεριφορά σε ολόκληρο το cluster.

Κίνηση προς τα Αυτο-Βελτιστοποιημένα Συστήματα

Αυτό που κάνει αυτή την κατηγορία αξιοσημείωτη δεν είναι μόνο η βελτιστοποίηση του κόστους, αλλά η μετατόπιση στον τρόπο με τον οποίο η υποδομή συμπεριφέρεται.

Σε παραδοσιακά περιβάλλοντα, η υποδομή ρυθμίζεται. Σε νεότερα συστήματα, αναμένεται να προσαρμοστεί.

Η ScaleOps αντανακλά αυτή τη μετάβαση αντιμετωπίζοντας την υποδομή ως κάτι που μπορεί να επανα-ισορροπηθεί συνεχώς. Η πλατφόρμα εφαρμόζει πολιτικές, παρακολουθεί τα αποτελέσματα και điềuγει τις κατανομές χωρίς να απαιτεί από τους μηχανικούς να παρέμβουν. Σε περιβάλλοντα παραγωγής, αυτό μπορεί να επεκταθεί σε σχεδόν πλήρη αυτοματοποίηση των αποφάσεων πόρων.

Αυτό το μοντέλο έχει ήδη δείξει μετρήσιμο αντίκτυπο σε πραγματικές εγκαταστάσεις. Σε μια περίπτωση, η αυτοματοποιημένη αναδιαμόρφωση επέτρεψε στα φορτία εργασίας να προσαρμοστούν δυναμικά στις διακυμάνσεις της κυκλοφορίας ενώ διατηρούσαν τους στόχους απόδοσης και μειώνανε το σπατάλη σε cluster.

Επέκταση Πέρα από την Βελτιστοποίηση Κόστους

Τα πρώιμα εργαλεία βελτιστοποίησης του cloud επικεντρώθηκαν κυρίως στη μείωση του δαπάνης. Η ScaleOps εξακολουθεί να τονίζει την αποδοτικότητα κόστους, με αξίωση σημαντικών οικονομικών που οφείλονται στην εξάλειψη της υπερ-παρέχουσας και των ανενεργών πόρων.

Αλλά η ευρύτερη κατεύθυνση μετατοπίζεται προς την αξιοπιστία απόδοσης και την ανθεκτικότητα του συστήματος.

Όσο τα συστήματα AI ενσωματώνονται πιο στενά σε περιβάλλοντα παραγωγής, οι αποφάσεις υποδομής επηρεάζουν άμεσα την απόδοση του μοντέλου, την καθυστέρηση και τη διαθεσιμότητα. Η λανθασμένη κατανομή δεν είναι πλέον μόνο ένα ζήτημα κόστους, γίνεται μια λειτουργική περιοριστική.

Αυτό είναι ιδιαίτερα σχετικό για φορτία εργασίας που βασίζονται σε GPU, όπου η ζήτηση συχνά υπερβαίνει την προσφορά. Η αποτελεσματική κατανομή στην υποδομή μπορεί να καθορίσει εάν τα μοντέλα εκτελούνται αποτελεσματικά ή περιμένουν ανενεργά για πόρους.

Ένας Νέος Έλεγχος για την Υποδομή του AI

Η μακροπρόθεσμη επιπτώσεις είναι η εμφάνιση ενός νέου στρώματος ελέγχου για τους υπολογιστικούς πόρους.

Αντί οι μηχανικοί να ρυθμίζουν χειροκίνητα την υποδομή ή να βασίζονται σε θραυσματικά εργαλεία, πλατφόρμες όπως η ScaleOps λειτουργούν ως αυτόνομο στρώμα ελέγχου που συνεχώς ευθυγραμμίζει την προσφορά με την ζήτηση.

Αυτό γίνεται ολοένα και πιο σημαντικό καθώς οι οργανισμοί αναπτύσσουν πολλαπλά συστήματα AI ταυτόχρονα, κάθε ένα με διαφορετικές απαιτήσεις απόδοσης και μοτίβα χρήσης.

Σε αυτό το контέκστ, η διαχείριση υποδομής αρχίζει να μοιάζει περισσότερο με έλεγχο κυκλοφορίας παρά με στατική προμήθεια. Οι πόροι κατευθύνονται, επανα-ισορροπούνται και βελτιστοποιούνται συνεχώς αντί να ανατεθούν μία φορά και να μείνουν αμετάβλητοι.

Με αυτή τη τελευταία χρηματοδότηση, η ScaleOps αναμένεται να επεκτείνει την πλατφόρμα της πέρα από τους υπολογιστικούς πόρους και τα GPU σε ευρύτερες περιοχές διαχείρισης υποδομής, συμπεριλαμβανομένων επιπλέον στρωμάτων cloud και ορχήστρα του AI.

Η τροχιά δείχνει μια κίνηση προς περιβάλλοντα όπου οι αποφάσεις υποδομής δεν χειρίζονται πλέον απευθείας από τους μηχανικούς. Αντίθετα, διέπονται από συστήματα που ερμηνεύουν την πρόθεση του φορτίου εργασίας και điềuγει τους πόρους αυτόματα.

Όσο τα φορτία εργασίας του AI συνεχίζουν να αυξάνονται, αυτή η μετατόπιση μπορεί να γίνει λιγότερο μια βελτιστοποίηση και περισσότερο μια απαιτούμενη.