Κορί Σάντερς, Αντιπρόεδρος Προϊόντων στην CoreWeave – Σειρά Συνεντεύξεων

Κορί Σάντερς, Αντιπρόεδρος Προϊόντων στην CoreWeave (CRWV ), ηγείται της στρατηγικής και της εκτέλεσης προϊόντων για μια από τις ταχύτερα αναπτυσσόμενες πλατφόρμες cloud που επικεντρώνονται στο AI. Είναι υπεύθυνος για την κλιμάκωση της καινοτομίας, τη διαμόρφωση λύσεων που έχουν σχεδιαστεί ειδικά για τους πελάτες και την ενίσχυση της θέσης της CoreWeave στην αγορά υποδομής AI. Πριν από την CoreWeave, ο Σάντερς πέρασε δύο δεκαετίες στη Microsoft (MSFT ) σε υψηλές ηγετικές θέσεις που περιελάμβαναν μηχανική cloud, πλατφόρμες που έχουν σχεδιαστεί για συγκεκριμένα είδη βιομηχανίας, στρατηγική εμπορικών λύσεων και μεγάλης κλίμακας εταιρικές συνεργασίες, με βαθιά εμπειρία στη γέφυρα μεταξύ τεχνικής εκτέλεσης και στρατηγικής πώλησης.

CoreWeave είναι ένας παρόχης cloud που βασίζεται στο AI και έχει σχεδιαστεί ειδικά για υψηλής απόδοσης υπολογιστικές και μεγάλης κλίμακας εργασίες AI. Η εταιρεία λειτουργεί ένα γρήγορα επεκτεινόμενο δίκτυο κέντρων δεδομένων στις Ηνωμένες Πολιτείες και την Ευρώπη, παρέχοντας υποδομή και λογισμικό που έχει σχεδιαστεί για εκπαίδευση AI, inference και προηγμένες υπολογιστικές εργασίες. Εστιάζοντας σε αρχιτεκτονική που έχει σχεδιαστεί ειδικά για τον σκοπό της, αντί για γενικής χρήσης cloud, η CoreWeave έχει γίνει κρίσιμος εταίρος υποδομής για εργαστήρια AI και επιχειρήσεις που αναζητούν απόδοση, κλιμάκωση και αποτελεσματικότητα σε μεγάλη κλίμακα.

Πέρασα περισσότερα από 20 χρόνια στη Microsoft, εργαζόμενος σε ρόλους που αφορούσαν μηχανική Windows, στρατηγική πώλησης cloud και Microsoft Cloud για Βιομηχανία. Τι σας δίδαξε αυτή η εξέλιξη σχετικά με το τι οδηγεί πραγματικά την υιοθέτηση από τις επιχειρήσεις, και πώς εφαρμόζετε αυτά τα μαθήματα σήμερα στην CoreWeave;

Η υιοθέτηση από τις επιχειρήσεις ξεκινά με την επίλυση ενός συγκεκριμένου προβλήματος του πελάτη. Η καινοτομία για χάρη της καινοτομίας δεν είναι πραγματικά τόσο κρίσιμη για τις επιχειρήσεις. Είναι για να βάζουμε τους εαυτούς μας στα παπούτσια τους για να κατανοήσουμε τι τους πλήττει πραγματικά—είτε είναι το κόστος υποστήριξης, είτε οι επιχειρησιακές сложκότητες, είτε η σύνδεση με τους πελάτες, είτε η διαχείριση των παγκόσμιων ομάδων και των νέων γραμμών προϊόντων—και στη συνέχεια να παρέχουμε υπηρεσίες που βοηθούν. Οι πελάτες συχνά είναι πρόθυμοι να είναι καινοτόμοι στη προσέγγισή τους, αλλά η πιο κρίσιμη σκέψη είναι να τους βοηθήσουμε να λύσουν το πρόβλημά τους. Το πιο συχνό λάθος που έχω δει στη σχεδίαση προϊόντων είναι να ασχολούμαστε πολύ με το πόσο cool είναι ένα προϊόν. Ενώ αυτό έχει βάρος στο χώρο των καταναλωτών, οι πελάτες επιχειρήσεων, στο τέλος, νοιάζονται πολύ περισσότερο για τη χρησιμότητα παρά για το πόσο cool είναι.

Η CoreWeave περιγράφεται συχνά ως μια εταιρεία που προσφέρει υποδομή AI που έχει σχεδιαστεί ειδικά για τον σκοπό της. Σε πρακτικούς όρους, τι σημαίνει αυτό από την πλευρά του προϊόντος, και πού οι γενικής χρήσης πλατφόρμες cloud δυσκολεύονται με τις εργασίες AI;

Το μεγαλύτερο πλεονέκτημα του να είναι σχεδιασμένη ειδικά για τον σκοπό της είναι η ικανότητα να επικεντρωθούμε και να παρέχουμε υπηρεσίες χωρίς να χρειαζόμαστε να λύσουμε κάθε γενικό περίπτωση. Θα δώσω δύο παραδείγματα: ένα στο λογισμικό και ένα στο υλικό.

Στην πλευρά του λογισμικού, η προσφορά μας για Αποθήκευση Αντικειμένων με LOTA cache επικεντρώνεται ειδικά στην προσωρινή αποθήκευση για εργασίες AI. Εγκαθιστάται απευθείας στα κόμβους GPU, παρέχει ένα τελικό σημείο S3 για την εφαρμογή και απαντά σε αιτήσεις GPU διασχίζοντας την προσωρινή αποθήκευση σε多πλούς κόμβους. Αυξάνει την απόδοση προς τον GPU έως και 7 GB/s, υπερβαίνοντας αυτό που προσφέρουν οι γενικής χρήσης cloud. Μπορούμε να το επιτύχουμε αυτό γιατί κάνουμε υποθέσεις σχεδιασμού γύρω από εργασίες AI, διαίρεση ανάγνωσης/εγγραφής και διάταξη cluster. Αν ένας πελάτης χρησιμοποιούσε αυτό για φιλοξενία μιας βάσης δεδομένων ή eines e-commerce ιστοτόπου, δεν θα είχε την ίδια επίδραση. Αυτό είναι η定义 της σχεδίασης που έχει γίνει ειδικά για τον σκοπό της.

Το παράδειγμα του υλικού είναι παρόμοιο. Με την εκτεταμένη ανάπτυξη των τελευταίων γενεών NVIDIA (NVDA ) SKUs—πολλά από τα οποία απαιτούν ψυκτική με υγρό—η CoreWeave έχει χτίσει ειδική εμπειρία και σχέδια κέντρων δεδομένων για να υποστηρίξει αυτές τις ανάγκες. Αντίθετα με μεγαλύτερες cloud που χτίζουν για ανταλλαξιμότητα και στη συνέχεια πρέπει να προσθέσουν ψυκτική με υγρό εκ των υστέρων, η CoreWeave χτίζει κέντρα δεδομένων που επικεντρώνονται στο AI από την αρχή. Αυτό οδηγεί σε χαμηλότερα κόστη και υψηλότερη διαθεσιμότητα για τα τελευταία SKU τύπους.

Παρακάτω είναι μια εικόνα της LOTA cache που αναφέρθηκε.

Όταν οι πελάτες σκέφτονται πρώτα για την κλιμάκωση του AI, πολλοί πιστεύουν ότι χρειάζονται μόνο πρόσβαση σε GPU. Τι συνειδητοποιούν συνήθως ότι τους λείπει μια φορά που αρχίζουν να εκπαιδεύουν ή να εξυπηρετούν μοντέλα σε κλίμακα;

Λόγω της πολυπλοκότητας της εκτέλεσης εργασιών σε μεγάλους GPU cluster, οι περιβάλλουσες υπηρεσίες γίνονται οι πραγματικοί οδηγοί της επιτυχίας. Αυτό περιλαμβάνει τις προφανείς, όπως η αποθήκευση και η δικτύωση, αλλά και κρίσιμες επιχειρησιακές υπηρεσίες όπως η παρακολούθηση, η ορχήστρα και η ασφάλεια. Εδώ είναι που η CoreWeave πραγματικά ξεχωρίζει με την προσφορά μας Mission Control. Παρέχει στους πελάτες μια βαθιά κατανόηση της υγείας των κόμβων και του χρόνου εκτέλεσης σε όλο το στόλο, ενσωματώνοντας αυτή τη γνώση απευθείας στο μηχανισμό ορχήστρας. Αυτό επιτρέπει στον πελάτη να αντιμετωπίζει την υποδομή του όχι ως 1.000 개별 GPU, αλλά ως ένα ενιαίο, συνολικό οντότητα εργασίας.

Τι είναι τα κορυφαία προτεραιότητες προϊόντων στις οποίες εστιάζετε αυτή τη στιγμή για τη βελτίωση των αποτελεσμάτων των πελάτων, είτε αυτό είναι απόδοση, αξιοπιστία, προβλέψιμη κόστος, ή εμπειρία προγραμματιστή;

Στην πυρήνα πλατφόρμα, εστιάζουμε συνεχώς στην απόδοση, την αξιοπιστία και την παρακολούθηση. Πρέπει να διασφαλίσουμε ότι οι πελάτες μπορούν να εκτελέσουν εργασίες με έναν επαναλαμβανόμενο, προβλέψιμο τρόπο ενώ λαμβάνουν πλήρη χρήση κάθε TFLOP σε κάθε GPU. Πέρα από αυτό, εργαζόμαστε για την απλοποίηση της ενσωμάτωσης για τους πελάτες που μπορεί να μην είναι εξοικειωμένοι με κάθε κουδούνι και σφυρί σε ένα εργαλείο όπως το SLURM (το οποίο όλοι χρησιμοποιούν, αλλά σχεδόν όλοι detest). Τέλος, αναπτύσσουμε дополнительικές υπηρεσίες και μοντέλα χρέωσης για να κάνουμε πιο εύκολη την καινοτομία και την έναρξη με μικρό τρόπο. Αυτή τη στιγμή, η πειραματική διερεύνηση είναι आश्चημάστως δύσκολη λόγω υψηλών εμποδίων εισόδου, όπως περιορισμοί ικανότητας, δεσμεύσεις τριών ετών και η ανάγκη για εξειδικευμένους εμπειρογνώμονες μόνο για να ξεκινήσετε. Θέλουμε να φέρουμε πίσω την ευκολία της καινοτομίας στην πλατφόρμα AI.

Όσο περισσότερες εργασίες AI μετατοπίζονται από την εκπαίδευση σε inference, πώς επηρεάζει αυτή η μετάβαση τον σχεδιασμό της υποδομής και τις αποφάσεις του οδικού χάρτη προϊόντων;

Δημιουργεί σημαντικές ευκαιρίες να εφαρμόσουμε την υφιστάμενη διαφοροποίηση της CoreWeave στις απαιτήσεις inference. Για παράδειγμα, η LOTA cache που ανέφερα επικεντρώνεται στην τροφοδοσία των GPU κατά την εκπαίδευση. Ωστόσο, μπορούμε να πάρουμε αυτή τη τεχνολογία, να την ενσωματώσουμε σε πράγματα όπως το KVCache και να τη μετατρέψουμε σε einen ισχυρό διαφοροποιητή inference. Παρόμοια, εργαλεία όπως το Mission Control γίνονται ακόμη πιο κρίσιμα για inference, καθώς η παρακολούθηση της υγείας του GPU είναι κρίσιμη για την εκτέλεση υψηλά διαθέσιμων εφαρμογών.

Τι θα ορίσει την ηγεσία στην αγορά cloud AI τα επόμενα ένα έως δύο χρόνια, και ποιες ικανότητες θα έχουν τη μεγαλύτερη σημασία για τους πελάτες;

Πιστεύω ότι η ηγεσία θα οριστεί από δύο πράγματα. Το πρώτο είναι η παράδοση της αύξησης της κλίμακας για την εκπαίδευση. Αυτό θα απαιτήσει προόδους στην παρακολούθηση, την υγεία και την αυτόματη ανάκτηση. Όταν μετατοπίζεστε από εκατοντάδες σε δεκάδες χιλιάδες GPU που διανέμονται παγκοσμίως, η χειροκίνητη απόκριση σε αποτυχίες είναι ένα non-starter.

Το δεύτερο είναι η παράδοση των σωστών υπηρεσιών για inference και εργασίες agentic. Αυτό απαιτεί khảότητες ανάπτυξης σε παγκόσμιο επίπεδο και μοντέλα επιχειρήσεων που ενθαρρύνουν την πειραματική διερεύνηση. Αυτό το μοτίβο χρήσης ήταν αυτό που βοήθησε την cloud να μεγαλώσει αρχικά, και έχει χαθεί κάπως στην εποχή του AI. Θέλουμε να το φέρουμε πίσω μέσω καλύτερης υποστήριξης πλατφόρμας, khảότητας multi-cloud και ευκολίας χρήσης σε πολλαπλά είδη.

Προηγουμένως ηγήθηκα πρωτοβουλιών cloud που έχουν σχεδιαστεί για συγκεκριμένες βιομηχανίες, όπως υγεία, λιανική, χρηματοοικονομικές υπηρεσίες, κατασκευή και κυρίαρχο cloud. Ποια μαθήματα από αυτές τις βιομηχανίες μεταφράζονται trực tiếp στην υποδομή AI, και ποια όχι;

Οι γενεαλογικές μετατοπίσεις των GPU συνεχίζουν να εισάγουν νέες πολυπλοκότητες. Κάθε νέα κυκλοφορία φέρνει αυξημένη διασύνδεση, υψηλότερη μνήμη και μεγαλύτερες ανάγκες ισχύος, όλες οι οποίες απαιτούν από εμάς να επανεξετάσουμε τις υποθέσεις μας σχετικά με τον τρόπο που οι κόμβοι συνδέονται και το λογισμικό παραδίδεται. Πρέπει να παραμείνουμε αμείλικτοι εδώ για να διατηρήσουμε την ηγεσία μας. Από την άλλη πλευρά, ο τομέας που βελτιώνεται πιο γρήγορα είναι η καθαρή κλίμακα του τι μπορούν να επιτύχουν οι πελάτες. Η ταχύτητα με την οποία προσαρμόζονται σε μεγαλύτερα υπολογιστικά footprints είναι εντυπωσιακή.

Όσο τα κέντρα δεδομένων και τα cluster AI συνεχίζουν να μεγαλώνουν, ποιες επιχειρησιακές προκλήσεις αποδεικνύονται πιο δύσκολο να λυθούν σήμερα, και ποιες βελτιώνονται πιο γρήγορα;

Οι γενεαλογικές μετατοπίσεις των GPU συνεχίζουν να δημιουργούν νέες πολυπλοκότητες στο σχεδιασμό και το λογισμικό. Κάθε νέα κυκλοφορία GPU έρχεται με αυξημένες ικανότητες διασύνδεσης, υψηλότερη μνήμη, μεγαλύτερες ανάγκες ισχύος, κ.λπ. που απαιτούν από εμάς να επανεξετάσουμε τις υποθέσεις μας σχετικά με τον τρόπο που οι κόμβοι συνδέονται, τον τρόπο που οι ράφτες διαχειρίζονται και τον τρόπο που το λογισμικό παραδίδεται. Θα πρέπει να συνεχίσουμε να επικεντρωθούμε σε αυτό το έργο για να διατηρήσουμε την ηγετική μας θέση. Αυτές που βελτιώνονται πιο γρήγορα είναι αυτά που οι πελάτες μπορούν να επιτύχουν με την αυξανόμενη κλίμακα του υπολογισμού.

Στην υποδομή AI, η αξιοπιστία υπερβαίνει την uptime. Πώς ορίζει η CoreWeave την αξιοπιστία, και ποιες ενδείξεις αντανακλούν καλύτερα την επιτυχία από την πλευρά του πελάτη;

Σε μεγάλη κλίμακα, η μεγαλύτερη σκέψη για τον πελάτη είναι απλά να ολοκληρώσει την εργασία. Σε μεγάλες επιχειρήσεις, οι ατομικές αποτυχίες ή οι επιβραδύνσεις είναι αναμενόμενες. Το κλειδί είναι πώς ανιχνεύουμε και απαντούμε αυτόματα σε αυτά τα ζητήματα για να διασφαλίσουμε ότι η εργασία ολοκληρώνεται παρά τις προκλήσεις. Αυτός είναι ο λόγος για τον οποίο ενσωματώνουμε το Mission Control σε υψηλότερες υπηρεσίες όπως το SUNK (Slurm on Kubernetes). Επιτρέπει στους πελάτες να απαντούν σε αποτυχίες αυτόματα χωρίς να χάνουν ώρες ή εβδομάδες εργασίας. Για εμάς, η επιτυχία δεν είναι μόνο για την uptime του κόμβου, αλλά για την επιτυχία της εργασίας.

Προβλέποντας, ποια μεγάλη μετατόπιση στην υποδομή AI πιστεύετε ότι είναι ακόμη υποτιμημένη, είτε σχετίζεται με την εξέλιξη του υλικού, την εξειδίκευση των στοίβων, τις απαιτήσεις κυριαρχίας ή νέους μοντέλους ανάπτυξης;

Πιστεύω ότι η έλευση της Ενίσχυσης Μάθησης (RL) ως ανανεωμένο μέρος του στοίβα AI είναι ακόμη υποτιμημένη. Ενώ δεν είναι ένα νέο πεδίο μελέτης, ήταν σε μεγάλο βαθμό επισκιασμένο κατά τη διάρκεια της αρχικής κυκλοφορίας της LLM. Η RL επιστρέφει και θα играσει κρίσιμο ρόλο στη δημιουργία υπηρεσιών AI που ανταποκρίνονται στις μεταβαλλόμενες τοπографίες των χρηστών τους. Λόγω αυτού, είμαστε πολύ ενθουσιασμένοι για την προσφορά μας serverless RL σήμερα.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν CoreWeave.