Ρομπ Μέι, Διευθύνων Σύμβουλος και Συνιδρυτής της NeuroMetric – Σειρά Συνεντεύξεων

Ρομπ Μέι, Διευθύνων Σύμβουλος και Συνιδρυτής της NeuroMetric, είναι ένας έμπειρος επιχειρηματίας και επενδυτής με μακρά πορεία που εκτείνεται σε cloud computing, startups AI και κεφάλαια επιχειρηματικότητας, ενώ ηγείται της Neurometric AI και υπηρετεί ως Διευθύνων Σύμβουλος στο HalfCourt Ventures, όπου έχει υποστηρίξει πάνω από 100 εταιρείες τεχνολογίας. Παράλληλα με τους ρόλους του στην эксплуата και επένδυση, συνίδρυσε την κοινότητα AI Innovators και προηγουμένως έχτισε και εξέλιξε εταιρείες όπως η Backupify, αντανακλώντας βαθιά εμπειρία σε πολλαπλούς τεχνολογικούς κύκλους. Είναι επίσης ευρέως γνωστός για το μακροχρόνιο Δελτίο Επενδύσεων σε AI, το οποίο ξεκίνησε να γράφει πριν από πάνω από μια δεκαετία για να αναλύσει τις αναδυόμενες τάσεις AI, τις στρατηγικές επένδυσης και τις μετατοπίσεις της αγοράς, και το οποίο έχει εξελιχθεί σε μια πλατφόρμα για βαθύτερες εντυπώσεις για το γρήγορα εξελισσόμενο τοπίο AI.

NeuroMetric AI επικεντρώνεται στην επίλυση ενός από τα πιο κρίσιμα προβλήματα στην τεχνητή νοημοσύνη σήμερα: το κόστος και η αποδοτικότητα της εύρεσης σε κλίμακα. Η πλατφόρμα αξιολογεί δυναμικά τα φορτία εργασίας AI και εφαρμόζει στρατηγικές βελτίωσης – όπως η συνδυασμένη χρήση μικρότερων, εξειδικευμένων μοντέλων με προηγμένες τεχνικές υπολογισμού σε χρόνο δοκιμής – για να βελτιώσει την απόδοση ενώ μειώνει δραματικά τα κόστη, επιτρέποντας στις εταιρείες να επιτύχουν καλύτερη απόδοση από τις αναπτύξεις AI. Διοργανώνοντας φορτία εργασίας και προσαρμόζοντας τη χρήση μοντέλων σε συγκεκριμένες εργασίες, η Neurometric στοχεύει να κάνει τα συστήματα AI σημαντικά ταχύτερα και πιο προσιτά, τοποθετώντας τον εαυτό της στο σημείο τομής της υποδομής AI, της αποδοτικότητας και της πραγματικής κλιμάκωσης καθώς οι οργανισμοί μετακινούνται από πειράματα σε παραγωγή.

Έχετε ιδρύσει και ηγηθεί πολλών εταιρειών AI, επενδύσει σε πάνω από 100 startups μέσω του HalfCourt Ventures και προηγουμένως έχτισε και εξέλιξε την Backupify. Πώς έχουν οι εμπειρίες αυτές διαμορφώσει την προοπτική σας για το πού δημιουργείται η ανθεκτική αξία στο AI σήμερα;

Νομίζω ότι οι περισσότεροι επενδυτές και επιχειρηματίες κυνηγούν βραχυπρόθεσμους φραγμούς – πράγματα που φαίνονται σαν προφανείς κενές στην αγορά σήμερα αλλά κενές που θα κλείσουν γρήγορα από τις υφιστάμενες εταιρείες. Το AI θα κάνει την εκτέλεση μιας επιχείρησης να συρρικνωθεί σε μια σειρά πιθανοτικών αποφάσεων. Οι εταιρείες στις οποίες πρέπει να επενδύσετε ή να χτίσετε είναι αυτές που έχουν τις καλύτερες συνολικές εκτιμήσεις αυτών των πιθανοτήτων. Μερικές φορές αυτό θα προέρθει από κατακόρυφη ενοποίηση και μερικές φορές από οριζόντια κλίμακα – εξαρτάται από την αγορά.

Στο δελτίο Επενδύσεων σε AI, έχετε υποστηρίξει ότι τα μοντέλα γίνονται ολοένα και περισσότερο ανταλλάξιμα και ότι η πραγματική αμυντική μετατοπίζεται στο επίπεδο του συστήματος. Τι μοιάζει ένα αληθινό «αμυντικό σύστημα» στην πράξη;

Ένα αληθινό αμυντικό σύστημα έχει τρεις ιδιότητες: συσσωρεύεται με τη χρήση, είναι συγκεκριμένο για τον πελάτη και δεν μπορεί να αναπαραχθεί με την αντικατάσταση ενός καλύτερου μοντέλου.

Η αμυντική ζώνη ζει σε αυτό που ονομάζω «Σύστημα Πλαισίου» — μια ολοκληρωμένη αρχιτεκτονική που συνδέει τα θεμελιώδη μοντέλα με όλα όσα κάνουν μια εταιρεία μοναδική: τα δεδομένα της, τις ροές εργασίας της, τη γνώση του τομέα της, την ιστορία αποφάσεων της. Το σύστημα συλλαμβάνει σήμα από κάθε αλληλεπίδραση — ποια μοντέλα επιτυγχάνουν σε ποια εργασίες, όπου η καθυστέρηση έχει σημασία, ποια μοναδικά πρότυπα εταιρειών εμφανίζονται — και τα ταΐζει πίσω στην βελτίωση του εαυτού του.

Το κλειδί είναι ότι αυτό δημιουργεί ένα πολλαπλασιαστικό φτερό, όχι ένα αθροιστικό. Δεν συσσωρεύετε μόνο ένα αναζητήσιμο αρχείο προηγούμενων αποφάσεων. Παραγωγήτε σήμα εκπαίδευσης που παράγει εξειδικευμένα μοντέλα που βελτιώνουν τη διαδρομή, τα οποία συλλαμβάνουν πιο πολύτιμα δεδομένα. Ο φραγμός διευρύνεται με κάθε εύρεση.

Στην πράξη, ένα αμυντικό σύστημα μοιάζει με βαθιά ολοκλήρωση της ροής εργασίας όπου τα κόστη ανακατανομής δεν αφορούν APIs — αφορούν την αναγραφή λογικής επιχειρήσεων. Μοιάζει με ιδιωτικό πλαίσιο που κανένας ανταγωνιστής δεν μπορεί να αναπαραγάγει επειδή παράχθηκε μέσω μηνών παραγωγικής χρήσης μέσα σε μια συγκεκριμένη εταιρεία. Και μοιάζει με τη συνεχή ειδίκευση του βρόχου όπου το σύστημα γίνεται σημαντικά καλύτερο για αυτόν τον πελάτη με τρόπους που ένας γενικός πάροχος μοντέλων δεν θα κάνει ποτέ.

Η εποχή του μοντέλου μας έδωσε την πρωταρχική ικανότητα. Η εποχή του συστήματος είναι όπου αυτή η ικανότητα γίνεται πραγματική αξία.

Πώς πρέπει οι εταιρείες να σκέφτονται για την κατασκευή μιας στρατηγικής πολλαπλών μοντέλων, συμπεριλαμβανομένης της λογικής διαδρομής, των μονοπατιών ανόδου και της συνεχούς αξιολόγησης, αντί να βασίζονται σε ένα μόνο μοντέλο;

Το πρώτο που πρέπει οι εταιρείες να εσωτερικεύσουν είναι ότι «χρήση του καλύτερου μοντέλου» είναι μια χάνοντας στρατηγική σε κλίμακα. Είναι το ισοδύναμο του να τρέχετε κάθε ερώτημα μέσω του πιο ανώτερου μηχανικού σας. Είναι ακριβό, είναι αργό και — αντίθετα — συχνά δεν παράγει τα καλύτερα αποτελέσματα.

Αυτό οδηγεί σε αυτό που ονομάζω το Jagged Frontier της Εύρεσης: η απόδοση του μοντέλου είναι εργασία-συγκεκριμένη και απρόβλεπτη. Τα μοντέλα του μετώπου χάνουν σε μικρότερα, εξειδικευμένα μοντέλα σε συγκεκριμένες εργασίες όλη την ώρα. Έχουμε δει σύνθετα συστήματα πολλαπλών μοντέλων να φτάνουν στο 72,7% ακρίβειας σε εργασίες CRM όπου τα μοντέλα του μετώπου σκοράρουν 58%. Η επιφάνεια απόδοσης δεν συσχετίζεται καλά με τον αριθμό παραμέτρων. Έτσι, το πραγματικό ερώτημα δεν είναι «ποιο μοντέλο είναι το καλύτερο;» — είναι «ποιο μοντέλο είναι το καλύτερο για αυτή τη συγκεκριμένη υποεργασία;

Αυτή η ανακατασκευή είναι η βάση μιας πραγματικής στρατηγικής πολλαπλών μοντέλων. Εδώ είναι πώς θα συμβουλεύα τις εταιρείες να το σκεφτούν σε τρία στρώματα.

Λογική διαδρομής αρχίζει με την χαρτογράφηση του τοπίου εύρεσης. Καταγράψτε κάθε σημείο στο σύστημα σας όπου γίνεται μια κλήση LLM και για κάθε一个, τεκμηριώστε τον τύπο εργασίας, τη σύνθετη εισόδου/εξόδου, τις απαιτήσεις καθυστέρησης, το όριο ακρίβειας και τον όγκο κλήσεων. Αυτό σας δίνει ένα χάρτη θερμότητας. Θα βρείτε γρήγορα ότι το μεγαλύτερο μέρος του όγκου σας είναι υψηλής συχνότητας, στενής εμβέλειας εργασίας — ταξινόμηση, εξαγωγή οντοτήτων, διαδρομή προθέματος, γενератор προτύπων — όπου ένα εξειδικευμένο μικρότερο μοντέλο ταιριάζει ή ξεπερνά το μοντέλο του μετώπου με μια κλάσμα του κόστους. Κρατήστε τις ακριβές κλήσεις του μετώπου για τις εργασίες που πραγματικά απαιτούν σύνθετη σκέψη. Ένας πράκτορας που κάνει 50 κλήσεις ανά εργασία δεν χρειάζεται GPT-4 για όλες τις 50.

Μονοπάτια ανόδου είναι για την κατασκευή έξυπνων πτώσεων, όχι μόνο ανακατανομής. Το σύστημα πρέπει να αναγνωρίσει όταν ένα μικρότερο μοντέλο επιστρέφει αποτελέσματα χαμηλής εμπιστοσύνης και να ανεβάσει σε ένα πιο ικανό μοντέλο — ή σε μια διαφορετική συνδυασμένη στρατηγική μοντέλου. Αυτό είναι όπου οι στρατηγικές υπολογισμού σε χρόνο δοκιμής έρχονται. Μερικές φορές η σωστή απάντηση δεν είναι ένα μεγαλύτερο μοντέλο — είναι το ίδιο μοντέλο με αλυσίδα σκέψης, αναζήτηση δέσμης ή δειγματοληψία besten-N. Η βέλτιστη διαμόρφωση αλλάζει όχι μόνο με το μοντέλο, αλλά και με την στρατηγική σκέψης που την ζευγαρώνετε μαζί του.

Συνεχής αξιολόγηση είναι το κομμάτι που οι περισσότερες εταιρείες λείπουν εντελώς, και είναι όπου η πραγματική αμυντική ζώνη εμφανίζεται. Η επιλογή μοντέλου δεν είναι μια μια φορά απόφαση — είναι ένα συνεχές πρόβλημα βελτίωσης. Νέα μοντέλα κυκλοφορούν συνεχώς, οι περιπτώσεις χρήσης σας εξελίσσονται και η απόδοση χειροτερεύει με τρόπους που αποτυγχάνουν σιωπηλά. Δεν θα γνωρίζετε ότι ο bot εξυπηρέτησης πελατών σας έδωσε μια 40% χειρότερη απάντηση επειδή χρησιμοποιήσατε το λάθος μοντέλο για αυτό το είδος ερωτήματος — θα δείτε μόνο την απορρόφηση τρεις μήνες αργότερα. Χρειάζεστε υποδομή που μετρά συνεχώς τι λειτουργεί στην πραγματικότητα σε συνδυασμούς μοντέλου-εργασίας και điều chỉnhει τη διαδρομή με βάση πραγματικά δεδομένα απόδοσης, όχι βεντούρες.

Ο λόγος που οι περισσότερες εταιρείες δεν έχουν κάνει αυτή τη μετατόπιση είναι ότι κανείς δεν απολύεται για την επιλογή του μοντέλου του μετώπου — είναι το «κανείς δεν απολύεται για αγορά IBM» του AI. Το οικοσύστημα προμηθευτών ωθεί το μέτωπο επειδή εκεί είναι τα περιθώρια. Και η υποδομή ορχήστρας που απαιτείται για να τρέξει πραγματικά μια αρχιτεκτονική πολλαπλών μοντέλων — λογική διαδρομής, μηχανισμούς πτώσης, διαχείριση μοντέλων, παρατηρησιμότητα — απλά δεν υπάρχει σε meisten εταιρείες. Είναι κολλήματα σε ένα τοπικό οπTIMUM όπου τα κόστη ανακατανομής και η αβεβαιότητα της πολλαπλής μοντέλου φαίνονται υψηλότερα από την συνεχιζόμενη υπερχρέωση του μετώπου.

Τι είναι τα μεγαλύτερα λάθη που βλέπετε τις εταιρείες να κάνουν όταν μετακινούνται από πειράματα AI σε συστήματα παραγωγής;

Υποθέτουν ότι οι επιλογές τους μπορούν να είναι στατικές και μακροχρόνιες. Στην πραγματικότητα, κάθε στρώμα του τεχνολογικού στρώματος για το AI αλλάζει γρήγορα. Οι εταιρείες πρέπει να λάβουν αποφάσεις που παρέχουν ευελιξία και ευελιξία.

Σε ποια είδη ροών εργασίας έχετε δει μικρότερα, εργασία-συγκεκριμένα μοντέλα να ξεπερνούν μεγάλα μοντέλα του μετώπου, και γιατί έχει σημασία στρατηγικά;

Τα abbiamo δει σχεδόν σε κάθε κοινή καθημερινή εργασία – πράγματα όπως βασικός λογαριασμός, περίληψη κειμένου, εξαγωγή οντοτήτων από διάφορα έγγραφα. Έχουμε εξερευνήσει SLMs για εκατοντάδες εργασίες και几乎 πάντα κερδίζουν αν το πρόβλημα είναι δομημένο σωστά.

Έχετε γράψει για τη μείωση του маржинаλικού κόστους της ανάπτυξης AI σε νέες περιπτώσεις χρήσης. Πώς αλλάζει η μακροχρόνια οικονομική της υιοθέτησης AI για τις εταιρείες;

Η αφήγηση της φούσκα υποθέτει ότι το έσοδο AI απαιτεί αναλογική επένδυση R&D σε νέα μοντέλα. Δεν το κάνει. Τα μοντέλα είναι χτισμένα. Η υποδομή υπάρχει. Κάθε πρόσθετη περίπτωση χρήσης είναι μια πρόκληση, μια σύνδεση δεδομένων, ίσως κάποια ελαφριά εξειδίκευση — όχι μια άλλη $100M εκπαίδευση. Η καμπύλη маржинаλικού κόστους γέρνει προς τα κάτω καθώς η πλατφόρμα ωριμάζει.

Αυτή είναι η αντίθετη των σιδηροδρόμων ή των τηλεπικοινωνιών, όπου κάθε नयος χιλιόμετρος γραμμής ήταν ακριβός. Στο AI, η κατασκευή του κινητήρα ήταν ακριβή. Η σύνδεση πραγμάτων στο κινητήρα είναι φθηνή και γίνεται φθηνότερη — τα κόστη εύρεσης έχουν πέσει περίπου 1.000x σε δύο χρόνια. Το ερώτημα για τις εταιρείες δεν είναι αν το AI αποδίδει. Είναι πόσες περιπτώσεις χρήσης μπορείτε να στοίβαξετε στην ίδια υποδομή πριν η καμπύλη εσόδων υπερβεί την καμπύλη κόστους.

Τι σήματα πρέπει να χρησιμοποιούν οι τεχνικές ομάδες για να καθορίσουν πότε να αλλάξουν μοντέλα, να εξειδικεύσουν ή να χτίσουν εξειδικευμένα μικρά μοντέλα εργασίας;

Τα σήματα δεν είναι απαραίτητα τεχνικά. Είναι περισσότερο απόδοση ή οικονομικά οδηγούμενα. Για παράδειγμα, η αλλαγή μοντέλου ή η εξειδίκευση μοντέλου ή η κατασκευή εξειδικευμένου SLM μπορεί να λειτουργήσει. Η απόφαση εξαρτάται από το αν εστιάζετε στην καθυστέρηση ή το κόστος, πόσο συχνά εκτελείται η εργασία και πόσο καιρό διαρκεί να χτίσετε και να αναπτύξετε κάθε λύση.

Πώς σχεδιάζετε φραγμούς, παρακολούθηση και διακυβέρνηση με τρόπο που να κλιμακώνεται με τη χρήση αντί να γίνεται εμπόδιο;

Το λάθος που κάνουν οι περισσότερες εταιρείες είναι να αντιμετωπίζουν τη διακυβέρνηση ως ελέγχου — ένα χειροκίνητο στρώμα αναθεώρησης που είναι συνδεδεμένο στην κορυφή των ροών εργασίας AI. Αυτό δεν κλιμακώνεται. Γίνεται το εμπόδιο τη στιγμή που η χρήση αυξάνεται.

Η διακυβέρνηση πρέπει να είναι ενσωματωμένη στο στρώμα ορχήστρας selbst. Όταν η υποδομή διαδρομής σας αξιολογεί κάθε κλήση εύρεσης — ποιο μοντέλο, ποια εργασία, ποιο επίπεδο εμπιστοσύνης — η προσθήκη φραγμών είναι ένα маржинаλικό κόστος, όχι ένα νέο σύστημα. Το ίδιο στρώμα που αποφασίζει ποιο μοντέλο χειρίζεται μια ερώτηση μπορεί να επιβάλει πολιτική: φιλτράρισμα PII πριν από την κλήση, έλεγχος εξόδου μετά, ιχνηλασία καταγραφής αυτοματοποιημένα, κατανομή κόστους ανά τμήμα.

Το κλειδί είναι ότι οι εταιρείες δεν αποτυγχάνουν μέσα στα συστήματα AI. Αποτυγχάνουν μεταξύ τους — στις ανακατανομές, στις ανόδους και στις εξαιρέσεις. Η διακυβέρνηση που κλιμακώνεται μοιάζει με ένα έλεγχο που κάνει κάθε δράση AI ασφαλή, ελέγξιμη και επαναλαμβανόμενη ως παραγωγή της εκτέλεσης, όχι ως εμπόδιο σε αυτή.

Έχετε συγκρίνει το σημερινό τοπίο AI με τη μετάβαση από τους κεντρικούς υπολογιστές στους προσωπικούς υπολογιστές. Τι σημαίνει αυτή η αποκεντρωποίηση για τις startups που χτίζουν στο επίπεδο του συστήματος;

Βρισκόμαστε στη φάση του κεντρικού υπολογιστή του AI τώρα. Οι μεγάλοι, κεντρικοί μετωπικοί πυρήνες από την OpenAI, Anthropic και Google (GOOGL ) ήταν απαραίτητοι για να εστιάσουν τις προσπάθειες και να δείξουν τι μπορούσε να κάνει το AI. Αυτή η φάση δούλεψε. Οι ικανότητες είναι καλά κατανοητές. Αλλά όπως η υπολογιστική δεν έμεινε κεντρική, το AI δεν θα μείνει. Εισερχόμαστε στην εποχή του PC — ένα αποκεντρωμένο οικοσύστημα όπου μικρότερα, εξειδικευμένα μοντέλα τρέχουν πιο κοντά στη δουλειά.

Τα δεδομένα δαπανών αντανακλούν ήδη αυτό. Η επένδυση AI της εταιρείας chiaζεται लगभग ισότιμα μεταξύ υποδομής και εφαρμογών, και το μερίδιο της εφαρμογής αυξάνεται γρηγορότερα. Η επέκταση είναι οριζόντια — σε ανθρώπινους πόρους, νομική, μάρκετινγκ, λειτουργίες, χρηματοοικονομικά — όχι κατακόρυφα σε μεγαλύτερα μοντέλα.

Για τις startups που χτίζουν στο επίπεδο του συστήματος, αυτή είναι η ευκαιρία μιας γενιάς. Σε ένα κεντρικό κόσμο, ο πάροχος μοντέλου συλλαμβάνει το μεγαλύτερο μέρος της αξίας. Σε ένα αποκεντρωμένο κόσμο, η αξία μεταφέρεται στις εταιρείες που λύνουν την ορχήστρα, τη διαδρομή, την αξιολόγηση και την εξειδίκευση — τις λειτουργικές προκλήσεις της ανάπτυξης ενός ετερογενούς οικοσυστήματος μοντέλων σε κλίμακα.

Η προβολή μου είναι ότι περίπου το 25% της εύρεσης AI θα απαιτήσει μοντέλα του μετώπου. Αυτές οι εταιρείες θα πάνε καλά — αυτό είναι ένα μερίδιο αγοράς couple trillion. Αλλά το 75% θα τρέξει σε ανοιχτό κώδικα και μικρά εξειδικευμένα μοντέλα εργασίας. Έχουμε εκπαιδεύσει ένα μοντέλο 4 δισεκατομμυρίων παραμέτρων που ξεπέρασε τα μοντέλα του μετώπου σε μια συγκεκριμένη εργασία CRM, και είναι τόσο φθηνό να τρέξει που είναι σχεδόν δωρεάν. Αυτό είναι το μέλλον — και χρειάζεται ένα εντελώς νέο επίπεδο συστήματος για να το διαχειριστεί.

Η αναλογία κρατάει σε όλη τη διάρκεια: οι προμηθευτές κεντρικών υπολογιστών πήγαν καλά, αλλά η πραγματική δημιουργία πλούτου συνέβη στο οικοσύστημα PC. Το ίδιο θα συμβεί στο AI.

Κοιτάζοντας πέντε χρόνια μπροστά, πιστεύετε ότι οι πάροχοι μοντέλων του μετώπου θα συλλαμβάνουν το μεγαλύτερο μέρος της αξίας, ή θα έρθει η większość της οικονομικής επίδρασης από την ορχήστρα, τη βελτίωση και τα εφαρμοσμένα συστήματα που χτίζονται γύρω από αυτά;

Νομίζω ότι η αγορά εύρεσης AI θα είναι μια από τις μεγαλύτερες αγορές στην ιστορία του κόσμου. Αυτό σημαίνει ότι τα εργαστήρια μοντέλων του μετώπου θα πάνε εξαιρετικά καλά και θα υπάρξουν ακόμη τεράστιες ευκαιρίες για τις εταιρείες που χτίζουν γύρω από αυτά. Όταν έχετε αγορές trillion δολαρίων, η επίλυση μικρών περιπτώσεων σε αυτές τις αγορές μπορεί να γίνει εταιρείες δισεκατομμυρίων δολαρίων.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα μπορούν να επισκεφθούν την NeuroMetric AI, ή να συνδρομήσουν στο Δελτίο Επενδύσεων σε AI.