Συνεντεύξεις

Rahul Nambiar, συνιδρυτής και διευθύνων σύμβουλος της Propensity Labs – Σειρά συνεντεύξεων

Antoine Tardif
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Βασικά σημείαΗ προσαρμογή των προτροπών σε ένα φθηνότερο μοντέλο το έκανε να ανταγωνίζεται ένα…
Δείτε περισσότερα
  • Η προσαρμογή των προτροπών σε ένα φθηνότερο μοντέλο το έκανε να ανταγωνίζεται ένα κορυφαίο μοντέλο με κόστος 7%.
  • Τα φθηνότερα μοντέλα συχνά αποτυγχάνουν λόγω διορθώσιμων συμπεριφορικών μοτίβων παρά λόγω ανεπαρκούς βασικής ικανότητας.
  • Οι ομάδες θα πρέπει να μετρούν το κόστος ανά επιτυχώς ολοκληρωμένη εργασία αντί για το κόστος ανά token μόνο.

Ο Rahul Nambiar είναι συνιδρυτής και διευθύνων σύμβουλος της Propensity Labs. Προηγουμένως, κατασκεύασε υποδομές μεγάλης κλίμακας στην AWS και στη συνέχεια μετακινήθηκε στη Meta, όπου ηγήθηκε ενός έργου απογραφής δεδομένων χρηστών κλίμακας exabyte, με χρήση ταξινόμησης μέσω μηχανικής μάθησης. Σήμερα, το έργο του επικεντρώνεται στην κατανόηση της συμπεριφοράς των μοντέλων τεχνητής νοημοσύνης και στον συνδυασμό της δρομολόγησης μοντέλων με την προσαρμογή οδηγιών, ώστε να βελτιωθούν το κόστος και η αξιοπιστία των ροών εργασίας με πράκτορες.

Η Propensity Labs αναπτύσσει συστήματα που βοηθούν τις ομάδες να επιλέγουν και να κατευθύνουν μοντέλα τεχνητής νοημοσύνης ανάλογα με τις συγκεκριμένες ανάγκες της εργασίας τους. Η προσέγγισή της συνδυάζει την αξιολόγηση της συμπεριφοράς των μοντέλων, την αυτοματοποιημένη προσαρμογή των προτροπών και τη δρομολόγηση μεταξύ μοντέλων, με στόχο να βοηθήσει τους χρήστες να αξιοποιούν καλύτερα τα διαθέσιμα μοντέλα, χωρίς να χρειάζεται να γίνουν ειδικοί σε καθένα από αυτά.

Η επαγγελματική σας πορεία σάς οδήγησε από τη Meta, όπου ηγηθήκατε της ανάπτυξης τεχνολογίας προστασίας της ιδιωτικότητας σε ένα έργο απογραφής δεδομένων κλίμακας exabyte, στην AWS και, τώρα, στη θέση του διευθύνοντος συμβούλου της Propensity Labs. Πώς έχει επηρεάσει αυτό το τεχνικό υπόβαθρο την άποψή σας για τους περιορισμούς των σημερινών μοντέλων τεχνητής νοημοσύνης και τις δυνατότητες της εξειδικευμένης δρομολόγησης οδηγιών;

Ξεκίνησα στην AWS και στη συνέχεια μετακινήθηκα στη Meta. Ένα από τα πράγματα που έμαθα κατασκευάζοντας συστήματα μεγάλης κλίμακας είναι ότι συχνά μπορείς να πετύχεις τεράστια οφέλη, αν κατανοήσεις και βελτιστοποιήσεις τη συμπεριφορά των επιμέρους στοιχείων, αντί να τα αντιμετωπίζεις ως εναλλάξιμα μαύρα κουτιά. Το ίδιο ισχύει και για τα μοντέλα τεχνητής νοημοσύνης. Διαπιστώσαμε ότι ακόμη και τα πολύ ικανά μοντέλα έχουν ιδιαιτερότητες στη συμπεριφορά τους, τις οποίες μπορούμε να κατανοήσουμε και να αντιμετωπίσουμε, επιτυγχάνοντας συχνά απροσδόκητα μεγάλες βελτιώσεις στην απόδοση και στο κόστος.

Στο πρόσφατο πείραμά σας δείξατε ότι μικρότερα μοντέλα, στα οποία γίνεται δρομολόγηση, ξεπέρασαν τα premium μοντέλα με κλάσμα του κόστους. Ποια είναι τα σημαντικότερα τεχνικά εμπόδια στην εφαρμογή αυτού του είδους δρομολόγησης μοντέλων σε περιβάλλοντα παραγωγής, σε σύγκριση με μια δοκιμή αναφοράς;

Προσαρμόζοντας τις προτροπές στις δυνατότητες και τις αδυναμίες του Luna, καταφέραμε να πετύχουμε από αυτό επίδοση αντίστοιχη με του Sol, με το 7% του κόστους, στο σύνθετο πρακτορικό τεστ αναφοράς Tau3 της Sierra. Η δρομολόγηση μεταξύ του Luna, με προσαρμογή, και του Sol μάς επέτρεψε να πετύχουμε επίδοση αντίστοιχη με της Astra, με το 16% του κόστους της.

Ένα σημαντικό συμπέρασμα για εμάς ήταν ότι τόσο η δρομολόγηση όσο και η προσαρμογή των προτροπών πρέπει να είναι ειδικά σχεδιασμένες για κάθε φόρτο εργασίας. Τα τεστ αναφοράς παρέχουν καλά οργανωμένα περιβάλλοντα και συστήματα αξιολόγησης, τα οποία μπορείς να χρησιμοποιήσεις για να μελετήσεις την απόδοση ενός μοντέλου σε κάθε συγκεκριμένη εργασία και να αξιολογήσεις πόσο καλά τα πήγε. Έτσι, μπορείς να καθορίσεις πώς πρέπει να προσαρμόσεις τις προτροπές στο μοντέλο και πότε να δρομολογήσεις την εργασία σε κάθε μοντέλο.

Οι ροές εργασίας σε περιβάλλοντα παραγωγής δεν είναι τόσο καλά οργανωμένες. Έχεις ίχνη εκτέλεσης μοντέλων που ολοκληρώνουν εργασίες, αλλά δεν υπάρχει αξιόπιστος τρόπος να διαπιστώσεις αν πράγματι πέτυχαν και τι θεωρείται καλό αποτέλεσμα. Αυτό που μάθαμε να κάνουμε είναι να αξιοποιούμε τα υπάρχοντα δεδομένα χρήσης, είτε πρόκειται για αξιολογήσεις είτε για ίχνη εκτέλεσης σε περιβάλλοντα παραγωγής, και να ανασυνθέτουμε ένα πλαίσιο αξιολόγησης που μας επιτρέπει να δοκιμάζουμε διαφορετικά μοντέλα και προσαρμογές στον ίδιο φόρτο εργασίας.

Το ενδιαφέρον είναι ότι η δρομολόγηση και η προσαρμογή πρέπει να εξετάζονται από κοινού. Ένα φθηνότερο μοντέλο μπορεί να αποτύχει σε μια εργασία με τις προτροπές που χρησιμοποιείς ήδη, αλλά να τα καταφέρει αν τις προσαρμόσεις στη συμπεριφορά του. Αυτό αλλάζει εξαρχής την επιλογή του μοντέλου στο οποίο θα δρομολογήσεις την εργασία.

Αναφέρεστε στην προσαρμογή των οδηγιών σε συγκεκριμένα μοντέλα. Πώς διακρίνετε ποιες οδηγίες ισχύουν καθολικά και ποιες πρέπει να προσαρμόζονται ειδικά στα δυνατά και αδύνατα σημεία της αρχιτεκτονικής ενός συγκεκριμένου μοντέλου;

Πολλές οδηγίες που φαίνονται καθολικές χρειάζεται να προσαρμοστούν στο εκάστοτε μοντέλο. Ας δούμε ένα απλό παράδειγμα: τις παραισθήσεις στις απαντήσεις ενός μόνο γύρου. Εξετάσαμε δύο διαφορετικά μοντέλα: το DeepSeek V4 Pro και το GPT-6 Luna. Και τα δύο έχουν έντονη τάση να επινοούν πράγματα όταν δεν γνωρίζουν μια απάντηση. Κάποιο στοιχείο της διαδικασίας εκπαίδευσής τους τα κάνει να διστάζουν πολύ να απόσχουν από την απάντηση και να πουν «Δεν ξέρω». Η συμπεριφορά τους είναι παρόμοια, αλλά ο τρόπος με τον οποίο την περιορίζουμε μέσω των προτροπών διαφέρει αρκετά.

Μπορείς να κάνεις το DeepSeek V4 Pro να απέχει από την απάντηση με συχνότητα αντίστοιχη των μοντέλων Claude, αν προσθέσεις πολλές παραλλαγές της φράσης «Δεν πειράζει να πεις “Δεν ξέρω”». Η ίδια τακτική έχει μικρή επίδραση στο Luna. Το Luna ανταποκρίνεται καλύτερα όταν του επιβάλλεται κόστος για τις λανθασμένες απαντήσεις. Μια οδηγία του τύπου «Μια λανθασμένη απάντηση μετράει ως -90 βαθμοί, ενώ μια σωστή δίνει μόνο +10» το κάνει να απέχει από την απάντηση στον ίδιο βαθμό με το μεγαλύτερο αδελφό του, το Sol. Η συμπεριφορά είναι ίδια, αλλά οι μοχλοί που πρέπει να ενεργοποιήσεις για να απομακρύνεις τα δύο μοντέλα από αυτήν είναι πολύ διαφορετικοί. Για να προσαρμόσεις τις οδηγίες σε ένα συγκεκριμένο μοντέλο, πρέπει να κατανοείς σε βάθος τόσο το ίδιο το μοντέλο όσο και τη ροή εργασίας στην οποία χρησιμοποιείται.

Καθώς οι εταιρείες στρέφονται στις ροές εργασίας με πράκτορες, ποια στοιχεία δείχνουν, κατά τη γνώμη σας, ότι η δρομολόγηση μεταξύ φθηνότερων, εξειδικευμένων μοντέλων αποτελεί πιο ανθεκτική στρατηγική από την αναμονή ενός ολοένα ικανότερου μοντέλου αιχμής που θα μπορεί να χειρίζεται τα πάντα;

Κάθε εβδομάδα περίπου εμφανίζεται ένα νέο μοντέλο αιχμής. Ας υποθέσουμε ότι επιλέγεις αυτή τη στιγμή το μεγαλύτερο και καλύτερο μοντέλο για ολόκληρη τη ροή εργασίας σου. Σε μερικούς μήνες, ή ακόμη και σε λίγες εβδομάδες, πιθανότατα θα υπάρχουν μικρότερα μοντέλα που θα μπορούν να αναλάβουν μεγάλο μέρος της ροής εργασίας σου, αν όχι ολόκληρη. Ταυτόχρονα, είναι πιθανό να υπάρχουν και μεγαλύτερα ή πιο εξειδικευμένα μοντέλα με καλύτερες επιδόσεις στη δική σου ροή εργασίας. Αν δεν αλλάζεις μοντέλα ή δεν κάνεις δρομολόγηση μεταξύ τους, αφήνεις ανεκμετάλλευτες δυνατότητες τόσο για βελτίωση της απόδοσης όσο και για μείωση του κόστους.

Ωστόσο, η παρακολούθηση όλων αυτών είναι μπελάς και οι άνθρωποι δεν θα έπρεπε να χρειάζεται να γίνουν ειδικοί σε κάθε διαφορετικό μοντέλο. Εδώ πιστεύουμε ότι μπορούμε να βοηθήσουμε, διασφαλίζοντας πως έχετε πάντα το καλύτερο μοντέλο για τον φόρτο εργασίας σας, με το χαμηλότερο δυνατό κόστος για την απόδοση που επιθυμείτε. Μερικές φορές, αυτό σημαίνει απλώς να επιλέξετε το πιο ικανό μοντέλο που υπάρχει για ορισμένα τμήματα του φόρτου εργασίας σας· άλλες φορές, σημαίνει να προσαρμόσετε το μεγαλύτερο μέρος του, ώστε να μπορεί να διεκπεραιωθεί από πολύ φθηνότερα μοντέλα.

Όταν διαχειρίζεστε ένα σύστημα που δρομολογεί εργασίες σε πολλά μοντέλα, πώς διασφαλίζετε τη συνέπεια των δεδομένων και την προστασία της ιδιωτικότητας, ιδίως όταν οι εργασίες αυτές αφορούν ευαίσθητες πληροφορίες;

Λειτουργούμε ως ενδιάμεσο επίπεδο μεταξύ των χρηστών και των παρόχων μοντέλων. Οι χρήστες επιλέγουν τους παρόχους που θέλουν να χρησιμοποιήσουν και φέρνουν τα δικά τους κλειδιά API. Επιλέγουμε από αυτούς τους παρόχους το καλύτερο μοντέλο για τον φόρτο εργασίας τους ή για μέρος του, προσαρμόζουμε τον φόρτο εργασίας τους και τον δρομολογούμε στα κατάλληλα μοντέλα. Χρησιμοποιούμε μόνο τις αξιολογήσεις ή τα ίχνη που επιλέγει να κοινοποιήσει ο πελάτης και δεν εκπαιδευόμαστε με τα δεδομένα του ούτε τα διατηρούμε.

Συνιδρύσατε την Propensity Labs με τη Mana Azarm. Πώς κατανέμετε την εστίασή σας ανάμεσα στην πλευρά της έρευνας για τη συμπεριφορά των μοντέλων και στην πρακτική πλευρά της μηχανικής συστημάτων για την κατασκευή αυτών των ροών εργασίας με πράκτορες τεχνητής νοημοσύνης;

Οι δεξιότητές μας αλληλοσυμπληρώνονται πολύ καλά σε αυτόν τον τομέα. Η Mana, η οποία είναι η Επιστημονική Διευθύντριά μας και καθηγήτρια, εστιάζει περισσότερο στη συμπεριφορά των μοντέλων, ενώ εγώ ασχολούμαι κυρίως με τη μηχανική συστημάτων. Ή, μάλλον, έτσι θα θέλαμε να είναι. Η πραγματικότητα είναι πιο περίπλοκη και τελικά ο καθένας μας καταπιάνεται με ό,τι αποτελεί εκείνη τη στιγμή το μεγαλύτερο εμπόδιο.

Για τους CTO που δαπανούν αυτή την περίοδο μεγάλα ποσά σε κλήσεις API για premium μοντέλα, ποιο είναι το πιο εύκολο πρώτο βήμα για να δοκιμάσουν τη δρομολόγηση μοντέλων και την προσαρμογή οδηγιών στις υπάρχουσες ροές εργασίας τους;

Ελάτε να μας μιλήσετε! Αλλά, σοβαρά τώρα, θα δοκίμαζα απλώς να εκτελέσω ένα μικρότερο μοντέλο της πιο πρόσφατης γενιάς στον δικό σας φόρτο εργασίας και να δω τι μπορεί να αναλάβει. Υποψιάζομαι ότι πολλοί έχουν κολλήσει σε μεγαλύτερα μοντέλα προηγούμενων γενιών και, με τον ρυθμό βελτίωσης των μοντέλων, δεν έχουν συνειδητοποιήσει ακόμη ότι κυκλοφόρησαν πρόσφατα μικρότερες και φθηνότερες εναλλακτικές που μπορούν να διαχειριστούν τον φόρτο εργασίας τους.

Ποιες είναι οι συνηθέστερες παρανοήσεις των προγραμματιστών σχετικά με τις δυνατότητες των φθηνότερων μοντέλων όταν αυτά υπόκεινται στους κατάλληλους περιορισμούς ή καθοδηγούνται σωστά;

Η συνηθέστερη παρανόηση είναι ότι, όταν ένα φθηνότερο μοντέλο αποτυγχάνει, απλώς δεν έχει επαρκείς δυνατότητες. Πιστεύω ότι είναι χρήσιμο να αναλύουμε σε βάθος πώς και σε ποια σημεία αποτυγχάνει ένα φθηνότερο μοντέλο στις ροές εργασίας σας. Ένα μέρος αυτών των αποτυχιών οφείλεται σε μοτίβα στα οποία τείνει να παρασύρεται το μοντέλο· αν τα αναγνωρίσετε και το κατευθύνετε μακριά από αυτά, ίσως μπορέσει να πετύχει στη ροή εργασίας σας. Ένα άλλο μέρος αφορά εργασίες για τις οποίες ένα φθηνότερο μοντέλο απλώς δεν διαθέτει τις βασικές δυνατότητες που απαιτούνται για να ανταποκριθεί σωστά· σε αυτές τις περιπτώσεις χρειάζεστε ένα μεγαλύτερο μοντέλο.

Η δουλειά σας βρίσκεται στο σημείο όπου τέμνονται η ιδιωτικότητα, η κλίμακα και το κόστος. Κοιτάζοντας τους επόμενους 12-18 μήνες στην ανάπτυξη υποδομών τεχνητής νοημοσύνης, πού βλέπετε τη μεγαλύτερη απόκλιση ανάμεσα σε όσα θέλουν οι επιχειρήσεις και σε όσα προσφέρει το σημερινό οικοσύστημα εργαλείων;

Από τις συζητήσεις μου με επαγγελματίες που θέτουν μοντέλα σε παραγωγική λειτουργία, διαπιστώνω ότι συχνά νιώθουν πως φοβούνται μήπως χάσουν κάτι σημαντικό (FOMO) και, σε κάποιον βαθμό, έχουν κουραστεί να παρακολουθούν τα νέα μοντέλα και τις αυξανόμενες δυνατότητές τους. Οι περισσότερες τεχνολογίες τείνουν να γίνονται ευκολότερες στη χρήση και στην ανάπτυξη με την πάροδο του χρόνου. Τα LLM έχουν γίνει δυσκολότερα, καθώς υπάρχουν πάρα πολλά μοντέλα και ρυθμίσεις για να επιλέξει κανείς (θερμοκρασία, ένταση συλλογισμού, προσωρινή αποθήκευση). Πιστεύω ότι έχει μεγάλη αξία να απλοποιήσουμε και να αφαιρέσουμε αυτή την πολυπλοκότητα για τις ομάδες που χρησιμοποιούν μοντέλα, ώστε να μπορούν να επικεντρώνονται σε όσα θέλουν να πετύχουν με αυτά και όχι στο πώς θα το πετύχουν.

Ποιους δείκτες πρέπει να θέτει ως προτεραιότητα μια τεχνική ομάδα όταν αρχίζει να πειραματίζεται με τη δρομολόγηση μεταξύ πολλών μοντέλων, ώστε να διασφαλίζει ότι δεν επιδιώκει απλώς εξοικονόμηση κόστους εις βάρος της αξιοπιστίας;

Θα ξεκινούσα με τα ποσοστά επιτυχούς ολοκλήρωσης εργασιών, τα ποσοστά αποτυχίας, τον χρόνο απόκρισης και το κόστος ανά εργασία που ολοκληρώνεται επιτυχώς. Το κόστος ανά διακριτικό από μόνο του δεν είναι ιδιαίτερα χρήσιμο αν το φθηνότερο μοντέλο αποτυγχάνει συχνότερα, επομένως πρέπει να υπολογίζετε το συνολικό κόστος μιας εργασίας —συμπεριλαμβανομένων των επαναλήψεων και τυχόν ταξινομητών ή μοντέλων λήψης αποφάσεων που χρησιμοποιείτε για τη δρομολόγηση.

Το δύσκολο είναι να μετρήσετε την αξιοπιστία. Έχουμε δει ένα συνηθισμένο μοτίβο: οι ομάδες δυσκολεύονται να μεταφέρουν τους πράκτορές τους από ένα μοντέλο σε άλλο, αφιερώνουν πολλή προσπάθεια στις αξιολογήσεις για μερικούς μήνες και στη συνέχεια διαπιστώνουν ότι η αλλαγή μοντέλων γίνεται πολύ ευκολότερη. Θα συνιστούσα ανεπιφύλακτα να επενδύσετε σε αξιόπιστες αξιολογήσεις για τις ροές εργασίας σας όσο το δυνατόν νωρίτερα και να τις επικαιροποιείτε καθώς αλλάζουν οι ροές εργασίας σας και ο τρόπος με τον οποίο τις χρησιμοποιούν οι χρήστες σας.

Σας ευχαριστώ για την εξαιρετική συνέντευξη. Οι αναγνώστες που θέλουν να εξερευνήσουν τη δρομολόγηση μοντέλων, την προσαρμογή οδηγιών και τις μεθόδους αξιολόγησης για πιο αξιόπιστες και οικονομικά αποδοτικές ροές εργασίας τεχνητής νοημοσύνης μπορούν να επισκεφθούν την Propensity Labs.

Ο Antoine είναι ένας οραματιστής ηγέτης και ιδρυτικός εταίρος της Unite.AI, με αμείωτο πάθος για τη διαμόρφωση και την προώθηση του μέλλοντος της τεχνητής νοημοσύνης και της ρομποτικής. Έχοντας ιδρύσει πολλές επιχειρήσεις, πιστεύει ότι η τεχνητή νοημοσύνη θα μεταμορφώσει την κοινωνία όσο και ο ηλεκτρισμός και συχνά μιλά με ενθουσιασμό για τις δυνατότητες των ανατρεπτικών τεχνολογιών και της τεχνητής γενικής νοημοσύνης (AGI).

Ως μελλοντολόγος, είναι αφοσιωμένος στη διερεύνηση του τρόπου με τον οποίο αυτές οι καινοτομίες θα διαμορφώσουν τον κόσμο μας. Επιπλέον, είναι ιδρυτής του Securities.io, μιας πλατφόρμας που εστιάζει στις επενδύσεις σε τεχνολογίες αιχμής οι οποίες επαναπροσδιορίζουν το μέλλον και μεταμορφώνουν ολόκληρους κλάδους.