Etan Ginsberg, Συνιδρυτής της Martian – Σειρά Συνεντεύξεων

Ο Etan Ginsberg είναι ο Συνιδρυτής της Martian, μια πλατφόρμα που δυναμικά κατευθύνει κάθε πρόταση στο καλύτερο LLM. Μέσω της διαδρομής, η Martian επιτυγχάνει υψηλότερη απόδοση και χαμηλότερο κόστος από οποιοδήποτε ατομικό παρόχο, συμπεριλαμβανομένου του GPT-4. Το σύστημα είναι κατασκευασμένο με την μοναδική τεχνολογία Model Mapping της εταιρείας, η οποία ανοίγει τις LLM από τις σύνθετες μαύρες κουτίες σε μια πιο ερμηνεύσιμη αρχιτεκτονική, καθιστώντας την την πρώτη εμπορική εφαρμογή της μεχανιστικής ερμηνευσιμότητας.

Ο Etan έχει κωδικοποιήσει, σχεδιάσει ιστοσελίδες και έχειสร้างει ηλεκτρονικές επιχειρήσεις για πελάτες από τότε που ήταν στο γυμνάσιο. Ένας πολυμαθής, ο Etan είναι ένας Διαγωνιζόμενος στο Παγκόσμιο Πρωτάθλημα Μνήμης και κατέλαβε την 2η θέση στο Παγκόσμιο Πρωτάθλημα Ταχύτητας Ανάγνωσης στο Σεντζέν, στην Κίνα.

Είναι ένας διαγωνιζόμενος σε hackathons. Παλιά βραβεία περιλαμβάνουν το 3ο βραβείο στο Tech Crunch SZ, τον 7ο τελικό στο Princeton Hackathon και 3 βιομηχανικά βραβεία στο Yale Hackathon.

Είσαι προηγούμενος δύο φορές ιδρυτής μιας εταιρείας, ποίες ήταν αυτές οι εταιρείες και τι μάθατε από αυτήν την εμπειρία;

Η πρώτη εταιρεία μου ήταν η πρώτη πλατφόρμα για την προώθηση και την προαγωγή του αθλήματος του American Ninja Warrior. Το 2012, είδα το American Ninja Warrior ως ένα υπόγειο άθλημα (παρόμοιο με το MMA στις αρχές της δεκαετίας του ’90) και δημιούργησα την πρώτη πλατφόρμα όπου οι άνθρωποι μπορούσαν να αγοράσουν σχέδια, να παραγγείλουν εμπόδια και να βρουν γυμναστήρια για να εκπαιδευτούν. Συμβούλευα εταιρείες που ήθελαν να ξεκινήσουν τα δικά τους γυμναστήρια, συμπεριλαμβανομένης της βοήθειας των Αμερικανικών Đặcικών Δυνάμεων με einen εκπαιδευτικό курсο και την κλιμάκωση eines εγκαταστάσεων από ένα σχέδιο σε $300.000 σε έσοδα μέσα σε 3 μήνες. Αν και ήμουν στο γυμνάσιο, είχα την πρώτη μου εμπειρία στη διαχείριση ομάδων εργαζομένων 20+ και έμαθα για την αποτελεσματική διαχείριση και τις διαπροσωπικές σχέσεις.

Η δεύτερη εταιρεία μου ήταν μια εναλλακτική εταιρεία διαχείρισης περιουσίας που συνίδρυσα το 2017 πριν από την ICO-κύμα στο crypto. Αυτή ήταν η πρώτη μου έκθεση στο NLP, όπου χρησιμοποιήσαμε την ανάλυση συναισθήματος των δεδομένων των κοινωνικών μέσων ως στρατηγική επένδυσης.

Μάθατε πολλά από τις σκληρές και μαλακές δεξιότητες που εμπλέκονται στη διεύθυνση μιας εταιρείας – από το πώς να διαχειριστείτε μια ομάδα μέχρι τις τεχνικές πτυχές του NLP. Ταυτόχρονα, έμαθα επίσης πολλά για τον εαυτό μου και για το τι ήθελα να δουλέψω. Πιστεύω ότι οι πιο επιτυχημένες εταιρείες ξεκινούν από ιδρυτές που έχουν ένα ευρύτερο όραμα ή στόχο που τους οδηγεί. Έφυγα από το crypto το 2017 για να εστιάσω στο NLP, επειδή η ενίσχυση και η κατανόηση της ανθρώπινης νοημοσύνης είναι κάτι που με οδηγεί πραγματικά. Ήμουν χαρούμενος που ανακάλυψα αυτό.

Κατά τη διάρκεια της παραμονής σας στο Πανεπιστήμιο της Πενσυλβάνια, κάνατε κάποια έρευνα για την τεχνητή νοημοσύνη, τι ερευνούσατε συγκεκριμένα;

Η έρευνά μας αρχικά επικεντρώθηκε στην κατασκευή εφαρμογών των LLM. Συγκεκριμένα, δούλεψαμε σε εκπαιδευτικές εφαρμογές των LLM και κατασκευάσαμε τον πρώτο LLM-ενεργοποιημένο γνωστικό δάσκαλο. Τα αποτελέσματα ήταν khá καλά – είδαμε μια βελτίωση 0,3 τυπικής απόκλισης στις εκπαιδευτικές επιδόσεις στις αρχικές πειραματικές δοκιμές – και το σύστημά μας έχει χρησιμοποιηθεί από το Πανεπιστήμιο της Πενσυλβάνια έως το Πανεπιστήμιο του Μπουτάν.

Μπορείτε να συζητήσετε πώς αυτή η έρευνα οδήγησε στην συνίδρυση της Martian;

Επειδή ήμαστε από τους πρώτους ανθρώπους που κατασκευάζουν εφαρμογές πάνω στις LLM, ήμαστε επίσης από τους πρώτους ανθρώπους που αντιμετωπίζουν τα προβλήματα που αντιμετωπίζουν οι άνθρωποι όταν κατασκευάζουν εφαρμογές πάνω στις LLM. Αυτό οδήγησε την έρευνά μας προς το επίπεδο της υποδομής. Για παράδειγμα, πολύ νωρίς, fine-tune smaller μοντέλα στις εξόδους μεγαλύτερων μοντέλων όπως το GPT-3, και fine-tune μοντέλα σε εξειδικευμένα δεδομένα για εργασίες όπως η προγραμματισμός και η επίλυση μαθηματικών προβλημάτων. Αυτό τελικά μας οδήγησε σε προβλήματα σχετικά με την κατανόηση της συμπεριφοράς του μοντέλου και σχετικά με τη διαδρομή του μοντέλου.

Οι ρίζες του ονόματος Martian και η σχέση του με την νοημοσύνη είναι επίσης ενδιαφέρουσες, μπορείτε να μοιραστείτε την ιστορία του πώς αυτό το όνομα επιλέχθηκε;

Η εταιρεία μας ονομάζεται μετά από μια ομάδα Ούγγρο-Αμερικανών επιστημόνων γνωστή ως “Οι Μαρτιάνοι“. Αυτή η ομάδα, η οποία ζούσε τον 20ό αιώνα, αποτελούνταν από κάποιους από τους πιο έξυπνους ανθρώπους που έχουν ζήσει ποτέ:

• Ο πιο διάσημος μεταξύ τους ήταν ο Τζον βον Νόιμαν· επινόησε τη θεωρία παιγνίων, την αρχιτεκτονική του σύγχρονου υπολογιστή, τη θεωρία αυτομάτων και έκανε θεμελιώδεις συνεισφορές σε δεκάδες άλλα πεδία.
• Ο Πωλ Έρντος ήταν ο πιο παραγωγικός μαθηματικός όλων των εποχών, έχοντας δημοσιεύσει πάνω από 1500 εργασίες.
• Ο Θεόδωρος βον Κάρμαν καθιέρωσε τις θεμελιώδεις θεωρίες της αεροδυναμικής και βοήθησε στην ίδρυση του Αμερικανικού διαστημικού προγράμματος. Το ανθρώπινα καθορισμένο όριο μεταξύ της Γης και του εξωτερικού διαστήματος ονομάζεται “Γραμμή Κάρμαν” σε αναγνώριση του έργου του.
• Ο Λέο Σίλαρντ επινόησε την ατομική βόμβα, τη θεραπεία ακτινοβολίας και τους επιταχυντές σωματιδίων.

Αυτοί οι επιστήμονες και 14 άλλοι σαν αυτούς (συμπεριλαμβανομένου του εφευρέτη της βόμβας υδρογόνου, του ανθρώπου που εισήγαγε τη θεωρία ομάδων στη σύγχρονη φυσική, και θεμελιωδών συντελεστών σε πεδία όπως η συνδυαστική, η θεωρία αριθμών, η αριθμητική ανάλυση και η θεωρία πιθανοτήτων) μοιράζονταν μια αξιοσημείωτη ομοιότητα – όλοι γεννήθηκαν στην ίδια περιοχή της Βουδαπέστης. Αυτό οδήγησε τους ανθρώπους να αναρωτηθούν: ποια ήταν η πηγή τόσο μεγάλης νοημοσύνης;

Σε απάντηση, ο Σίλαρντ αστειεύτηκε ότι, “Οι Μαρτιάνοι είναι ήδη εδώ, και αυτοαποκαλούνται Ούγγροι!” Στην πραγματικότητα… κανείς δεν ξέρει.

Η ανθρωπότητα βρίσκεται σε μια παρόμοια θέση σήμερα σε σχέση με ένα νέο σύνολο πιθανώς υπερευφυών νου: την Τεχνητή Νοημοσύνη. Οι άνθρωποι ξέρουν ότι τα μοντέλα μπορούν να είναι απίστευτα έξυπνα, αλλά δεν έχουν ιδέα πώς λειτουργούν.

Η αποστολή μας είναι να απαντήσουμε σε αυτό το ερώτημα – να κατανοήσουμε και να εκμεταλλευτούμε τη σύγχρονη υπερευφυΐα.

Έχετε μια ιστορία με απίστευτες ικανότητες μνήμης, πώς μπήκατε σε αυτές τις προκλήσεις μνήμης και πώς αυτή η γνώση σας βοήθησε με την концепция της Martian;

Στις περισσότερες αθλητικές δραστηριότητες, ένας επαγγελματίας αθλητής μπορεί να εκτελέσει περίπου 2-3 φορές καλύτερα από τον μέσο άνθρωπο (συγκρίνετε πόσο μακριά μπορεί ένας μέσος άνθρωπος να κάνει ένα γκολ ή πόσο γρήγορα μπορεί να ρίξει μια μπάλα σε σχέση με έναν επαγγελματία). Οι αθλητικές δραστηριότητες μνήμης είναι fascinující επειδή οι κορυφαίοι αθλητές μπορούν να θυμηθούν 100 φορές ή ακόμη και 1000 φορές περισσότερα από τον μέσο άνθρωπο με λιγότερη εκπαίδευση από την περισσότερη αθλητική δραστηριότητα. Επιπλέον, αυτοί είναι συχνά άνθρωποι με μέτρια φυσική μνήμη που αποδίδουν την απόδοσή τους σε συγκεκριμένες τεχνικές που μπορεί να μάθει ο καθένας. Θέλω να μεγιστοποιήσω την γνώση της ανθρωπότητας, και είδα το παγκόσμιο πρωτάθλημα μνήμης ως μια υποτιμημένη ερμηνεία για το πώς podemos να οδηγήσουμε εξαιρετικές επιστροφές αύξησης της ανθρώπινης νοημοσύνης.

Θέλαμε να αναπτύξουμε τεχνικές μνήμης σε όλο το εκπαιδευτικό σύστημα, οπότε άρχισα να εξερευνώ πώς το NLP και τα LLM μπορούν να βοηθήσουν στη μείωση του κόστους εγκατάστασης που αποτρέπουν τις πιο αποτελεσματικές εκπαιδευτικές μεθόδους από το να χρησιμοποιηθούν στο κυρίως εκπαιδευτικό σύστημα. Ο Yash και εγώ δημιούργησαμε τον πρώτο LLM-ενεργοποιημένο γνωστικό δάσκαλο και αυτό μας οδήγησε να ανακαλύψουμε τα προβλήματα με την ανάπτυξη των LLM που λύνουμε σήμερα.

Η Martian είναι ουσιαστικά η αφαίρεση της απόφασης για το ποιο Μεγάλο Μοντέλο Γλώσσας (LLM) να χρησιμοποιηθεί, γιατί αυτό είναι目前 ένα σημείο πόνου για τους développers;

Γίνεται όλο και πιο εύκολο να δημιουργηθούν γλωσσικά μοντέλα – το κόστος υπολογισμού μειώνεται, οι αλγόριθμοι γίνονται πιο αποτελεσματικοί και περισσότερα ανοιχτά εργαλεία είναι διαθέσιμα για τη δημιουργία αυτών των μοντέλων. Ως αποτέλεσμα, περισσότερες εταιρείες και développers δημιουργούν προσαρμοσμένα μοντέλα που εκπαιδεύονται σε προσαρμοσμένα δεδομένα.既然 αυτά τα μοντέλα έχουν διαφορετικά κόστη και ικανότητες, μπορείτε να πάρει καλύτερη απόδοση χρησιμοποιώντας πολλά μοντέλα, αλλά είναι δύσκολο να τα δοκιμάσετε όλα και να βρείτε τα σωστά για να τα χρησιμοποιήσετε. Nous φροντίζουμε γι’ αυτό για τους développers.

Μπορείτε να συζητήσετε πώς το σύστημα κατανοεί ποιο LLM είναι το καλύτερο για κάθε συγκεκριμένη εργασία;

Η καλή διαδρομή είναι ουσιαστικά ένα πρόβλημα σχετικά με την κατανόηση των μοντέλων. Για να διαδρομήσετε αποτελεσματικά μεταξύ των μοντέλων, θέλετε να μπορείτε να κατανοήσετε τι προκαλεί την αποτυχία ή την επιτυχία τους. Η δυνατότητα να κατανοήσετε αυτές τις ιδιότητες με τη χαρτογράφηση μοντέλων μας επιτρέπει να καθορίσουμε πώς θα εκτελεστεί ένα δεδομένο μοντέλο σε μια αίτηση χωρίς να χρειάζεται να εκτελέσουμε το μοντέλο. Ως αποτέλεσμα, podemos να στείλουμε αυτήν την αίτηση στο μοντέλο που θα παράγει το καλύτερο αποτέλεσμα.

Μπορείτε να συζητήσετε τον τύπο των οικονομικών αποταμιεύσεων που μπορούν να φανερωθούν από την оптимποίηση του LLM που χρησιμοποιείται;

Μας επιτρέπετε να καθορίσετε πώς να ισορροπήσετε το κόστος και την απόδοση. Αν σας ενδιαφέρει μόνο η απόδοση, μπορούμε να υπερβούμε το GPT-4 στο openai/evals. Αν ψάχνετε για ένα συγκεκριμένο κόστος για να κάνετε την οικονομική σας να δουλέψει, μπορούμε να σας επιτρέψουμε να καθορίσετε το μέγιστο κόστος για την αίτησή σας, και στη συνέχεια να βρούμε το καλύτερο μοντέλο για να ολοκληρώσουμε αυτήν την αίτηση. Και αν θέλετε κάτι πιο δυναμικό, μπορούμε να σας επιτρέψουμε να καθορίσετε πόσο είστε διατεθειμένοι να πληρώσετε για μια καλύτερη απάντηση – με αυτόν τον τρόπο, αν δύο μοντέλα έχουν παρόμοια απόδοση αλλά μια μεγάλη διαφορά στο κόστος, μπορούμε να σας επιτρέψουμε να χρησιμοποιήσετε το λιγότερο ακριβό μοντέλο. Κάποιοι από τους πελάτες μας έχουν δει μέχρι και 12 φορές μείωση του κόστους.

Τι είναι η όρασή σας για το μέλλον της Martian;

Κάθε φορά που βελτιώνουμε την θεμελιώδη κατανόηση μας για τα μοντέλα, αυτό οδηγεί σε μια παραδειγματική αλλαγή για την Τεχνητή Νοημοσύνη. Η fine-tune ήταν η παραδειγματική αλλαγή που οδηγήθηκε από την κατανόηση των εξόδων. Η προώθηση είναι η παραδειγματική αλλαγή που οδηγήθηκε από την κατανόηση των εισόδων. Αυτή η đơnή διαφορά στην κατανόηση των μοντέλων είναι πολύ από ότι διακρίνει την παραδοσιακή ML (“ας εκπαιδεύσουμε einen αναλυτή”) και τη σύγχρονη γεννητική Τεχνητή Νοημοσύνη (“ας προωθήσουμε einen baby AGI”).

Ο στόχος μας είναι να παραδώσουμε συνεχώς καινοτομίες στην ερμηνευσιμότητα μέχρι να κατανοήσουμε πλήρως την Τεχνητή Νοημοσύνη και να έχουμε μια θεωρία της νοημοσύνης τόσο ισχυρή όσο και οι θεωρίες μας για τη λογική ή την ανάλυση.

Για μας, αυτό σημαίνει να χτίζουμε. Σημαίνει να δημιουργούμε εξαιρετικά εργαλεία Τεχνητής Νοημοσύνης και να τα βάζουμε στα χέρια των ανθρώπων. Σημαίνει να κυκλοφορούμε πράγματα που σπάζουν το μολδ, που κανείς δεν έχει κάνει πριν, και που -πάνω από όλα- είναι ενδιαφέροντα και χρήσιμα.

Με τα λόγια του Σερ Φράνσις Μπέικον, “Η γνώση είναι δύναμη”. Κατά συνέπεια, ο καλύτερος τρόπος για να είμαστε σίγουροι ότι κατανοούμε την Τεχνητή Νοημοσύνη είναι να κυκλοφορούμε ισχυρά εργαλεία. Κατά την άποψή μας, ένας διαδρομητής μοντέλων είναι ένα εργαλείο τέτοιου είδους. Είμαστε ενθουσιασμένοι να το χτίζουμε, να το μεγαλώνουμε και να το βάζουμε στα χέρια των ανθρώπων.

Αυτή είναι η πρώτη από πολλά εργαλεία που θα κυκλοφορήσουμε τους επόμενους μήνες. Για να ανακαλύψουμε μια όμορφη θεωρία της Τεχνητής Νοημοσύνης, να ενεργοποιήσουμε εντελώς νέους τύπους υποδομής Τεχνητής Νοημοσύνης, να βοηθήσουμε να χτίζουμε ένα φωτεινότερο μέλλον για τον άνθρωπο και τη μηχανή – δεν μπορούμε να περιμένουμε να μοιραστούμε αυτά τα εργαλεία μαζί σας.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν την Martian.