Etan Ginsberg, συνιδρυτής της Martian – Interview Series

Ο Etan Ginsberg είναι ο συνιδρυτής του άρειος, μια πλατφόρμα που δρομολογεί δυναμικά κάθε μήνυμα στο καλύτερο LLM. Μέσω της δρομολόγησης, η Martian επιτυγχάνει υψηλότερη απόδοση και χαμηλότερο κόστος από οποιονδήποτε μεμονωμένο πάροχο, συμπεριλαμβανομένου του GPT-4. Το σύστημα βασίζεται στη μοναδική τεχνολογία Model Mapping της εταιρείας που αποσυσκευάζει τα LLM από πολύπλοκα μαύρα κουτιά σε μια πιο ερμηνεύσιμη αρχιτεκτονική, καθιστώντας το την πρώτη εμπορική εφαρμογή μηχανιστικής ερμηνείας.

Ο Etan κωδικοποιεί, σχεδιάζει ιστοσελίδες και δημιουργεί ηλεκτρονικές επιχειρήσεις για πελάτες από τότε που ήταν στο γυμνάσιο. Ο πολύμαθος Etan είναι διαγωνιζόμενος στο Παγκόσμιο Πρωτάθλημα Μνήμης και κατετάγη 2ος στο Παγκόσμιο Πρωτάθλημα Ταχείας Ανάγνωσης στο Shenzhen της Κίνας.

Είναι ανταγωνιστής vid hackathon. Τα προηγούμενα βραβεία περιλαμβάνουν το 3ο βραβείο στο Tech Crunch SZ, τους 7 κορυφαίους φιναλίστ στο Princeton Hackathon και 3 βραβεία βιομηχανίας στο Yale Hackathon.

Είστε προηγούμενος δύο φορές ιδρυτής startup, ποιες ήταν αυτές οι εταιρείες και τι μάθατε από αυτή την εμπειρία;

Η πρώτη μου εταιρεία ήταν η πρώτη πλατφόρμα για την προώθηση και την προώθηση του αθλήματος του Αμερικανού Ninja Warrior. Πίσω στο 2012, έβλεπα το American Ninja Warrior ως ένα underground άθλημα (παρόμοιο με το MMA της δεκαετίας του '90) και έφτιαξα την πρώτη πλατφόρμα όπου οι άνθρωποι μπορούσαν να αγοράσουν σχέδια, να παραγγείλουν εμπόδια και να βρουν γυμναστήρια για προπόνηση. Συμβουλεύτηκα εταιρείες που επιθυμούν να ξεκινήσουν τα δικά τους γυμναστήρια, συμπεριλαμβανομένης της παροχής βοήθειας στις Ειδικές Δυνάμεις των ΗΠΑ με ένα εκπαιδευτικό μάθημα και της κλιμάκωσης μιας εγκατάστασης από σκίτσο χαρτοπετσέτας σε 300 χιλιάδες $ σε έσοδα τους πρώτους 3 μήνες. Αν και ήμουν στο γυμνάσιο, είχα την πρώτη μου εμπειρία στη διαχείριση ομάδων 20+ εργαζομένων και έμαθα για την αποτελεσματική διαχείριση και τις διαπροσωπικές σχέσεις.

Η δεύτερη εταιρεία μου ήταν μια εναλλακτική εταιρεία διαχείρισης περιουσιακών στοιχείων που συνίδρυσα το 2017 πριν από το ICO-wave στην κρυπτογράφηση. Αυτή ήταν η πρώτη μου έκθεση στο NLP, όπου χρησιμοποιήσαμε την ανάλυση συναισθήματος των δεδομένων των μέσων κοινωνικής δικτύωσης ως επενδυτική στρατηγική.

Έμαθα πολλές από τις σκληρές και μαλακές δεξιότητες που απαιτούνται για τη λειτουργία μιας startup — από το πώς να διαχειρίζομαι μια ομάδα μέχρι τις τεχνικές πτυχές του NLP. Ταυτόχρονα, έμαθα επίσης πολλά για τον εαυτό μου και για το τι ήθελα να εργαστώ. Πιστεύω ότι οι πιο επιτυχημένες εταιρείες ξεκινούν από ιδρυτές που έχουν ένα ευρύτερο όραμα ή στόχο που τις οδηγεί. Έφυγα από το crypto το 2017 για να επικεντρωθώ στο NLP, επειδή η αύξηση και η κατανόηση της νοημοσύνης της ανθρωπότητας είναι κάτι που πραγματικά με οδηγεί. Χάρηκα που το ανακάλυψα.

Ενώ φοιτούσατε στο Πανεπιστήμιο της Πενσυλβάνια κάνατε κάποια έρευνα τεχνητής νοημοσύνης, τι ερευνούσατε συγκεκριμένα;

Η έρευνά μας αρχικά επικεντρώθηκε στη δημιουργία εφαρμογών LLM. Συγκεκριμένα, δουλέψαμε σε εκπαιδευτικές εφαρμογές των LLM και χτίσαμε τον πρώτο γνωστικό δάσκαλο LLM. Τα αποτελέσματα ήταν αρκετά καλά – είδαμε μια βελτίωση της τυπικής απόκλισης 0.3 στα αποτελέσματα των μαθητών στον αρχικό πειραματισμό – και το σύστημά μας χρησιμοποιήθηκε από το Πανεπιστήμιο της Πενσυλβάνια έως το Πανεπιστήμιο του Μπουτάν.

Μπορείτε να συζητήσετε πώς αυτή η έρευνα σας οδήγησε στη συνέχεια στο Co-Founding Martian;

Επειδή ήμασταν μερικοί από τους πρώτους ανθρώπους που κατασκευάσαμε εφαρμογές πάνω από LLM, ήμασταν επίσης από τους πρώτους ανθρώπους που αντιμετωπίσαμε τα προβλήματα που αντιμετωπίζουν οι άνθρωποι όταν δημιουργούν εφαρμογές πάνω από τα LLM. Αυτό οδήγησε την έρευνά μας προς το επίπεδο υποδομής. Για παράδειγμα, πολύ νωρίς, βελτιστοποιούσαμε μικρότερα μοντέλα στις εξόδους μεγαλύτερων μοντέλων όπως το GPT-3 και βελτιστοποιούσαμε μοντέλα σε εξειδικευμένες πηγές δεδομένων για εργασίες όπως προγραμματισμός και επίλυση μαθηματικών προβλημάτων. Αυτό μας οδήγησε τελικά σε προβλήματα σχετικά με την κατανόηση της συμπεριφοράς του μοντέλου και τη δρομολόγηση μοντέλων.

Η προέλευση του ονόματος του Άρη και η σχέση του με τη νοημοσύνη είναι επίσης ενδιαφέρουσα, θα μπορούσατε να μοιραστείτε την ιστορία του πώς επιλέχθηκε αυτό το όνομα;

Η εταιρεία μας πήρε το όνομά της από μια ομάδα Ούγγρων-Αμερικανών επιστημόνων γνωστών ως «Οι Αρειανοί". Αυτή η ομάδα, που έζησε τον 20ο αιώνα, αποτελούνταν από μερικούς από τους πιο έξυπνους ανθρώπους που έζησαν ποτέ:

• Το πιο γνωστό ανάμεσά τους ήταν Τζον φον Νόιμαν; εφηύρε τη θεωρία παιγνίων, τη σύγχρονη αρχιτεκτονική υπολογιστών, τη θεωρία των αυτομάτων και συνέβαλε θεμελιώδεις σε δεκάδες άλλους τομείς.
• Παύλος Έρντος ήταν ο πιο παραγωγικός μαθηματικός όλων των εποχών, έχοντας δημοσιεύσει πάνω από 1500 εργασίες.
• Theodore Von Karman καθιέρωσε τις θεμελιώδεις θεωρίες της αεροδυναμικής και βοήθησε στην ίδρυση του αμερικανικού διαστημικού προγράμματος. Το καθορισμένο από τον άνθρωπο σύνορο μεταξύ της Γης και του διαστήματος ονομάζεται «γραμμή Kármán» σε αναγνώριση του έργου του.
• Λίο Σίλαρντ εφηύρε την ατομική βόμβα, την ακτινοθεραπεία και τους επιταχυντές σωματιδίων.

Αυτοί οι επιστήμονες και άλλοι 14 σαν αυτούς (συμπεριλαμβανομένου του εφευρέτη της βόμβας υδρογόνου, του ανθρώπου που εισήγαγε τη ομαδική θεωρία στη σύγχρονη φυσική και θεμελιώδεις συνεισφέροντες σε πεδία όπως η συνδυαστική, η θεωρία αριθμών, η αριθμητική ανάλυση και η θεωρία πιθανοτήτων) μοιράζονταν μια αξιοσημείωτη ομοιότητα. γεννήθηκαν στο ίδιο μέρος της Βουδαπέστης. Αυτό οδήγησε τους ανθρώπους να αναρωτηθούν: ποια ήταν η πηγή τόσης ευφυΐας;

Σε απάντηση, ο Szilard αστειεύτηκε ότι, "Οι Αρειανοί είναι ήδη εδώ και αυτοαποκαλούνται Ούγγροι!" Στην πραγματικότητα… κανείς δεν ξέρει.

Η ανθρωπότητα βρίσκεται σε παρόμοια θέση σήμερα σε σχέση με ένα νέο σύνολο δυνητικά υπερευφυών μυαλών: την Τεχνητή Νοημοσύνη. Οι άνθρωποι γνωρίζουν ότι τα μοντέλα μπορεί να είναι απίστευτα έξυπνα, αλλά δεν έχουν ιδέα πώς λειτουργούν.

Η αποστολή μας είναι να απαντήσουμε σε αυτό το ερώτημα – να κατανοήσουμε και να αξιοποιήσουμε τη σύγχρονη υπερευφυΐα.

Έχετε μια ιστορία απίστευτων μνημονικών κατορθωμάτων, πώς βυθιστήκατε σε αυτές τις προκλήσεις μνήμης και πώς αυτή η γνώση σας βοήθησε με την έννοια του Αρειανού;

Στα περισσότερα αθλήματα, ένας επαγγελματίας αθλητής μπορεί να αποδώσει περίπου 2-3 ​​φορές όσο και ο μέσος άνθρωπος (συγκρίνετε πόσο μακριά μπορεί ένας μέσος άνθρωπος να χτυπήσει ένα γκολ στο πεδίο ή πόσο γρήγορα πετάει μια γρήγορη μπάλα σε σύγκριση με έναν επαγγελματία). Τα αθλήματα μνήμης είναι συναρπαστικά επειδή οι κορυφαίοι αθλητές μπορούν να απομνημονεύσουν 100 φορές ή ακόμα και 1000 φορές περισσότερο από τον μέσο άνθρωπο με λιγότερη προπόνηση από τα περισσότερα αθλήματα. Επιπλέον, αυτοί είναι συχνά άτομα με μέση φυσική μνήμη που πιστώνουν την απόδοσή τους σε συγκεκριμένες τεχνικές που μπορεί να μάθει ο καθένας. Θέλω να μεγιστοποιήσω τη γνώση της ανθρωπότητας και είδα τα παγκόσμια πρωταθλήματα μνήμης ως μια υποτιμημένη εικόνα του τρόπου με τον οποίο μπορούμε να επιτύχουμε εξαιρετικές αποδόσεις αυξάνοντας την ανθρώπινη νοημοσύνη.

Ήθελα να αναπτύξω τεχνικές μνήμης σε όλο το εκπαιδευτικό σύστημα, έτσι άρχισα να διερευνώ πώς το NLP και το LLM θα μπορούσαν να βοηθήσουν στη μείωση του κόστους εγκατάστασης που εμποδίζει τη χρήση των πιο αποτελεσματικών εκπαιδευτικών μεθόδων στο γενικό εκπαιδευτικό σύστημα. Ο Yash και εγώ δημιουργήσαμε τον πρώτο γνωστικό δάσκαλο με LLM και αυτό μας οδήγησε να ανακαλύψουμε τα προβλήματα με την ανάπτυξη του LLM που τώρα βοηθούμε να λύσουμε σήμερα.

Ο Martian ουσιαστικά αφαιρεί την απόφαση του μοντέλου Large Language (LLM) να χρησιμοποιήσει, γιατί αυτό είναι επί του παρόντος τόσο δύσκολο για τους προγραμματιστές;

Η δημιουργία μοντέλων γλώσσας γίνεται όλο και πιο εύκολη – το κόστος υπολογισμού μειώνεται, οι αλγόριθμοι γίνονται πιο αποτελεσματικοί και περισσότερα εργαλεία ανοιχτού κώδικα είναι διαθέσιμα για τη δημιουργία αυτών των μοντέλων. Ως αποτέλεσμα, περισσότερες εταιρείες και προγραμματιστές δημιουργούν προσαρμοσμένα μοντέλα εκπαιδευμένα σε προσαρμοσμένα δεδομένα. Καθώς αυτά τα μοντέλα έχουν διαφορετικό κόστος και δυνατότητες, μπορείτε να έχετε καλύτερη απόδοση χρησιμοποιώντας πολλά μοντέλα, αλλά είναι δύσκολο να τα δοκιμάσετε όλα και να βρείτε τα κατάλληλα προς χρήση. Το φροντίζουμε για τους προγραμματιστές.

Μπορείτε να συζητήσετε πώς το σύστημα κατανοεί τι LLM χρησιμοποιείται καλύτερα για κάθε συγκεκριμένη εργασία;

Η δρομολόγηση του φρεατίου είναι ουσιαστικά ένα πρόβλημα σχετικά με την κατανόηση των μοντέλων. Για να δρομολογήσετε αποτελεσματικά μεταξύ μοντέλων, θέλετε να είστε σε θέση να κατανοήσετε τι προκαλεί την αποτυχία ή την επιτυχία τους. Η δυνατότητα κατανόησης αυτών των χαρακτηριστικών με τη χαρτογράφηση μοντέλων μας επιτρέπει να προσδιορίσουμε πόσο καλά θα αποδώσει οποιοδήποτε δεδομένο μοντέλο σε ένα αίτημα χωρίς να χρειάζεται να εκτελέσουμε αυτό το μοντέλο. Ως αποτέλεσμα, μπορούμε να στείλουμε αυτό το αίτημα στο μοντέλο που θα παράγει το καλύτερο αποτέλεσμα.

Μπορείτε να συζητήσετε το είδος της εξοικονόμησης κόστους που μπορεί να φανεί από τη βελτιστοποίηση του LLM που χρησιμοποιείται;

Επιτρέπουμε στους χρήστες να καθορίσουν τον τρόπο αντιστάθμισης μεταξύ κόστους και απόδοσης. Εάν ενδιαφέρεστε μόνο για την απόδοση, μπορούμε να ξεπεράσουμε το GPT-4 σε openai/evals. Αν ψάχνετε για ένα συγκεκριμένο κόστος για να λειτουργήσουν τα οικονομικά της μονάδας σας, σας αφήνουμε να καθορίσετε το μέγιστο κόστος για το αίτημά σας και, στη συνέχεια, βρείτε το καλύτερο μοντέλο για να ολοκληρώσετε αυτό το αίτημα. Και αν θέλετε κάτι πιο δυναμικό, σας αφήνουμε να προσδιορίσετε πόσα είστε διατεθειμένοι να πληρώσετε για μια καλύτερη απάντηση – με αυτόν τον τρόπο, εάν δύο μοντέλα έχουν παρόμοια απόδοση αλλά μεγάλη διαφορά στο κόστος, μπορούμε να σας επιτρέψουμε να χρησιμοποιήσετε τα λιγότερο ακριβά μοντέλα . Μερικοί από τους πελάτες μας έχουν δει μείωση κόστους έως και 12 φορές.

Ποιο είναι το όραμά σας για το μέλλον του Martian;

Κάθε φορά που βελτιώνουμε τη θεμελιώδη κατανόηση των μοντέλων, οδηγεί σε μια αλλαγή παραδείγματος για την τεχνητή νοημοσύνη. Η τελειοποίηση ήταν το παράδειγμα που καθοδηγείται από την κατανόηση των αποτελεσμάτων. Η προτροπή είναι το παράδειγμα που καθοδηγείται από την κατανόηση των εισροών. Αυτή η μοναδική διαφορά στην κατανόησή μας για τα μοντέλα είναι σε μεγάλο βαθμό αυτό που διαφοροποιεί την παραδοσιακή ML ("ας εκπαιδεύσουμε έναν παλινδρομικό") και τη σύγχρονη γενετική τεχνητή νοημοσύνη ("ας προτρέψουμε ένα μωρό AGI").

Στόχος μας είναι να επιτύχουμε με συνέπεια καινοτομίες στην ερμηνευτικότητα μέχρι να γίνει πλήρως κατανοητή η τεχνητή νοημοσύνη και να έχουμε μια θεωρία νοημοσύνης τόσο ισχυρή όσο οι θεωρίες της λογικής ή του λογισμού.

Για εμάς αυτό σημαίνει οικοδόμηση. Σημαίνει τη δημιουργία εκπληκτικών εργαλείων τεχνητής νοημοσύνης και τη μεταφορά του στα χέρια των ανθρώπων. Σημαίνει απελευθέρωση πραγμάτων που σπάνε το καλούπι, που κανείς δεν έχει κάνει πριν, και που —περισσότερο από οτιδήποτε άλλο— είναι ενδιαφέροντα και χρήσιμα.

Σύμφωνα με τα λόγια του Sir Francis Bacon, «Η γνώση είναι δύναμη». Κατά συνέπεια, ο καλύτερος τρόπος για να είμαστε σίγουροι ότι κατανοούμε την τεχνητή νοημοσύνη είναι να κυκλοφορήσουμε ισχυρά εργαλεία. Κατά τη γνώμη μας, ένα μοντέλο δρομολογητή είναι ένα εργαλείο αυτού του είδους. Είμαστε ενθουσιασμένοι που το χτίζουμε, το μεγαλώνουμε και το αφήνουμε στα χέρια των ανθρώπων.

Αυτό είναι το πρώτο από τα πολλά εργαλεία που πρόκειται να κυκλοφορήσουμε τους επόμενους μήνες. Για να ανακαλύψετε μια όμορφη θεωρία τεχνητής νοημοσύνης, για να ενεργοποιήσετε εντελώς νέους τύπους υποδομής τεχνητής νοημοσύνης, για να βοηθήσετε στη δημιουργία ενός λαμπρότερου μέλλοντος τόσο για τον άνθρωπο όσο και για τη μηχανή – ανυπομονούμε να μοιραστούμε αυτά τα εργαλεία μαζί σας.

Σας ευχαριστούμε για την υπέροχη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να το επισκεφτούν άρειος.