Etan Ginsberg, Συνιδρυτής της Martian – Σειρά Συνεντεύξεων

Ο Etan Ginsberg είναι ο Συνιδρυτής της Martian, μια πλατφόρμα που δυναμικά κατευθύνει κάθε πρόταση στο καλύτερο LLM. Μέσω της κατεύθυνσης, η Martian επιτυγχάνει υψηλότερη απόδοση και χαμηλότερο κόστος από οποιοδήποτε ατομικό πάροχο, συμπεριλαμβανομένου του GPT-4. Το σύστημα είναι κατασκευασμένο με την μοναδική τεχνολογία Model Mapping της εταιρείας, η οποία αποσυνδέει τα LLM από σύνθετα μαύρα κουτιά σε μια πιο ερμηνεύσιμη αρχιτεκτονική, καθιστώντας την την πρώτη εμπορική εφαρμογή της μεχανιστικής ερμηνευσιμότητας.

Ο Etan έχει κωδικοποιήσει, σχεδιάσει ιστοσελίδες και έχει δημιουργήσει ηλεκτρονικές επιχειρήσεις για πελάτες από τότε που ήταν στο γυμνάσιο. Ένας πολύπλευρος, ο Etan είναι Διαγωνιζόμενος στο Παγκόσμιο Πρωτάθλημα Μνήμης και κατέλαβε την 2η θέση στο Παγκόσμιο Πρωτάθλημα Ταχύτητας Ανάγνωσης στο Σενζέν, στην Κίνα.

Είναι ένας διαγωνιζόμενος vid hackathon. Παλιά βραβεία περιλαμβάνουν το 3ο βραβείο στο Tech Crunch SZ, τον τελικό 7ο τελικό στο Princeton Hackathon και 3 βιομηχανικά βραβεία στο Yale Hackathon.

Είσαι προηγούμενος δύο φορές ιδρυτής startup, ποίες ήταν αυτές οι εταιρείες και τι μάθατε από αυτή την εμπειρία;

Η πρώτη εταιρεία μου ήταν η πρώτη πλατφόρμα για την προώθηση και την προαγωγή του αθλήματος του American Ninja Warrior. Το 2012, είδα το American Ninja Warrior ως ένα υπόγειο άθλημα (παρόμοιο με το MMA στις αρχές της δεκαετίας του ’90) και δημιούργησα την πρώτη πλατφόρμα όπου οι άνθρωποι μπορούσαν να αγοράσουν蓝prints, να παραγγείλουν εμπόδια και να βρουν γυμναστήρια για να προπονηθούν. Συμβούλευα εταιρείες που ήθελαν να ξεκινήσουν τα δικά τους γυμναστήρια, συμπεριλαμβανομένης της βοήθειας των Αμερικανικών Đặc Forces με einen εκπαιδευτικό курсο και την κλιμάκωση eines γυμναστηρίου από ένα σχέδιο σε $300.000 έσοδα μέσα σε 3 μήνες.尽管 ήμουν στο λύκειο, είχα την πρώτη μου εμπειρία στη διαχείριση ομάδων 20+ εργαζομένων και έμαθα για την αποτελεσματική διαχείριση και τις διαπροσωπικές σχέσεις.

Η δεύτερη εταιρεία μου ήταν μια εναλλακτική εταιρεία διαχείρισης περιουσίας που συνίδρυσα το 2017, πριν από το κύμα ICO στη κρυπτονομίσματα. Αυτή ήταν η πρώτη μου έκθεση στο NLP, όπου χρησιμοποιήσαμε ανάλυση συναισθήματος των δεδομένων των κοινωνικών μέσων ως στρατηγική επένδυσης.

Μάθατε πολλά από τις σκληρές και μαλακές δεξιότητες που περιλαμβάνονται στη διεξαγωγή μιας startup — από το πώς να διαχειριστείτε μια ομάδα μέχρι τις τεχνικές πτυχές του NLP. Ταυτόχρονα, έμαθα επίσης πολλά για τον εαυτό μου και για το τι ήθελα να εργαστώ. Πιστεύω ότι οι πιο επιτυχημένες εταιρείες ξεκινούν από ιδρυτές που έχουν ένα ευρύτερο όραμα ή στόχο που τους οδηγεί. Έφυγα από το κρυπτονόμισμα το 2017 για να επικεντρωθώ στο NLP, επειδή η ενίσχυση και η κατανόηση της ανθρώπινης νοημοσύνης είναι κάτι που με οδηγεί πραγματικά. Ήμουν χαρούμενος που το ανακάλυψα.

Κατά τη διάρκεια της παραμονής σας στο Πανεπιστήμιο της Πενσυλβάνια, κάνατε κάποια έρευνα για την τεχνητή νοημοσύνη, τι ερευνάτε συγκεκριμένα;

Η έρευνά μας αρχικά επικεντρώθηκε στη δημιουργία εφαρμογών των LLM. Συγκεκριμένα, εργαστήκαμε σε εκπαιδευτικές εφαρμογές των LLM και κατασκευάσαμε τον πρώτο LLM-ενισχυμένο γνωστικό δάσκαλο. Τα αποτελέσματα ήταν khá καλά – είδαμε μια βελτίωση 0,3 τυπικής απόκλισης στα αποτελέσματα των μαθητών στις αρχικές πειραματικές δοκιμές – και το σύστημά μας έχει χρησιμοποιηθεί από το Πανεπιστήμιο της Πενσυλβάνια στο Πανεπιστήμιο του Μπουτάν.

Μπορείτε να συζητήσετε πώς αυτή η έρευνα οδήγησε στην συνίδρυση της Martian;

Επειδή ήμαστε κάποιοι από τους πρώτους ανθρώπους που κατασκευάσαμε εφαρμογές πάνω από τα LLM, ήμαστε επίσης κάποιοι από τους πρώτους ανθρώπους που συναντήσαμε τα προβλήματα που αντιμετωπίζουν οι άνθρωποι όταν κατασκευάζουν εφαρμογές πάνω από τα LLM. Αυτό καθοδήγησε την έρευνά μας προς το επίπεδο της υποδομής. Για παράδειγμα, khá sớm, ήμαστε fine-tuning μικρότερων μοντέλων στις εξόδους μεγαλύτερων μοντέλων όπως το GPT-3, και fine-tuning μοντέλων σε εξειδικευμένες πηγές δεδομένων για εργασίες όπως η προγραμματισμός και η επίλυση μαθηματικών προβλημάτων. Αυτό τελικά μας οδήγησε σε προβλήματα σχετικά με την κατανόηση της συμπεριφοράς του μοντέλου και της διαδρομής του μοντέλου.

Οι απαρχές του ονόματος Martian και η σχέση του με την νοημοσύνη είναι επίσης ενδιαφέρουσες, μπορείτε να μοιραστείτε την ιστορία του πώς αυτό το όνομα επιλέχθηκε;

Η εταιρεία μας ονομάζεται μετά από μια ομάδα Ούγγρο-Αμερικανών επιστημόνων γνωστών ως “The Martians“. Αυτή η ομάδα, η οποία ζούσε τον 20ό αιώνα, αποτελούνταν από κάποια από τους πιο έξυπνους ανθρώπους που έχουν ζήσει ποτέ:

• Ο πιο διάσημος μεταξύ τους ήταν ο John Von Neumann· 그는 εφηύρε την θεωρία παιχνιδιών, την σύγχρονη αρχιτεκτονική υπολογιστή, τη θεωρία αυτομάτων και έκανε θεμελιώδεις συνεισφορές σε δεκάδες άλλα πεδία.
• Ο Paul Erdos ήταν ο πιο παραγωγικός μαθηματικός όλων των εποχών, έχοντας δημοσιεύσει πάνω από 1500 έγγραφα.
• Ο Theodore Von Karman καθιέρωσε τις θεμελιώδεις θεωρίες της αεροδυναμικής και βοήθησε στην ίδρυση του Αμερικανικού διαστημικού προγράμματος. Το ανθρώπινο ορισμένο σύνορο μεταξύ της Γης και του εξωτερικού χώρου ονομάζεται “γραμμή Kármán” σε αναγνώριση του έργου του.
• Ο Leo Szilard εφηύρε την ατομική βόμβα, τη θεραπεία ακτινοβολίας και τους επιταχυντές σωματιδίων.

Αυτοί οι επιστήμονες και 14 άλλοι σαν αυτούς (συμπεριλαμβανομένου του εφευρέτη της υδρογόνου βόμβας, του ανθρώπου που εισήγαγε τη θεωρία ομάδων στη σύγχρονη φυσική, και θεμελιωδών συντελεστών σε πεδία όπως η συνδυαστική, η θεωρία αριθμών, η αριθμητική ανάλυση και η θεωρία πιθανοτήτων) μοιράζονταν μια αξιοσημείωτη ομοιότητα – όλοι γεννήθηκαν στην ίδια περιοχή της Βουδαπέστης. Αυτό οδήγησε τους ανθρώπους να αναρωτηθούν: τι ήταν η πηγή τόσο μεγάλης νοημοσύνης;

Als απάντηση, ο Szilard αστειεύτηκε ότι, “Οι Μαρτιάνοι είναι ήδη εδώ, και αυτοαποκαλούνται Ούγγροι!” Στην πραγματικότητα… κανείς δεν ξέρει.

Η ανθρωπότητα βρίσκεται σε μια παρόμοια θέση σήμερα με σχέση σε ένα νέο σύνολο πιθανώς υπερέξυπνων νου: Τη Τεχνητή Νοημοσύνη. Οι άνθρωποι ξέρουν ότι τα μοντέλα μπορούν να είναι απίστευτα έξυπνα, αλλά δεν έχουν ιδέα πώς λειτουργούν.

Ο στόχος μας είναι να απαντήσουμε σε αυτό το ερώτημα – να κατανοήσουμε και να εκμεταλλευτούμε τη σύγχρονη υπερνοημοσύνη.

Έχετε μια ιστορία απίστευτων κατορθωμάτων μνήμης, πώς μπήκατε σε αυτές τις προκλήσεις μνήμης και πώς αυτή η γνώση σας βοήθησε με την έννοια της Martian;

Στις περισσότερες αθλητικές δραστηριότητες, ένας επαγγελματίας αθλητής μπορεί να εκτελέσει περίπου 2-3 φορές καλύτερα από τον μέσο άνθρωπο (συγκρίνετε πόσο μακριά μπορεί ένας μέσος άνθρωπος να κάνει ένα γκολ ή πόσο γρήγορα μπορεί να ρίξει μια μπάλα σε σχέση με έναν επαγγελματία). Οι αθλητικές δραστηριότητες μνήμης είναι ενδιαφέρουσες επειδή οι κορυφαίοι αθλητές μπορούν να θυμηθούν 100 φορές ή ακόμη και 1000 φορές περισσότερα από τον μέσο άνθρωπο με λιγότερη εκπαίδευση από την περισσότερη αθλητική δραστηριότητα. Επιπλέον, αυτοί είναι συχνά άνθρωποι με μέση φυσική μνήμη που πιστώνουν την απόδοσή τους σε συγκεκριμένες τεχνικές που οποιοςδήποτε μπορεί να μάθει. Θέλω να μεγιστοποιήσω την γνώση της ανθρωπότητας, και είδα το παγκόσμιο πρωτάθλημα μνήμης ως μια υποτιμημένη έμπνευση για το πώς podemos να οδηγήσουμε εξαιρετικά οφέλη στην αύξηση της ανθρώπινης νοημοσύνης.

Θέλησα να αναπτύξω τεχνικές μνήμης σε ολόκληρο το εκπαιδευτικό σύστημα, οπότε άρχισα να εξερευνώ πώς το NLP και τα LLM μπορούν να βοηθήσουν στη μείωση του κόστους εγκατάστασης που εμποδίζουν τις περισσότερες αποτελεσματικές εκπαιδευτικές μεθόδους να χρησιμοποιηθούν στο κυρίως εκπαιδευτικό σύστημα. Ο Yash και εγώ δημιούργησαμε τον πρώτο LLM-ενισχυμένο γνωστικό δάσκαλο και αυτό μας οδήγησε να ανακαλύψουμε τα προβλήματα με την ανάπτυξη LLM που τώρα βοηθάμε να λύσουμε.

Η Martian είναι ουσιαστικά η αφαίρεση της απόφασης για το ποιο Μεγάλο Γλωσσικό Μοντέλο (LLM) να χρησιμοποιηθεί, γιατί αυτό είναι目前 ένα πόνο για τους développers;

Γίνεται όλο και πιο εύκολο να δημιουργηθούν γλωσσικά μοντέλα – το κόστος του υπολογισμού μειώνεται, οι αλγόριθμοι γίνονται πιο αποτελεσματικοί και περισσότερα ανοιχτά εργαλεία είναι διαθέσιμα για να δημιουργηθούν αυτά τα μοντέλα. Jako αποτέλεσμα, περισσότερες εταιρείες και développers δημιουργούν προσαρμοσμένα μοντέλα που εκπαιδεύονται σε προσαρμοσμένα δεδομένα.既然 αυτά τα μοντέλα έχουν διαφορετικά κόστη και ικανότητες, μπορείτε να πάρτε καλύτερη απόδοση χρησιμοποιώντας πολλά μοντέλα, αλλά είναι δύσκολο να τα δοκιμάσετε όλα και να βρείτε τα σωστά να χρησιμοποιηθούν. Nous nous occupons de cela pour les développers.

Μπορείτε να συζητήσετε πώς το σύστημα καταλαβαίνει ποιο LLM είναι το καλύτερο για κάθε συγκεκριμένη εργασία;

Η καλή διαδρομή είναι ουσιαστικά ένα πρόβλημα σχετικά με την κατανόηση των μοντέλων. Για να διαδρομήσετε αποτελεσματικά μεταξύ των μοντέλων, θέλετε να μπορείτε να κατανοήσετε τι προκαλεί την αποτυχία ή την επιτυχία τους. Η ικανότητα να κατανοήσετε αυτές τις ιδιότητες με το μοντέλο-χαρτογράφηση μας επιτρέπει να καθορίσουμε πόσο καλά θα εκτελεστεί ένα δεδομένο μοντέλο σε μια αίτηση χωρίς να χρειάζεται να εκτελέσουμε αυτό το μοντέλο. Jako αποτέλεσμα, podemos να στείλουμε αυτήν την αίτηση στο μοντέλο που θα παράγει το καλύτερο αποτέλεσμα.

Μπορείτε να συζητήσετε τον τύπο των οικονομικών αποταμιεύσεων που μπορούν να φανούν από την оптимποίηση του LLM που χρησιμοποιείται;

Nous nous permettons aux utilisateurs de spécifier comment ils échangent entre coût et performance. Si vous vous souciez uniquement de la performance, nous pouvons dépasser le GPT-4 sur openai/evals. Si vous cherchez un coût spécifique pour faire fonctionner vos économies, nous vous permettons de spécifier le coût maximum pour votre demande, puis de trouver le meilleur modèle pour compléter cette demande. Et si vous voulez quelque chose de plus dynamique, nous vous permettons de spécifier combien vous êtes prêt à payer pour une meilleure réponse – de cette façon, si deux modèles ont des performances similaires mais une grande différence de coût, nous pouvons vous permettre d’utiliser les modèles moins chers. Certains de nos clients ont vu jusqu’à une diminution de 12 fois du coût.

Τι είναι η όρασή σας για το μέλλον της Martian;

Κάθε φορά που βελτιώνουμε την θεμελιώδη κατανόηση των μοντέλων, αυτό οδηγεί σε μια παραλλαγή για την τεχνητή νοημοσύνη. Η fine-tuning ήταν η παραλλαγή που οδηγήθηκε από την κατανόηση των εξόδων. Η προώθηση είναι η παραλλαγή που οδηγήθηκε από την κατανόηση των εισόδων. Αυτή η διαφορά στην κατανόηση των μοντέλων είναι μεγάλο μέρος αυτού που διακρίνει την παραδοσιακή ML (“ας εκπαιδεύσουμε einen αναλυτή”) και τη σύγχρονη γεννήτρια AI (“ας προωθήσουμε einen baby AGI”).

Ο στόχος μας είναι να παραδώσουμε συνεχώς καινοτομίες στην ερμηνευσιμότητα μέχρι η τεχνητή νοημοσύνη να κατανοηθεί πλήρως και να έχουμε μια θεωρία της νοημοσύνης τόσο ισχυρή όσο οι θεωρίες μας για τη λογική ή την ανάλυση.

Για εμάς, αυτό σημαίνει να κατασκευάσουμε. Σημαίνει να δημιουργήσουμε εξαιρετικά εργαλεία AI και να τα βάλουμε στα χέρια των ανθρώπων. Σημαίνει να κυκλοφορήσουμε πράγματα που σπάζουν το μούλτι, που κανείς δεν έχει κάνει πριν, και που – πάνω από όλα – είναι ενδιαφέροντα και χρήσιμα.

Στα λόγια του Σερ Φράνσις Μπέικον, “Η γνώση είναι δύναμη”. Κατάλληλα, ο καλύτερος τρόπος για να είμαστε σίγουροι ότι κατανοούμε την τεχνητή νοημοσύνη είναι να κυκλοφορήσουμε ισχυρά εργαλεία. Κατά την άποψή μας, ένας διαδρομητής μοντέλου είναι ένα εργαλείο αυτού του είδους. Είμαστε ενθουσιασμένοι να το κατασκευάσουμε, να το μεγαλώσουμε και να το βάλουμε στα χέρια των ανθρώπων.

Αυτή είναι η πρώτη από πολλά εργαλεία που θα κυκλοφορήσουμε τις επόμενες μήνες. Για να ανακαλύψουμε μια όμορφη θεωρία της τεχνητής νοημοσύνης, να ενεργοποιήσουμε εντελώς νέους τύπους υποδομής AI, να βοηθήσουμε να κατασκευάσουμε ένα φωτεινότερο μέλλον για τον άνθρωπο και τη μηχανή – δεν μπορούμε να περιμένουμε να μοιραστούμε αυτά τα εργαλεία μαζί σας.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που θέλουν να μάθουν περισσότερα πρέπει να επισκεφθούν Martian.