Σαουράβ Βιτζ, Διευθύνων Σύμβουλος και Συνιδρυτής της MonsterAPI – Σειρά Συνεντεύξεων

Ο Σαουράβ Βιτζ είναι ο Διευθύνων Σύμβουλος και συνιδρυτής της MonsterAPI. Προηγουμένως εργάστηκε ως φυσικός σωματιδίων στο CERN και αναγνώρισε το δυναμικό για αποκεντρωμένη υπολογιστική από έργα όπως το LHC@home.

Η MonsterAPI αξιοποιεί φθηνότερους GPU από crypto mining farms σε μικρότερα ανενεργά κέντρα δεδομένων για να παρέχει κλιμακωτή, προσιτή υποδομή GPU για μηχανική μάθηση, επιτρέποντας στους προγραμματιστές να έχουν πρόσβαση, να λεπτομερή προσαρμογή και να αναπτύσσουν μοντέλα AI με σημαντικά μειωμένα κόστη χωρίς να γράψουν μία μόνο γραμμή κώδικα.

Πριν από τη MonsterAPI, έτρεξε δύο startups, συμπεριλαμβανομένης μιας που ανέπτυξε ένα wearable ασφαλές συσκευή για γυναίκες στην Ινδία, σε συνεργασία με την Κυβέρνηση της Ινδίας και το IIT Delhi.

Μπορείτε να μοιραστείτε την ιστορία πίσω από το MonsterGPT;

Η αποστολή μας έχει πάντα ήταν “να βοηθήσουμε τους προγραμματιστές να λεπτομερή προσαρμογή και να αναπτύσσουν μοντέλα AI γρηγορότερα και με τον ευκολότερο τρόπο δυνατό.” Καταλάβαμε ότι υπάρχουν πολλά σύνθετα προβλήματα που αντιμετωπίζουν όταν θέλουν να λεπτομερή προσαρμογή και να αναπτύσσουν ένα μοντέλο AI.

Από το να αντιμετωπίζουν τον κώδικα μέχρι τη ρύθμιση των Docker containers σε GPU και την κλιμάκωση τους ανά πάσα στιγμή

Και το ρυθμό με τον οποίο κινείται το οικοσύστημα, απλά λεπτομερή προσαρμογή δεν είναι αρκετό. Πρέπει να γίνει με τον σωστό τρόπο: Αποφεύγοντας την underfitting, overfitting, hyper-parameter βελτιστοποίηση, ενσωματώνοντας τις τελευταίες μεθόδους όπως LORA και Q-LORA για να γίνεται γρηγορότερα και οικονομικότερα η λεπτομερής προσαρμογή. Μόλις λεπτομερή προσαρμογή, το μοντέλο πρέπει να αναπτυχθεί αποτελεσματικά.

Μας έκανε να καταλάβουμε ότι η προσφορά ενός εργαλείου για ένα μικρό μέρος της διαδικασίας δεν είναι αρκετό. Ένας développer χρειάζεται ολόκληρη την βελτιστοποιημένη διαδικασία σε συνδυασμό με μια μεγάλη διεπαφή που είναι εξοικειωμένοι. Από λεπτομερή προσαρμογή σε αξιολόγηση και τελική ανάπτυξη των μοντέλων τους.

Ρώτησα τον εαυτό μου: Ως πρώην φυσικός σωματιδίων, καταλαβαίνω τον βαθύ αντίκτυπο που μπορεί να έχει η AI στην επιστημονική εργασία, αλλά δεν ξέρω από πού να αρχίσω. Έχω καινοτόμες ιδέες αλλά λείπω χρόνο για να μάθω όλα τα δεξιότητες και τις ιδιαιτερότητες της μηχανικής μάθησης και υποδομής.

Τι αν μπορούσα απλά να μιλήσω με μια AI, να της δώσω τις απαιτήσεις μου και να της ζητήσω να χτίσει ολόκληρη τη διαδικασία για μένα, παρέχοντας το απαιτούμενο API endpoint;

Αυτό οδήγησε στην ιδέα ενός βασισμένου σε συνομιλία συστήματος για να βοηθήσει τους προγραμματιστές να λεπτομερή προσαρμογή και να αναπτύσσουν χωρίς κόπο.

Το MonsterGPT είναι ο πρώτος μας βήμας σε αυτή τη διαδρομή.

Υπάρχουν εκατομμύρια προγραμματιστές, καινοτόμες και επιστήμονες σαν εμάς που θα μπορούσαν να αξιοποιήσουν αυτήν την προσέγγιση για να χτίσουν περισσότερα domain-ειδικά μοντέλα για τα έργα τους.

Μπορείτε να εξηγήσετε την υποκείμενη τεχνολογία πίσω από το βασισμένο στο GPT deployment agent της Monster API;

MonsterGPT αξιοποιεί προηγμένες τεχνολογίες για να αναπτύξει και λεπτομερή προσαρμογή αποτελεσματικά ανοιχτά μοντέλα μεγάλης γλώσσας (LLMs) όπως το Phi3 από τη Microsoft και το Llama 3 από τη Meta.

1. RAG με ρύθμιση περιβάλλοντος: Αυτόματα προετοιμάζει ρυθμίσεις με τα σωστά hyperparameters για λεπτομερή προσαρμογή LLMs ή ανάπτυξη μοντέλων χρησιμοποιώντας κλιμακωτά REST APIs από τη MonsterAPI.
2. LoRA (Low-Rank Adaptation): Επιτρέπει αποτελεσματικό λεπτομερή προσαρμογή ανανεώνοντας μόνο ένα υποσύνολο παραμέτρων, μειώνοντας τον υπολογιστικό φόρτο και τις απαιτήσεις μνήμης.
3. Quantization Τεχνικές: Χρησιμοποιεί GPT-Q και AWQ για να βελτιστοποιήσει την απόδοση του μοντέλου μειώνοντας την ακρίβεια, που μειώνει το αποτύπωμα μνήμης και επιταχύνει την ανάκτηση χωρίς σημαντική απώλεια ακρίβειας.
4. vLLM Engine: Παρέχει υψηλής απόδοσης LLM serving με χαρακτηριστικά όπως συνεχής batching, βελτιστοποιημένα CUDA kernels και παράλληλες αλγόριθμοι αποκωδικοποίησης για αποτελεσματική μεγάλης κλίμακας ανάκτηση.
5. Αποκεντρωμένα GPU για κλίμακα και προσιτότητα: Οι εργασίες λεπτομερή προσαρμογή και ανάπτυξής μας τρέχουν σε ένα δίκτυο φθηνότερων GPU από πολλούς προμηθευτές από μικρότερα κέντρα δεδομένων σε αναδυόμενα GPU clouds όπως το coreweave για να παρέχουν χαμηλότερα κόστη, υψηλή επιλογή και διαθεσιμότητα GPU για να εξασφαλίσουν κλιμακωτή και αποτελεσματική επεξεργασία.

Δείτε αυτό το τελευταίο blog για ανάπτυξη Llama 3 χρησιμοποιώντας MonsterGPT:

Πώς απλοποιεί τη διαδικασία λεπτομερή προσαρμογή και ανάπτυξης;

MonsterGPT παρέχει μια διεπαφή chat με ικανότητα να κατανοήσει οδηγίες σε φυσική γλώσσα για την εκκίνηση, παρακολούθηση και διαχείριση ολοκληρωμένων εργασιών λεπτομερή προσαρμογή και ανάπτυξης. Αυτή η ικανότητα απομακρύνει πολλά σύνθετα βήματα όπως:

• Κατασκευή ενός data pipeline
• Εύρεση του σωστού GPU υπολογισμού για την εργασία
• Ρύθμιση των κατάλληλων hyperparameters
• Ρύθμιση του ML περιβάλλοντος με συμβατά frameworks και βιβλιοθήκες
• Εφαρμογή λεπτομερή προσαρμογή scripts για LoRA/QLoRA αποτελεσματικό λεπτομερή προσαρμογή με στρατηγικές quantization.
• Αντιμετώπιση προβλημάτων όπως out of memory και σφάλματα κώδικα.
• Σχεδιασμός και εφαρμογή multi-node auto-scaling με υψηλής απόδοσης serving engines όπως vLLM για LLM ανάπτυξη.

Τι είδους διεπαφή χρήστη και εντολές μπορούν οι προγραμματιστές να περιμένουν όταν αλληλεπιδρούν με τη διεπαφή chat της Monster API;

Η διεπαφή χρήστη είναι μια απλή Chat UI στην οποία οι χρήστες μπορούν να ζητήσουν από το agent να λεπτομερή προσαρμογή ένα LLM για μια συγκεκριμένη εργασία όπως περίληψη, ολοκλήρωση chat, γεννήτρια κώδικα, γραφή blog κ.λπ. και στη συνέχεια, μια φορά λεπτομερή προσαρμογή, το GPT μπορεί να οδηγηθεί να αναπτύξει το LLM και να ερωτήσει το αναπτυγμένο μοντέλο από τη διεπαφή GPT. Ορισμένα παραδείγματα εντολών περιλαμβάνουν:

• Προσάρμοσε λεπτομερώς ένα LLM για γεννήτρια κώδικα σε X dataset
• Θέλω ένα μοντέλο λεπτομερή προσαρμογή για γραφή blog
• Δώστε μου ένα API endpoint για το Llama 3 μοντέλο.
• Αναπτύξτε ένα μικρό μοντέλο για χρήση περίπτωσης blog writing

Αυτό είναι εξαιρετικά χρήσιμο επειδή η εύρεση του σωστού μοντέλου για το έργο σας μπορεί συχνά να γίνει μια χρονοβόρα εργασία. Με νέα μοντέλα που εμφανίζονται καθημερινά, μπορεί να οδηγήσει σε πολλή σύγχυση.

Πώς συγκρίνεται η λύση της Monster API σε όρους ευχρηστίας και αποδοτικότητας με τις παραδοσιακές μεθόδους ανάπτυξης μοντέλων AI;

Η λύση της Monster API βελτιώνει σημαντικά την ευχρηστία και την αποδοτικότητα σε σύγκριση με τις παραδοσιακές μεθόδους ανάπτυξης μοντέλων AI.

Για Ευχρηστία:

1. Αυτοματοποιημένη Ρύθμιση: Οι παραδοσιακές μεθόδους συχνά απαιτούν εκτεταμένη χειροκίνητη ρύθμιση των hyperparameters και ρυθμίσεων, που μπορεί να είναι προβληματική και χρονοβόρα. Η MonsterAPI αυτοματοποιεί αυτήν τη διαδικασία χρησιμοποιώντας RAG με περιβάλλον, απλοποιώντας τη ρύθμιση και μειώνοντας την πιθανότητα λαθών.
2. Κλιμακωτά REST APIs: Η MonsterAPI παρέχειδιαισθητικά REST APIs για ανάπτυξη και λεπτομερή προσαρμογή μοντέλων, καθιστώντας την προσβάσιμη ακόμη και για χρήστες με περιορισμένες γνώσεις μηχανικής μάθησης. Οι παραδοσιακές μεθόδους συχνά απαιτούν βαθιά τεχνική γνώση και σύνθετο κώδικα για ανάπτυξη.
3. Ενιαία Πλατφόρμα: Ενσωματώνει ολόκληρη τη διαδικασία, από λεπτομερή προσαρμογή σε ανάπτυξη, σε μία ενιαία πλατφόρμα. Οι παραδοσιακές προσεγγίσεις μπορεί ναπεριλαμβάνουν διαφορετικά εργαλεία και πλατφόρμες, οδηγώντας σε ανεπάρκειες και προκλήματα ολοκλήρωσης.

Για Αποδοτικότητα:

Η MonsterAPI προσφέρει μια ροή διαδικασίας για LoRA Fine-Tuning με ενσωματωμένη Quantization για αποτελεσματική χρήση μνήμης και vLLM engine powered LLM serving για επίτευξη υψηλής απόδοσης με συνεχής batching και βελτιστοποιημένα CUDA kernels, σε συνδυασμό με μια οικονομικά αποδοτική, κλιμακωτή και υψηλά διαθέσιμη Αποκεντρωμένη GPU cloud με απλοποιημένη παρακολούθηση και καταγραφή.

Αυτή η ολόκληρη διαδικασία βελτιώνει την παραγωγικότητα των προγραμματιστές ermögοντας τη δημιουργία production-βαθμού προσαρμοσμένων LLM εφαρμογών ενώ μειώνει την ανάγκη για σύνθετες τεχνικές δεξιότητες.

Μπορείτε να παρέχετε παραδείγματα περιπτώσεων χρήσης όπου η Monster API έχει μειώσει σημαντικά τον χρόνο και τους πόρους που απαιτούνται για ανάπτυξη μοντέλων;

Μια εταιρεία IT consulting χρειαζόταν να λεπτομερή προσαρμογή και να αναπτύξει το Llama 3 μοντέλο για να εξυπηρετήσει τις επιχειρηματικές ανάγκες του πελάτη. Χωρίς τη MonsterAPI, θα χρειαζόταν μια ομάδα 2-3 MLOps μηχανικών με βαθιά γνώση των hyperparameters για να βελτιστοποιήσει την ποιότητα του μοντέλου στο δεδομένο dataset, και στη συνέχεια να το αναπτύξει ως ένα κλιμακωτό REST API endpoint χρησιμοποιώντας auto-scaling και ορχήστρα, πιθανώς στο Kubernetes. Επιπλέον, για να βελτιστοποιήσει την οικονομία της υπηρεσίας του μοντέλου, ήθελε να χρησιμοποιήσει frameworks όπως LoRA για λεπτομερή προσαρμογή και vLLM για μοντέλο υπηρεσίας για να βελτιστοποιήσει τα μετρικά κόστους ενώ μειώνει την κατανάλωση μνήμης. Αυτό μπορεί να είναι ένα σύνθετο πρόβλημα για πολλούς προγραμματιστές και μπορεί να πάρει εβδομάδες ή ακόμη και μήνες για να επιτύχει μια production-έτοιμη λύση. Με τη MonsterAPI, ήταν σε θέση να πειραματιστεί με πολλαπλά λεπτομερή προσαρμογή runs μέσα σε μια ημέρα και να αναπτύξει το λεπτομερή προσαρμογή μοντέλο με το καλύτερο evaluation score μέσα σε quelques ώρες, χωρίς να απαιτεί πολλαπλά engineering πόρους με βαθιά MLOps δεξιότητες.

Πώς η Monster API δημοκρατίζει την πρόσβαση σε γεννητικές μοντέλα AI για μικρότερους προγραμματιστές και startups;

Οι μικρότεροι προγραμματιστές και startups συχνά παλεύουν για να παράγουν και να χρησιμοποιήσουν υψηλής ποιότητας μοντέλα AI λόγω έλλειψης κεφαλαίου και τεχνικών δεξιοτήτων. Οι λύσεις μας ενδυναμώνουν αυτές τις ομάδες μειώνοντας τα κόστη, απλοποιώντας τις διαδικασίες και παρέχοντας robust no-code/low-code εργαλεία για την υλοποίηση production-έτοιμων AI pipelines.

Αξιοποιώντας την αποκεντρωμένη GPU cloud μας, προσφέρουμε προσιτές και κλιμακωτές GPU πόρους, μειώνοντας σημαντικά το κόστος εμπόδιο για υψηλής απόδοσης μοντέλο ανάπτυξης. Η αυτοματοποιημένη ρύθμιση και λεπτομερή προσαρμογή της πλατφόρμας απλοποιούν τη διαδικασία, εξαλείφοντας την ανάγκη για βαθιά τεχνική εμπειρία.

Οιδιαισθητικές REST APIs και η ολοκληρωμένη διαδικασία μας συνδυάζουν λεπτομερή προσαρμογή και ανάπτυξη σε μία ενιαία, συνεκτική διαδικασία, καθιστώντας τις προηγμένες AI τεχνολογίες προσβάσιμες ακόμη και για εκείνους με περιορισμένες εμπειρίες. Επιπλέον, η χρήση αποτελεσματικών LoRA λεπτομερή προσαρμογή και quantization τεχνικών όπως GPT-Q και AWQ εξασφαλίζει την βέλτιστη απόδοση σε λιγότερο ακριβή υλικό, μειώνοντας ακόμη περισσότερο τα έξοδα εισόδου.

Αυτή η προσέγγιση ενδυναμώνει μικρότερους προγραμματιστές και startups να υλοποιούν και να διαχειρίζονται προηγμένα γεννητικά μοντέλα AI αποτελεσματικά.

Τι είδους μεγάλη πρόοδο ή χαρακτηριστικό η Monster API θα φέρει στην κοινότητα ανάπτυξης AI;

Εργαζόμαστε σε μερικά καινοτόμα προϊόντα για να προωθήσουμε την πρόοδο μας: Βοηθήστε τους προγραμματιστές να λεπτομερή προσαρμογή και να αναπτύσσουν μοντέλα γρηγορότερα, ευκολότερα και με τον πιο οικονομικό τρόπο.

Αμέσως επόμενο είναι ένα Full MLOps AI Assistant που πραγματοποιεί έρευνα σε νέες βελτιστοποιήσεις στρατηγικών για LLMOps και τις ενσωματώνει σε υπάρχουσες διαδικασίες για να μειώσει την προσπάθεια των προγραμματιστές στην κατασκευή νέων και καλύτερων μοντέλων ενώ επίσης επιτρέπει την πλήρη προσαρμογή και ανάπτυξη production-βαθμού LLM pipelines.

Λέτε ότι χρειάζεστε να γεννήσετε 1 εκατομμύριο εικόνες ανά λεπτό για την περίπτωσή σας. Αυτό μπορεί να είναι εξαιρετικά ακριβό. Παραδοσιακά, θα χρησιμοποιούσατε το Stable Diffusion μοντέλο και θα ξοδεύατε ώρες για να βρείτε και να δοκιμάσετε βελτιστοποίηση frameworks όπως το TensorRT για να βελτιστοποιήσετε την απόδοση σας χωρίς να επηρεάσετε την ποιότητα και την καθυστέρηση της έξοδου.

Ωστόσο, με το MLOps agent της MonsterAPI, δεν θα χρειαζόσασταν να σπαταλήσετε όλους αυτούς τους πόρους. Το agent θα βρει το καλύτερο framework για τις απαιτήσεις σας, αξιοποιώντας βελτιστοποιήσεις όπως το TensorRT προσαρμοσμένο στην συγκεκριμένη περίπτωσή σας.

Πώς η Monster API σχεδιάζει να συνεχίσει να υποστηρίζει και να ενσωματώνει νέα ανοιχτά μοντέλα καθώς αυτά εμφανίζονται;

Σε 3 κύριους τρόπους:

1. Να φέρει πρόσβαση στα τελευταία ανοιχτά μοντέλα
2. Να παρέχει την πιο απλή διεπαφή για λεπτομερή προσαρμογή και ανάπτυξη
3. Να βελτιστοποιήσει ολόκληρη τη στοίβα για ταχύτητα και κόστος με τα πιο προηγμένα και ισχυρά frameworks και βιβλιοθήκες

Η αποστολή μας είναι να βοηθήσουμε τους προγραμματιστές όλων των επιπέδων να υιοθετήσουν Gen AI γρηγορότερα, μειώνοντας τον χρόνο τους από μια ιδέα σε ένα καλά γυαλισμένο και κλιμακωτό API endpoint.

Θα συνεχίσουμε τις προσπάθειές μας για να παρέχουμε πρόσβαση στα τελευταία και πιο ισχυρά frameworks και βιβλιοθήκες, ενσωματωμένα σε μια ομαλή διαδικασία για την υλοποίηση end-to-end LLMOps. Είμαστε αφοσιωμένοι στη μείωση της πολυπλοκότητας για τους προγραμματιστές με τα no-code εργαλεία μας, αυξάνοντας την παραγωγικότητά τους στην κατασκευή και ανάπτυξη μοντέλων AI.

Για να επιτύχουμε αυτό, συνεχώς υποστηρίζουμε και ενσωματώνουμε νέα ανοιχτά μοντέλα, βελτιστοποίηση frameworks και βιβλιοθήκες, παρακολουθώντας τις προόδους στην AI κοινότητα. Διατηρούμε μια κλιμακωτή αποκεντρωμένη GPU cloud και ενεργά αλληλεπιδρούμε με προγραμματιστές για πρώιμη πρόσβαση και ανατροφοδότηση. Μέσω αυτοματοποιημένων διαδικασιών για ομαλή ενσωμάτωση, βελτιστοποίηση fleksibilních APIs και στρατηγικών συνεργασιών με AI ερευνητικές οργανώσεις, εξασφαλίζουμε ότι η πλατφόρμα μας παραμένει στην αιχμή της τεχνολογίας.

Επιπλέον, παρέχουμεολοκληρωμένη τεκμηρίωση και robust τεχνική υποστήριξη, επιτρέποντας στους προγραμματιστές να υιοθετήσουν και να χρησιμοποιήσουν τα τελευταία μοντέλα γρήγορα. Η MonsterAPI κρατά τους προγραμματιστές στην αιχμή της γεννητικής AI τεχνολογίας, ενδυναμώνοντάς τους να καινοτομούν και να επιτυγχάνουν.

Τι είναι τα μακροπρόθεσμα σχέδια της Monster API σε όρους τεχνολογικής ανάπτυξης και εμπορικής επέκτασης;

Μακροπρόθεσμα, θέλουμε να βοηθήσουμε τους 30 εκατομμύρια software engineers να γίνουν MLOps προγραμματιστές με τη βοήθεια του MLOps agent και όλων των εργαλείων που χτίζουμε.

Αυτό θα απαιτούσε από εμάς να χτίσουμε όχι μόνο ένα πλήρως ανεπτυγμένο agent αλλά και πολλές θεμελιώδεις ιδιοκτητικές τεχνολογίες γύρω από βελτιστοποίηση frameworks, containerisation μεθόδους και ορχήστρα.

Πιστεύουμε ότι ένας συνδυασμός μεγάλων, απλών διεπαφών, 10x περισσότερης απόδοσης και χαμηλού κόστους αποκεντρωμένων GPU έχει το δυναμικό να μεταμορφώσει την παραγωγικότητα ενός προγραμματιστές και να επιταχύνει την υιοθέτηση GenAI.

Όλες οι έρευνες και οι προσπάθειές μας είναι σε αυτήν την κατεύθυνση.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν MonsterAPI.