Σαουράβ Βιτζ, Διευθύνων Σύμβουλος και Συνιδρυτής της MonsterAPI – Σειρά Συνεντεύξεων

Ο Σαουράβ Βιτζ είναι ο Διευθύνων Σύμβουλος και συνιδρυτής της MonsterAPI. Προηγουμένως εργάστηκε ως φυσικός σωματιδίων στο CERN και αναγνώρισε το потенシャル για αποκεντρωμένη υπολογιστική από έργα όπως το LHC@home.

Η MonsterAPI αξιοποιεί φθηνότερους GPU από crypto mining farms σε μικρότερα ανενεργά κέντρα δεδομένων για να παρέχει κλιμακωτή, προσιτή υποδομή GPU για μηχανική μάθηση, επιτρέποντας στους développers να έχουν πρόσβαση, να tinh chỉnh και να αναπτύσσουν μοντέλα AI με σημαντικά μειωμένα κόστη χωρίς να γράψουν μια seule γραμμή κώδικα.

Πριν από τη MonsterAPI, έτρεξε δύο startups, συμπεριλαμβανομένης μιας που ανέπτυξε ένα wearable ασφαλές συσκευή για γυναίκες στην Ινδία, σε συνεργασία με την Κυβέρνηση της Ινδίας και το IIT Delhi.

Μπορείτε να μοιραστείτε την ιστορία πίσω από το MonsterGPT;

Η αποστολή μας έχει πάντα ήταν “να βοηθήσουμε τους développers να tinh chỉnh και να αναπτύσσουν μοντέλα AI γρηγορότερα και με τον ευκολότερο τρόπο δυνατό.” Καταλάβαμε ότι υπάρχουν πολλά σύνθετα προβλήματα που αντιμετωπίζουν όταν θέλουν να tinh chỉnh και να αναπτύσσουν ένα μοντέλο AI.

Από το να αντιμετωπίζουν τον κώδικα μέχρι τη ρύθμιση των Docker containers σε GPU και την κλιμάκωση τους ανά πάσα στιγμή

Και το ρυθμό με τον οποίο κινείται το οικοσύστημα, απλά tinh chỉnh δεν είναι αρκετό. Πρέπει να γίνει με τον σωστό τρόπο: Αποφεύγοντας την underfitting, overfitting, hyper-parameter βελτιστοποίηση, ενσωματώνοντας τις τελευταίες μεθόδους όπως LORA και Q-LORA για να thực hiện γρηγορότερα και πιο οικονομικά tinh chỉnh. Μόλις tinh chỉnh, το μοντέλο πρέπει να αναπτυχθεί αποτελεσματικά.

Μας έκανε να καταλάβουμε ότι η προσφορά ενός εργαλείου για ένα μικρό μέρος της διαδικασίας δεν είναι αρκετό. Ένας développer χρειάζεται ολόκληρη την βελτιστοποιημένη διαδικασία σε συνδυασμό με μια μεγάλη διεπαφή που είναι εξοικειωμένοι. Από tinh chỉnh σε αξιολόγηση και τελική ανάπτυξη των μοντέλων τους.

Ρώτησα τον εαυτό μου: Ως πρώην φυσικός σωματιδίων, καταλαβαίνω τον βαθύ αντίκτυπο που μπορεί να έχει η AI στην επιστημονική εργασία, αλλά δεν ξέρω από πού να αρχίσω. Έχω καινοτόμες ιδέες αλλά λείπω χρόνο για να μάθω όλα τα навыки και τις ιδιαιτερότητες της μηχανικής μάθησης και υποδομής.

Τι αν μπορούσα απλά να μιλήσω με μια AI, να της δώσω τις απαιτήσεις μου και να της ζητήσω να χτίσει ολόκληρη τη διαδικασία για μένα, παρέχοντας το απαιτούμενο API endpoint;

Αυτό οδήγησε στην ιδέα ενός chat-основанного συστήματος για να βοηθήσει τους développers να tinh chỉnh και να αναπτύσσουν χωρίς κόπο.

Το MonsterGPT είναι ο πρώτος μας βήμας σε αυτή τη διαδρομή.

Υπάρχουν εκατομμύρια développers, καινοτόμες και επιστήμονες σαν εμάς που θα μπορούσαν να αξιοποιήσουν αυτήν την προσέγγιση για να χτίσουν περισσότερα domain-ειδικά μοντέλα για τα έργα τους.

Μπορείτε να εξηγήσετε την υποκείμενη τεχνολογία πίσω από το GPT-основанό deployment agent της Monster API;

MonsterGPT αξιοποιεί προηγμένες τεχνολογίες για να αναπτύξει και tinh chỉnh αποτελεσματικά ανοιχτά μοντέλα μεγάλης γλώσσας (LLMs) όπως το Phi3 από τη Microsoft και το Llama 3 από τη Meta.

1. RAG με ρύθμιση περιβάλλοντος: Αυтомατικά προετοιμάζει ρυθμίσεις με τα σωστά hyperparameters για tinh chỉnh LLMs ή ανάπτυξη μοντέλων χρησιμοποιώντας κλιμακωτά REST APIs από τη MonsterAPI.
2. LoRA (Low-Rank Adaptation): Επιτρέπει αποτελεσματικό tinh chỉnh ανανεώνοντας μόνο ένα υποσύνολο παραμέτρων, μειώνοντας τον υπολογιστικό φόρτο και τις απαιτήσεις μνήμης.
3. Quantization Τεχνικές: Χρησιμοποιεί GPT-Q και AWQ για να βελτιστοποιήσει την απόδοση του μοντέλου μειώνοντας την ακρίβεια, που μειώνει το αποτύπωμα μνήμης και επιταχύνει την ανάκτηση χωρίς σημαντική απώλεια ακρίβειας.
4. vLLM Engine: Παρέχει υψηλής απόδοσης LLM serving με χαρακτηριστικά όπως συνεχής batching, βελτιστοποιημένα CUDA kernels και παράλληλες αλγόριθμοι αποκωδικοποίησης για αποτελεσματική μεγάλης κλίμακας ανάκτηση.
5. Αποκεντρωμένα GPU για κλίμακα και προσιτότητα: Οι εργασίες tinh chỉnh και ανάπτυξής μας τρέχουν σε ένα δίκτυο φθηνότερων GPU από πολλούς προμηθευτές από μικρότερα κέντρα δεδομένων σε αναδυόμενα GPU clouds όπως το coreweave για να παρέχουν χαμηλότερα κόστη, υψηλή επιλογή και διαθεσιμότητα GPU για να εξασφαλίσουν κλιμακωτή και αποτελεσματική επεξεργασία.

Δείτε αυτό το τελευταίο blog για ανάπτυξη Llama 3 χρησιμοποιώντας MonsterGPT:

Πώς απλοποιεί τη διαδικασία tinh chỉnh και ανάπτυξης;

MonsterGPT παρέχει μια διεπαφή chat με ικανότητα να κατανοήσει οδηγίες σε φυσική γλώσσα για την εκκίνηση, παρακολούθηση και διαχείριση ολοκληρωμένων εργασιών tinh chỉnh και ανάπτυξης. Αυτή η ικανότητα απομακρύνει πολλά σύνθετα βήματα όπως:

• Κατασκευή ενός data pipeline
• Εύρεση του σωστού GPU υπολογισμού για την εργασία
• Ρύθμιση των κατάλληλων hyperparameters
• Ρύθμιση του ML περιβάλλοντος με συμβατά frameworks και βιβλιοθήκες
• Εφαρμογή tinh chỉnh scripts για LoRA/QLoRA αποτελεσματικό tinh chỉnh με στρατηγικές quantization.
• Αντιμετώπιση προβλημάτων όπως out of memory και σφάλματα κώδικα.
• Σχεδιασμός και εφαρμογή multi-node auto-scaling με υψηλής απόδοσης serving engines όπως vLLM για LLM ανάπτυξη.

Τι είδους διεπαφή χρήστη και εντολές μπορούν οι développers να περιμένουν όταν αλληλεπιδρούν με τη διεπαφή chat της Monster API;

Η διεπαφή χρήστη είναι μια απλή Chat UI στην οποία οι χρήστες μπορούν να ζητήσουν από το agent να tinh chỉnh ένα LLM για μια συγκεκριμένη εργασία όπως περίληψη, ολοκλήρωση chat, γεννήτρια κώδικα, γραφή blog κ.λπ. και στη συνέχεια, μια φορά tinh chỉnh, το GPT μπορεί να οδηγηθεί να αναπτύξει το LLM και να ερωτήσει το αναπτυγμένο μοντέλο από τη διεπαφή GPT. Ορισμένα παραδείγματα εντολών περιλαμβάνουν:

• Τinh chỉnh ένα LLM για γεννήτρια κώδικα σε X dataset
• Θέλω ένα μοντέλο tinh chỉnh για γραφή blog
• Δώστε μου ένα API endpoint για το Llama 3 μοντέλο.
• Αναπτύξτε ένα μικρό μοντέλο για χρήση περίπτωσης blog writing

Αυτό είναι εξαιρετικά χρήσιμο επειδή η εύρεση του σωστού μοντέλου για το έργο σας μπορεί συχνά να γίνει μια χρονοβόρα εργασία. Με νέα μοντέλα που εμφανίζονται καθημερινά, μπορεί να οδηγήσει σε πολλή σύγχυση.

Πώς συγκρίνεται η λύση της Monster API σε όρους ευχρηστίας και αποδοτικότητας με τις παραδοσιακές μεθόδους ανάπτυξης μοντέλων AI;

Η λύση της Monster API βελτιώνει σημαντικά την ευχρηστία και την αποδοτικότητα σε σύγκριση με τις παραδοσιακές μεθόδους ανάπτυξης μοντέλων AI.

Για Ευχρηστία:

1. Αυτοματοποιημένη Ρύθμιση: Οι παραδοσιακές μεθόδους συχνά απαιτούν εκτεταμένη χειροκίνητη ρύθμιση των hyperparameters και ρυθμίσεων, που μπορεί να είναι προβληματική και χρονοβόρα. Η MonsterAPI αυτοματοποιεί αυτήν τη διαδικασία χρησιμοποιώντας RAG με περιβάλλον, απλοποιώντας τη ρύθμιση και μειώνοντας την πιθανότητα λαθών.
2. Κλιμακωτά REST APIs: Η MonsterAPI παρέχει直관τικά REST APIs για ανάπτυξη και tinh chỉnh μοντέλων, καθιστώντας την προσβάσιμη ακόμη και για χρήστες με περιορισμένες γνώσεις μηχανικής μάθησης. Οι παραδοσιακές μεθόδους συχνά απαιτούν βαθιά τεχνική γνώση και σύνθετο κώδικα για ανάπτυξη.
3. Ενιαία Πλατφόρμα: Ενσωματώνει ολόκληρη τη διαδικασία, από tinh chỉnh σε ανάπτυξη, σε μια seule πλατφόρμα. Οι παραδοσιακές προσεγγίσεις μπορεί να涉αριούν διαφορετικά εργαλεία και πλατφόρμες, οδηγώντας σε ανεπάρκειες και προκλήματα ολοκλήρωσης.

Για Αποδοτικότητα:

Η MonsterAPI προσφέρει μια ροή διαδικασίας για LoRA Fine-Tuning με ενσωματωμένη Quantization για αποτελεσματική χρήση μνήμης και vLLM engine powered LLM serving για επίτευξη υψηλής απόδοσης με συνεχής batching και βελτιστοποιημένα CUDA kernels, σε συνδυασμό με μια κοστο hiệuτική, κλιμακωτή και υψηλά διαθέσιμη Αποκεντρωμένη GPU cloud με απλοποιημένη παρακολούθηση και καταγραφή.

Αυτή η ολόκληρη διαδικασία βελτιώνει την παραγωγικότητα των développers ermögοντας τη δημιουργία production-βαθμού προσαρμοσμένων LLM εφαρμογών ενώ μειώνει την ανάγκη για σύνθετες τεχνικές δεξιότητες.

Μπορείτε να παρέχετε παραδείγματα περιπτώσεων χρήσης όπου η Monster API έχει μειώσει σημαντικά τον χρόνο και τους πόρους που απαιτούνται για ανάπτυξη μοντέλων;

Μια εταιρεία IT consulting χρειαζόταν να tinh chỉnh και να αναπτύξει το Llama 3 μοντέλο για να εξυπηρετήσει τις επιχειρηματικές ανάγκες του πελάτη. Χωρίς τη MonsterAPI, θα χρειαζόταν μια ομάδα 2-3 MLOps μηχανικών με βαθιά γνώση των hyperparameters για να βελτιστοποιήσει την ποιότητα του μοντέλου στο δεδομένο dataset, και στη συνέχεια να το αναπτύξει ως ένα κλιμακωτό REST API endpoint χρησιμοποιώντας auto-scaling και ορχήστρα, πιθανώς στο Kubernetes. Επιπλέον, για να βελτιστοποιήσει την οικονομία της υπηρεσίας του μοντέλου, ήθελε να χρησιμοποιήσει frameworks όπως LoRA για tinh chỉnh και vLLM για μοντέλο υπηρεσίας για να βελτιστοποιήσει τα μετρικά κόστους ενώ μειώνει την κατανάλωση μνήμης. Αυτό μπορεί να είναι ένα σύνθετο πρόβλημα για πολλούς développers και μπορεί να πάρει εβδομάδες ή ακόμη και μήνες για να επιτύχει μια production-έτοιμη λύση. Με τη MonsterAPI, ήταν σε θέση να πειραματιστεί με πολλαπλά tinh chỉnh runs μέσα σε μια ημέρα και να αναπτύξει το tinh chỉnh μοντέλο με το καλύτερο evaluation score μέσα σε quelques ώρες, χωρίς να απαιτεί πολλαπλά engineering πόρους με βαθιά MLOps δεξιότητες.

Πώς η Monster API δημοκρατίζει την πρόσβαση σε γεννητικές μοντέλα AI για μικρότερους développers και startups;

Οι μικρότεροι développers και startups συχνά παλεύουν για να παράγουν και να χρησιμοποιήσουν υψηλής ποιότητας μοντέλα AI λόγω έλλειψης κεφαλαίου και τεχνικών δεξιοτήτων. Οι λύσεις μας ενδυναμώνουν αυτές τις ομάδες μειώνοντας τα κόστη, απλοποιώντας τις διαδικασίες και παρέχοντας robust no-code/low-code εργαλεία για την υλοποίηση production-έτοιμων AI pipelines.

Αξιοποιώντας την αποκεντρωμένη GPU cloud μας, προσφέρουμε προσιτές και κλιμακωτές GPU πόρους, μειώνοντας σημαντικά το κόστος εμπόδιο για υψηλής απόδοσης μοντέλο ανάπτυξης. Η αυτοματοποιημένη ρύθμιση και tinh chỉnh της πλατφόρμας απλοποιούν τη διαδικασία, εξαλείφοντας την ανάγκη για βαθιά τεχνική εμπειρία.

Οι直관τικές REST APIs και η ολοκληρωμένη διαδικασία μας συνδυάζουν tinh chỉnh και ανάπτυξη σε μια seule, συνοχή διαδικασία, καθιστώντας τις προηγμένες AI τεχνολογίες προσβάσιμες ακόμη και για εκείνους με περιορισμένες εμπειρίες. Επιπλέον, η χρήση αποτελεσματικών LoRA tinh chỉnh και quantization τεχνικών όπως GPT-Q και AWQ εξασφαλίζει την βέλτιστη απόδοση σε λιγότερο ακριβή υλικό, μειώνοντας ακόμη περισσότερο τα έξοδα εισόδου.

Αυτή η προσέγγιση ενδυναμώνει μικρότερους développers και startups να υλοποιούν και να διαχειρίζονται προηγμένα γεννητικά μοντέλα AI αποτελεσματικά.

Τι είδους μεγάλη πρόοδο ή χαρακτηριστικό η Monster API θα φέρει στην κοινότητα ανάπτυξης AI;

Εργαζόμαστε σε μερικά καινοτόμα προϊόντα για να προωθήσουμε την πρόοδο μας: Βοηθήστε τους développers να tinh chỉnh και να αναπτύσσουν μοντέλα γρηγορότερα, ευκολότερα και με τον πιο οικονομικό τρόπο.

Αμέσως επόμενο είναι ένα Full MLOps AI Assistant που πραγματοποιεί έρευνα σε νέες βελτιστοποιήσεις στρατηγικών για LLMOps και τις ενσωματώνει σε υπάρχουσες διαδικασίες για να μειώσει την προσπάθεια των développers στην κατασκευή νέων και καλύτερων μοντέλων ενώ επίσης επιτρέπει την πλήρη προσαρμογή και ανάπτυξη production-βαθμού LLM pipelines.

Λέτε ότι χρειάζεστε να γεννήσετε 1 εκατομμύριο εικόνες ανά λεπτό για την περίπτωσή σας. Αυτό μπορεί να είναι εξαιρετικά ακριβό. Παραδοσιακά, θα χρησιμοποιούσατε το Stable Diffusion μοντέλο και θα ξοδεύατε ώρες για να βρείτε και να δοκιμάσετε βελτιστοποίηση frameworks όπως το TensorRT για να βελτιστοποιήσετε την απόδοση σας χωρίς να επηρεάσετε την ποιότητα και την καθυστέρηση της έξοδου.

Ωστόσο, με το MLOps agent της MonsterAPI, δεν θα χρειαζόσασταν να σπαταλήσετε όλους αυτούς τους πόρους. Το agent θα βρει το καλύτερο framework για τις απαιτήσεις σας, αξιοποιώντας βελτιστοποιήσεις όπως το TensorRT προσαρμοσμένο στην συγκεκριμένη περίπτωσή σας.

Πώς η Monster API σχεδιάζει να συνεχίσει να υποστηρίζει και να ενσωματώνει νέα ανοιχτά μοντέλα καθώς αυτά εμφανίζονται;

Σε 3 κύριους τρόπους:

1. Να φέρει πρόσβαση στα τελευταία ανοιχτά μοντέλα
2. Να παρέχει την πιο απλή διεπαφή για tinh chỉnh και ανάπτυξη
3. Να βελτιστοποιήσει ολόκληρη τη στοίβα για ταχύτητα και κόστος με τα πιο προηγμένα και ισχυρά frameworks και βιβλιοθήκες

Η αποστολή μας είναι να βοηθήσουμε τους développers όλων των επιπέδων να υιοθετήσουν Gen AI γρηγορότερα, μειώνοντας τον χρόνο τους από μια ιδέα σε ένα καλά γυαλισμένο και κλιμακωτό API endpoint.

Θα συνεχίσουμε τις προσπάθειές μας για να παρέχουμε πρόσβαση στα τελευταία και πιο ισχυρά frameworks και βιβλιοθήκες, ενσωματωμένα σε μια ομαλή διαδικασία για την υλοποίηση end-to-end LLMOps. Είμαστε αφοσιωμένοι στη μείωση της πολυπλοκότητας για τους développers με τα no-code εργαλεία μας, αυξάνοντας την παραγωγικότητά τους στην κατασκευή και ανάπτυξη μοντέλων AI.

Για να επιτύχουμε αυτό, συνεχώς υποστηρίζουμε και ενσωματώνουμε νέα ανοιχτά μοντέλα, βελτιστοποίηση frameworks και βιβλιοθήκες, παρακολουθώντας τις προόδους στην AI κοινότητα. Διατηρούμε μια κλιμακωτή αποκεντρωμένη GPU cloud και ενεργά αλληλεπιδρούμε με développers για πρώιμη πρόσβαση και ανατροφοδότηση. Μέσω αυτοματοποιημένων διαδικασιών για ομαλή ενσωμάτωση, βελτιστοποίηση fleksibilních APIs και στρατηγικών συνεργασιών με AI ερευνητικές οργανώσεις, εξασφαλίζουμε ότι η πλατφόρμα μας παραμένει στην αιχμή της τεχνολογίας.

Επιπλέον, παρέχουμε綜合 दसιογραφία και robust τεχνική υποστήριξη, επιτρέποντας στους développers να υιοθετήσουν και να χρησιμοποιήσουν τα τελευταία μοντέλα γρήγορα. Η MonsterAPI κρατά τους développers στην αιχμή της γεννητικής AI τεχνολογίας, ενδυναμώνοντάς τους να καινοτομούν και να επιτυγχάνουν.

Τι είναι τα μακροπρόθεσμα σχέδια της Monster API σε όρους τεχνολογικής ανάπτυξης και εμπορικής επέκτασης;

Μακροπρόθεσμα, θέλουμε να βοηθήσουμε τους 30 εκατομμύρια software engineers να γίνουν MLOps développers με τη βοήθεια του MLOps agent και όλων των εργαλείων που χτίζουμε.

Αυτό θα απαιτούσε από εμάς να χτίσουμε όχι μόνο ένα πλήρως ανεπτυγμένο agent αλλά και πολλές θεμελιώδεις ιδιοκτητικές τεχνολογίες γύρω από βελτιστοποίηση frameworks, containerisation μεθόδους και ορχήστρα.

Πιστεύουμε ότι ένας συνδυασμός μεγάλων, απλών διεπαφών, 10x περισσότερης απόδοσης και χαμηλού κόστους αποκεντρωμένων GPU έχει το потенシャル να μεταμορφώσει την παραγωγικότητα eines développers και να επιταχύνει την υιοθέτηση GenAI.

Όλες οι έρευνες και οι προσπάθειές μας είναι σε αυτήν την κατεύθυνση.

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν MonsterAPI.