Μοντέλα και πλατφόρμες AI
Mistral 2 και Mistral NeMo: Ένας Ολοκληρωμένος Οδηγός για τα Τελευταία LLM από το Παρίσι
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Ιδρυθείσα από αποφοίτους της Google’s DeepMind και Meta, η Paris-based startup Mistral AI έχει κάνει κύματα στην κοινότητα του AI από το 2023.
Η Mistral AI πρώτα drew την προσοχή του κόσμου με το debut μοντέλο της, Mistral 7B, που κυκλοφόρησε το 2023. Αυτό το μοντέλο 7 δισεκατομμυρίων παραμέτρων γρήγορα κέρδισε την προσοχή για την εντυπωσιακή του απόδοση, ξεπερνώντας μεγαλύτερα μοντέλα όπως το Llama 2 13B σε διάφορες βάσεις και ακόμη και το Llama 1 34B σε πολλά μετρικά. Αυτό που έκανε το Mistral 7B να ξεχωρίσει δεν ήταν μόνο η απόδοσή του, αλλά και η προσβασιμότητά του – το μοντέλο μπορούσε να κατεβαστεί εύκολα από το GitHub ή ακόμη και μέσω ενός 13,4-gigabyte torrent, καθιστώντας το διαθέσιμο για ερευνητές και développers παγκοσμίως.
Η μη συμβατική προσέγγιση της εταιρείας στις κυκλοφορίες, συχνά παρακάμπτοντας τις παραδοσιακές εκδόσεις, έχει αποδειχθεί εξαιρετικά αποτελεσματική στην κράτηση της προσοχής της κοινότητας του AI. Αυτή η στρατηγική, σε συνδυασμό με την δέσμευσή τους για τις αρχές του ανοικτού κώδικα, έχει θέσει την Mistral AI ως einen ισχυρό παίκτη στο τοπίο του AI.
Η ταχεία άνοδος της Mistral AI στη βιομηχανία είναι περαιτέρω αποδεικνυμένη από την πρόσφατη επιτυχία της στη χρηματοδότηση. Η εταιρεία έφτασε σε μια αξιολόγηση 2 δισεκατομμυρίων δολαρίων μετά από μια χρηματοδοτική στροφή που ηγήθηκε η Andreessen Horowitz. Αυτό ήρθε στα πόδια μιας ιστορικής στροφής 118 εκατομμυρίων δολαρίων – η μεγαλύτερη στην ευρωπαϊκή ιστορία – που δείχνει την τεράστια πίστη των επενδυτών στην όραση και τις ικανότητες της Mistral AI.
Πέρα από τις τεχνολογικές προόδους, η Mistral AI έχει επίσης εμπλακεί ενεργά στη διαμόρφωση της πολιτικής του AI, ιδιαίτερα στις συζητήσεις γύρω από τον νόμο του EU για το AI, όπου έχουν υποστηρίξει τη μείωση της ρύθμισης στον ανοικτό κώδικα του AI.
Τώρα, το 2024, η Mistral AI έχει ξανά υψώσει τον πήχη με δύο πρωτοποριακά μοντέλα: Mistral Large 2 (γνωστό και ως Mistral-Large-Instruct-2407) και Mistral NeMo. Σε αυτόν τον ολοκληρωμένο οδηγό, θα εμβαθύνουμε στα χαρακτηριστικά, την απόδοση και τις πιθανές εφαρμογές αυτών των εντυπωσιακών μοντέλων AI.
Κύρια χαρακτηριστικά του Mistral Large 2 περιλαμβάνουν:
- 123 δισεκατομμύρια παράμετροι
- 128k παράθυρο контекстου
- Υποστήριξη για δεκάδες γλώσσες
- Εξειδίκευση σε 80+ γλώσσες προγραμματισμού
- Προηγμένα χαρακτηριστικά κλήσεων συναρτήσεων
Το μοντέλο σχεδιάστηκε για να推 τιςраницες της αποδοτικότητας, της ταχύτητας και της απόδοσης, καθιστώντας το μια ελκυστική επιλογή για ερευνητές και entreprises που επιθυμούν να εκμεταλλευτούν τα πιο προηγμένα μοντέλα AI.
Mistral NeMo: Το Νέο Μικρότερο Μοντέλο
Ενώ το Mistral Large 2 αντιπροσωπεύει το καλύτερο των μεγάλων μοντέλων της Mistral AI, το Mistral NeMo, που κυκλοφόρησε τον Ιούλιο του 2024, ακολουθεί μια διαφορετική προσέγγιση. Αναπτυγμένο σε συνεργασία με την NVIDIA (NVDA ), το Mistral NeMo είναι ένα πιο συμπαγές μοντέλο 12 δισεκατομμυρίων παραμέτρων που vẫn προσφέρει εντυπωσιακές ικανότητες:
- 12 δισεκατομμύρια παράμετροι
- 128k контекστου παράθυρο
- Κορυφαία απόδοση στην κατηγορία του
- Apache 2.0 άδεια για ανοικτή χρήση
- Quantization-aware εκπαίδευση για αποτελεσματική εύρεση
Το Mistral NeMo προορίζεται ως αντικαταστάτης για συστήματα που χρησιμοποιούν το Mistral 7B, προσφέροντας βελτιωμένη απόδοση ενώ διατηρεί την ευκολία χρήσης και τη συμβατότητα.
Κύρια Χαρακτηριστικά και Ικανότητες
Και τα Mistral Large 2 και τα Mistral NeMo μοιράζονται beberapa κρίσιμα χαρακτηριστικά που τα ξεχωρίζουν στο τοπίο του AI:
- Μεγάλα Παράθυρα Κοντέκστου: Με μήκη контекστου 128k, και τα δύο μοντέλα μπορούν να επεξεργαστούν και να κατανοήσουν πολύ μεγαλύτερα κομμάτια κειμένου, επιτρέποντας πιο συνεκτικές και контекστουαλιστικές εξόδους.
- Πολυγλωσσική Υποστήριξη: Τα μοντέλα exceling σε ένα ευρύ φάσμα γλωσσών, συμπεριλαμβανομένων των αγγλικών, γαλλικών, γερμανικών, ισπανικών, ιταλικών, κινέζικων, ιαπωνικών, κορεατικών, αραβικών και ινδικών.
- Προηγμένα Χαρακτηριστικά Κώδικα: Και τα δύο μοντέλα αποδεικνύουν εξαιρετική εξειδίκευση στη γεννήθηκε κώδικα σε πολλές γλώσσες προγραμματισμού.
- Ακολουθία Οδηγιών: Σημαντικές βελτιώσεις έχουν γίνει στις ικανότητες των μοντέλων να ακολουθούν ακριβείς οδηγίες και να χειρίζονται πολυ-στροφικές συνομιλίες.
- Κλήση Συναρτήσεων: Φυσική υποστήριξη για κλήση συναρτήσεων επιτρέπει στα μοντέλα να αλληλεπιδρούν δυναμικά με εξωτερικά εργαλεία και υπηρεσίες.
- Λογική και Επίλυση Προβλημάτων: Βελτιωμένες ικανότητες σε μαθηματική λογική και σύνθετα προβλήματα επίλυσης.
Ας εξετάσουμε μερικά από αυτά τα χαρακτηριστικά και αναλύσουμε πώς λειτουργούν στην πράξη.
Βαθμολογίες Απόδοσης
Για να κατανοήσουμε τις πραγματικές ικανότητες του Mistral Large 2 και του Mistral NeMo, είναι απαραίτητο να εξετάσουμε την απόδοσή τους σε διάφορες βάσεις. Ας εξετάσουμε einige κρίσιμα μετρικά:
Βαθμολογίες του Mistral Large 2
Αυτό το πίνακα παρουσιάζει την ικανότητα των LLMs σε διάφορες γλώσσες προγραμματισμού. Μοντέλα όπως το Mistral Large 2 (24.07), Llama 3.1 (405B) και GPT-4o αξιολογούνται στην ικανότητά τους να κατανοήσουν και να γεννήσουν κώδικα σε γλώσσες όπως Python, C++, Bash, Java, TypeScript, PHP και C#.
Llama 3.1 405B δείχνει ισχυρή απόδοση σε πολλές γλώσσες, με ιδιαίτερα υψηλά σκορ σε Python και Java. Αυτή η ικανότητα είναι κρίσιμη για εφαρμογές που εμπλέκονται με γεννήθηκε κώδικα, αποσφαλμάτωση και ανάπτυξη λογισμικού, καθιστώντας αυτά τα μοντέλα πολύτιμα εργαλεία για développers.
https://mistral.ai/news/mistral-large-2407/
https://mistral.ai/news/mistral-large-2407/
Βαθμολογίες του Mistral NeMo
Ενώ συγκεκριμένα μετρικά για το Mistral NeMo δεν παρέχονται στις δεδομένες πληροφορίες, περιγράφεται ως μοντέλο που προσφέρει κορυφαία απόδοση στην κατηγορία του. Το μοντέλο υπερβαίνει άλλα πρόσφατα ανοικτά προ-εκπαιδευμένα μοντέλα όπως το Gemma 2 9B και το Llama 3 8B σε διάφορες εργασίες.
Πολυγλωσσική και Κωδικοποίηση Ικανότητες
Ένα από τα εξαιρετικά χαρακτηριστικά και του Mistral Large 2 και του Mistral NeMo είναι η εξαιρετική πολυγλωσσική ικανότητά τους. Αυτό είναι ιδιαίτερα σημαντικό στον αυξανόμενο 글όβαλ κόσμο, όπου τα μοντέλα AI πρέπει να κατανοούν και να γεννήσουν περιεχόμενο σε πολλές γλώσσες.
Το Mistral Large 2, για παράδειγμα, υποστηρίζει δεκάδες γλώσσες, συμπεριλαμβανομένων των γαλλικών, γερμανικών, ισπανικών, ιταλικών, πορτογαλικών, αραβικών, ινδικών, ρωσικών, κινέζικων, ιαπωνικών και κορεατικών. Αυτή η πολυγλωσσική ικανότητα εκτείνεται πέρα από την απλή μετάφραση, περιλαμβάνοντας νюανσировμένη κατανόηση και γεννήθηκε σε αυτές τις γλώσσες.
Για να δείξουμε αυτό, ας εξετάσουμε ένα παράδειγμα του Mistral Large 2 που γεννά κείμενο σε πολλές γλώσσες:
[INST] Generate a short greeting in English, French, German, Spanish, and Japanese. [/INST]
Εδώ είναι σύντομες ευχές σε αυτές τις γλώσσες:
Αγγλικά: Hello! How are you today?
Γαλλικά: Bonjour ! Comment allez-vous aujourd’hui ?
Γερμανικά: Hallo! Wie geht es Ihnen heute?
Ισπανικά: ¡Hola! ¿Cómo estás hoy?
Ιαπωνικά: こんにちは！今日はお元気ですか？
[INST]
Τώρα, γράψτε ένα απλό “Hello, World!” πρόγραμμα σε Python, Java και JavaScript. [/INST]
Αυτά τα παραδείγματα δείχνουν και την πολυγλωσσική γεννήθηκε κειμένου και την κωδικοποίηση ικανότητες του μοντέλου.
Και τα δύο μοντέλα είναι διαθέσιμα σε διάφορες πλατφόρμες όπως Hugging Face, η πλατφόρμα της Mistral AI, και μεγάλες υπηρεσίες cloud όπως Google Cloud Platform, Azure AI Studio, Amazon Bedrock και IBM watsonx.ai (Mistral AI | Frontier AI in your hands).
Το Παράδειγμα της Agentic και Κλήση Συναρτήσεων
Και τα Mistral Large 2 και τα Mistral NeMo υιοθετούν einen ατζέντα-κεντρικό σχεδιασμό, ο οποίος αντιπροσωπεύει μια μετατόπιση παραδείγματος στη manière με την οποία αλληλεπιδρούμε με τα μοντέλα AI. Αυτή η προσέγγιση εστιάζει στην κατασκευή μοντέλων ικανών να αλληλεπιδρούν με το περιβάλλον τους, να λαμβάνουν αποφάσεις και να thựcουν ενέργειες για την επίτευξη συγκεκριμένων στόχων.
Ένα κρίσιμο χαρακτηριστικό που επιτρέπει αυτό το παράδειγμα είναι η φυσική υποστήριξη για κλήση συναρτήσεων. Αυτό επιτρέπει στα μοντέλα να αλληλεπιδρούν δυναμικά με εξωτερικά εργαλεία και υπηρεσίες, επεκτείνοντας αποτελεσματικά τις ικανότητές τους πέρα από την απλή γεννήθηκε κειμένου.
Ας εξετάσουμε ένα παράδειγμα του πώς η κλήση συναρτήσεων μπορεί να λειτουργήσει με το Mistral Large 2:
from mistral_common.protocol.instruct.tool_calls import Function, Tool
from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest
<p># Αρχικοποίηση tokenizer και μοντέλου
mistral_models_path = "path/to/mistral/models" # Βεβαιωθείτε ότι αυτή η διαδρομή είναι σωστή
tokenizer = MistralTokenizer.from_file(f"{mistral_models_path}/tokenizer.model.v3")
model = Transformer.from_folder(mistral_models_path)</p>
<p># Ορισμός μιας συνάρτησης για την απόκτηση καιρικών πληροφοριών
weather_function = Function(
name="get_current_weather",
description="Get the current weather",
parameters={
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "The city and state, e.g. San Francisco, CA",
},
"format": {
"type": "string",
"enum": ["celsius", "fahrenheit"],
"description": "The temperature unit to use. Infer this from the user's location.",
},
},
"required": ["location", "format"],
},
)</p>
<p># Δημιουργία αιτήματος ολοκλήρωσης συνομιλίας με τη συνάρτηση
completion_request = ChatCompletionRequest(
tools=[Tool(function=weather_function)],
messages=[
UserMessage(content="What's the weather like today in Paris?"),
],
)</p>
<p># Κωδικοποίηση της αίτησης
tokens = tokenizer.encode_chat_completion(completion_request).tokens</p>
<p># Γεννήθηκε απάντησης
out_tokens, _ = generate([tokens], model, max_tokens=256, temperature=0.7, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.decode(out_tokens[0])</p>
print(result)
Σε αυτό το παράδειγμα, ορίζουμε μια συνάρτηση για την απόκτηση καιρικών πληροφοριών και την περιλαμβάνουμε στην αίτησή μας για ολοκλήρωση συνομιλίας. Το μοντέλο μπορεί τότε να χρησιμοποιήσει αυτή τη συνάρτηση για να αποκτήσει πραγματικές καιρικές πληροφορίες, δείχνοντας πώς μπορεί να αλληλεπιδράσει με εξωτερικά συστήματα για να παρέχει πιο ακριβείς και ενημερωμένες πληροφορίες.
Tekken: Ένας Περισσότερο Αποτελεσματικός Tokenizer
Το Mistral NeMo εισαγάγει έναν νέο tokenizer που ονομάζεται Tekken, ο οποίος βασίζεται στο Tiktoken και έχει εκπαιδευτεί σε πάνω από 100 γλώσσες. Αυτός ο νέος tokenizer προσφέρει σημαντικές βελτιώσεις στην απόδοση συμπίεσης κειμένου σε σύγκριση με προηγούμενους tokenizers όπως το SentencePiece.
Κύρια χαρακτηριστικά του Tekken περιλαμβάνουν:
- 30% περισσότερη αποτελεσματική συμπίεση για πηγαίο κώδικα, κινέζικα, ιταλικά, γαλλικά, γερμανικά, ισπανικά και ρωσικά
- 2x περισσότερη αποτελεσματική συμπίεση για κορεατικά
- 3x περισσότερη αποτελεσματική συμπίεση για αραβικά
- Υπερβαίνει τον tokenizer του Llama 3 στην συμπίεση κειμένου για περίπου το 85% όλων των γλωσσών
Αυτή η βελτιωμένη αποτελεσματικότητα tokenization μεταφράζεται σε καλύτερη απόδοση μοντέλου, ιδιαίτερα όταν ασχολείται με πολυγλωσσικό κείμενο και πηγαίο κώδικα. Επιτρέπει στο μοντέλο να επεξεργαστεί περισσότερες πληροφορίες μέσα στο ίδιο παράθυρο контекστου, οδηγώντας σε πιο συνεκτικές και контекστουαλιστικές εξόδους.
Άδειες και Διαθεσιμότητα
Το Mistral Large 2 και το Mistral NeMo έχουν διαφορετικά μοντέλα αδειών, που αντανακλούν τις προορισμένες χρήσεις τους:
Mistral Large 2
- Κυκλοφορεί με την άδεια Mistral Research
- Επιτρέπει χρήση και τροποποίηση για έρευνα και μη εμπορικούς σκοπούς
- Εμπορική χρήση απαιτεί άδεια Mistral Commercial
Mistral NeMo
- Κυκλοφορεί με την άδεια Apache 2.0
- Επιτρέπει ανοικτή χρήση, συμπεριλαμβανομένων εμπορικών εφαρμογών
Και τα δύο μοντέλα είναι διαθέσιμα μέσω διάφορων πλατφόρμων:
- Hugging Face: Βάρη για τα βασικά και instruct μοντέλα φιλοξενούνται εδώ
- Mistral AI: Διαθέσιμα ως
mistral-large-2407(Mistral Large 2) καιopen-mistral-nemo-2407(Mistral NeMo) - Υπηρεσίες Cloud: Διαθέσιμα στο Google Cloud Platform’s Vertex AI, Azure AI Studio, Amazon Bedrock και IBM watsonx.ai
https://mistral.ai/news/mistral-large-2407/
Για développers που επιθυμούν να χρησιμοποιήσουν αυτά τα μοντέλα, εδώ είναι ένα γρήγορο παράδειγμα του πώς να φορτώσετε και να χρησιμοποιήσετε το Mistral Large 2 με Hugging Face transformers:
from transformers import AutoModelForCausalLM, AutoTokenizer
<p>model_name = "mistralai/Mistral-Large-Instruct-2407"
device = "cuda" # Χρησιμοποιήστε GPU αν είναι διαθέσιμο</p>
<p># Φορτώστε το μοντέλο και τον tokenizer
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)</p>
<p># Μεταφέρετε το μοντέλο στο κατάλληλο συσκευή
model.to(device)</p>
<p># Προετοιμάστε την είσοδο
messages = [
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": "Explain the concept of neural networks in simple terms."}
]</p>
<p># Κωδικοποίηση της εισόδου
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)</p>
<p># Γεννήθηκε απάντησης
output_ids = model.generate(input_ids, max_new_tokens=500, do_sample=True)</p>
<p># Αποκωδικοποίηση και εκτύπωση της απάντησης
response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(response)</p>
Αυτό το κώδικας δείχνει πώς να φορτώσετε το μοντέλο, να προετοιμάσετε την είσοδο σε μορφή συνομιλίας, να γεννήσετε μια απάντηση και να αποκωδικοποιήσετε την έξοδο.
Περιορισμοί και Ηθικές Συμμετοχές
Ενώ το Mistral Large 2 και το Mistral NeMo αντιπροσωπεύουν σημαντικές προόδους στην τεχνολογία του AI, είναι κρίσιμο να αναγνωρίσουμε τους περιορισμούς και τις ηθικές συμμετοχές που περιβάλλουν τη χρήση τους:
- Πιθανότητα για Προκαταλήψεις: Όπως όλα τα μοντέλα AI που εκπαιδεύονται σε μεγάλες βάσεις δεδομένων, αυτά τα μοντέλα μπορεί να κληρονομήσουν και να ενισχύσουν τις προκαταλήψεις που υπάρχουν στα δεδομένα εκπαίδευσής τους. Οι χρήστες πρέπει να είναι ενήμεροι για αυτό και να εφαρμόσουν τις κατάλληλες προφυλάξεις.
- Ελλειψη Πραγματικής Κατανόησης: Παρά τις εντυπωσιακές τους ικανότητες, αυτά τα μοντέλα δεν κατέχουν πραγματική κατανόηση ή συνείδηση. Γεννήθηκαν απαντήσεις βασίζονται σε μοτίβους στα δεδομένα εκπαίδευσής τους, τα οποία μπορεί να οδηγήσουν σε πιθανές λανθασμένες πληροφορίες.
- Προβλήματα Ιδιωτικότητας: Όταν χρησιμοποιείτε αυτά τα μοντέλα, ιδιαίτερα σε εφαρμογές που χειρίζονται ευαίσθητες πληροφορίες, είναι κρίσιμο να ληφθούν υπόψη οι επιπτώσεις της ιδιωτικότητας και της ασφάλειας των δεδομένων.
Συμπέρασμα
Η εξειδικευμένη βελτίωση προηγμένων μοντέλων όπως το Mistral Large 2 και το Mistral NeMo παρέχει μια ισχυρή ευκαιρία να εκμεταλλευτείτε τα πιο προηγμένα μοντέλα AI για eine ποικιλία εφαρμογών, από δυναμική κλήση συναρτήσεων έως αποτελεσματική πολυγλωσσική επεξεργασία. Εδώ είναι einige πρακτικές συμβουλές και κρίσιμες εντυπώσεις για να έχετε υπόψη:
Ακολουθώντας αυτές τις συμβουλές και χρησιμοποιώντας τα παρεχόμενα παραδείγματα κώδικα, μπορείτε να εκμεταλλευτείτε αποτελεσματικά τη δύναμη του Mistral Large 2 και του Mistral NeMo για τις συγκεκριμένες σας ανάγκες.
