Mistral 2 und Mistral NeMo: Ein umfassender Leitfaden zum neuesten LLM aus Paris

Gegründet von Absolventen von Googles DeepMind und Meta, Pariser Startup Mistral-KI hat in der KI-Community seit 2023 kontinuierlich für Aufsehen gesorgt.

Mistral AI erregte erstmals weltweite Aufmerksamkeit mit seinem Debütmodell Mistral 7B, das 2023 auf den Markt kam. Dieses 7-Milliarden-Parameter-Modell gewann schnell an Bedeutung aufgrund seiner beeindruckenden Leistung und übertraf größere Modelle wie Llama 2 13B in verschiedenen Benchmarks und konkurrierte sogar mit Lama 1 34B in vielen Metriken. Was setzte Mistral 7B unterschied sich nicht nur durch seine Leistung, sondern auch durch seine Zugänglichkeit – das Modell konnte leicht von GitHub heruntergeladen oder sogar über einen 13.4 Gigabyte großen Torrent, wodurch es für Forscher und Entwickler weltweit leicht zugänglich ist.

Der unkonventionelle Ansatz des Unternehmens bei Veröffentlichungen, der oft auf traditionelle Artikel, Blogs oder Pressemitteilungen verzichtet, hat sich als bemerkenswert effektiv erwiesen, um die Aufmerksamkeit der KI-Community zu gewinnen. Diese Strategie, gepaart mit dem Engagement für Open-Source-Prinzipien, hat Mistral AI zu einem bedeutenden Akteur in der KI-Landschaft gemacht.

Der rasante Aufstieg von Mistral AI in der Branche wird durch den jüngsten Finanzierungserfolg unterstrichen. Nach einer von Andreessen Horowitz geleiteten Finanzierungsrunde erreichte das Unternehmen eine atemberaubende Bewertung von 2 Milliarden US-Dollar. Dies folgte unmittelbar auf eine historische Seed-Runde in Höhe von 118 Millionen US-Dollar – die größte in der europäischen Geschichte – und verdeutlicht das enorme Vertrauen der Investoren in die Vision und die Fähigkeiten von Mistral AI.

Über die technologischen Fortschritte hinaus war Mistral AI auch aktiv an der Gestaltung der KI-Politik beteiligt, insbesondere an den Diskussionen rund um das EU-KI-Gesetz, wo das Unternehmen sich für eine geringere Regulierung im Bereich Open-Source-KI einsetzte.

Jetzt, im Jahr 2024, hat Mistral AI mit zwei bahnbrechenden Modellen die Messlatte noch einmal höher gelegt: Mistral Large 2 (auch bekannt als Mistral-Large-Instruct-2407) und Mistral NeMo. In diesem umfassenden Leitfaden tauchen wir tief in die Funktionen, Leistung und potenziellen Anwendungen dieser beeindruckenden KI-Modelle ein.

Zu den wichtigsten Spezifikationen von Mistral Large 2 gehören:

• 123 Milliarden Parameter
• 128K Kontextfenster
• Unterstützung für Dutzende Sprachen
• Kenntnisse in 80+ Kodierung Sprachen
• Erweiterte Funktionsaufruffunktionen

Das Modell ist darauf ausgelegt, die Grenzen von Kosteneffizienz, Geschwindigkeit und Leistung zu erweitern, und stellt somit eine attraktive Option sowohl für Forscher als auch für Unternehmen dar, die modernste KI nutzen möchten.

Mistral NeMo: Das neue kleinere Modell

Während Mistral Large 2 das beste der groß angelegten Modelle von Mistral AI darstellt, verfolgt Mistral NeMo, das im Juli 2024 veröffentlicht wurde, einen anderen Ansatz. Mistral NeMo wurde in Zusammenarbeit mit NVIDIA entwickelt und ist ein kompakteres Modell mit 12 Milliarden Parametern, das dennoch beeindruckende Funktionen bietet:

• 12 Milliarden Parameter
• 128k-Kontext Fenster
• Spitzenleistung in seiner Größenklasse
• Apache 2.0-Lizenz für den offenen Einsatz
• Quantisierungsbewusst Training für effiziente Inferenz

Mistral NeMo ist als Drop-In-Ersatz für Systeme konzipiert, die derzeit Mistral 7B verwenden, und bietet eine verbesserte Leistung bei gleichzeitiger Beibehaltung der Benutzerfreundlichkeit und Kompatibilität.

Hauptmerkmale und Fähigkeiten

Sowohl Mistral Large 2 als auch Mistral NeMo haben mehrere wichtige Merkmale gemeinsam, die sie in der KI-Landschaft auszeichnen:

1. Große Kontextfenster: Mit einer Token-Kontextlänge von 128 können beide Modelle viel längere Textstücke verarbeiten und verstehen, was zu kohärenteren und kontextrelevanteren Ausgaben führt.
2. Mehrsprachige Unterstützung: Die Modelle zeichnen sich durch eine Vielzahl von Sprachen aus, darunter Englisch, Französisch, Deutsch, Spanisch, Italienisch, Chinesisch, Japanisch, Koreanisch, Arabisch und Hindi.
3. Erweiterte Codierungsfunktionen: Beide Modelle zeigen außergewöhnliche Kompetenz bei der Codegenerierung in zahlreichen Programmiersprachen.
4. Anweisungen folgen: Die Fähigkeit der Modelle, präzise Anweisungen zu befolgen und mehrstufige Gespräche zu führen, wurde erheblich verbessert.
5. Funktionsaufruf: Durch native Unterstützung für Funktionsaufrufe können diese Modelle dynamisch mit externen Tools und Diensten interagieren.
6. Argumentation und Problemlösung: Verbesserte Fähigkeiten im mathematischen Denken und bei komplexen Problemlösungsaufgaben.

Lassen Sie uns einige dieser Funktionen untersuchen und prüfen, wie sie sich in der Praxis bewähren.

Leistungsbenchmarks

Um die wahren Fähigkeiten von Mistral Large 2 und Mistral NeMo zu verstehen, ist es wichtig, ihre Leistung anhand verschiedener Benchmarks zu betrachten. Sehen wir uns einige wichtige Kennzahlen an:

Mistral Large 2 Benchmarks

Diese Tabelle zeigt die Kompetenz verschiedener LLMs in unterschiedlichen Programmiersprachen. Modelle wie Mistral Large 2 (24.07), Llama 3.1 (405B) und GPT-4o werden anhand ihrer Fähigkeit bewertet, Code in Sprachen wie Python, C++, Bash, Java, TypeScript, PHP und C# zu verstehen und zu generieren.

Llama 3.1 405B zeigt eine starke Leistung in mehreren Sprachen, mit besonders hohen Werten in Python und Java. Diese Kompetenz ist entscheidend für Anwendungen, die Codegenerierung, Debugging und Softwareentwicklung beinhalten, und macht diese Modelle zu wertvollen Werkzeugen für Entwickler.

https://mistral.ai/news/mistral-large-2407/

https://mistral.ai/news/mistral-large-2407/

Mistral NeMo Benchmarks

Obwohl in den vorliegenden Informationen keine spezifischen Benchmark-Ergebnisse für Mistral NeMo angegeben sind, wird es als Modell beschrieben, das in seiner Größenklasse die modernste Leistung bietet. Das Modell übertrifft andere aktuelle vortrainierte Open-Source-Modelle wie Gemma 2 9B und Llama 3 8B bei verschiedenen Aufgaben.

Leistung des Mistral NeMo-Basismodells im Vergleich zu Gemma 2 9B und Llama 3 8B.

Mehrsprachigkeit und Programmierkenntnisse

Eines der herausragenden Merkmale von Mistral Large 2 und Mistral NeMo ist ihre außergewöhnliche Mehrsprachigkeit. Dies ist besonders wichtig in unserer zunehmend globalisierten Welt, in der KI-Modelle mehrere Sprachen verstehen und Inhalte in mehreren Sprachen generieren müssen.

Mistral Large 2 unterstützt beispielsweise Dutzende von Sprachen, darunter Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Arabisch, Hindi, Russisch, Chinesisch, Japanisch und Koreanisch. Diese mehrsprachige Kompetenz geht über die bloße Übersetzung hinaus und umfasst nuanciertes Verständnis und Generierung in diesen Sprachen.

Um dies zu veranschaulichen, sehen wir uns ein Beispiel an, wie Mistral Large 2 Text in mehreren Sprachen generiert:

Diese Beispiele demonstrieren sowohl die mehrsprachigen Textgenerierungs- als auch die Codierungsfunktionen des Modells.

Beide Modelle sind auf verschiedenen Plattformen verfügbar, beispielsweise Hugging Face, der Plattform von Mistral AI und großen Cloud-Dienstanbietern wie Google Cloud Platform, Azure AI Studio, Amazon Bedrock und IBM watsonx.ai. (Mistral AI | Grenzüberschreitende KI in Ihren Händen).

Das agentische Paradigma und der Funktionsaufruf

Sowohl Mistral Large 2 als auch Mistral NeMo verfolgen ein agentenzentriertes Design, das einen Paradigmenwechsel in der Art und Weise darstellt, wie wir mit KI-Modellen interagieren. Dieser Ansatz konzentriert sich auf den Aufbau von Modellen, die in der Lage sind, mit ihrer Umgebung zu interagieren, Entscheidungen zu treffen und Maßnahmen zu ergreifen, um bestimmte Ziele zu erreichen.

Ein Schlüsselmerkmal, das dieses Paradigma ermöglicht, ist die native Unterstützung für Funktionsaufrufe. Dadurch können die Modelle dynamisch mit externen Tools und Diensten interagieren und ihre Fähigkeiten effektiv über die einfache Textgenerierung hinaus erweitern.

Sehen wir uns ein Beispiel an, wie Funktionsaufrufe mit Mistral Large 2 funktionieren könnten:

 
from mistral_common.protocol.instruct.tool_calls import Function, Tool
from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest

# Initialize tokenizer and model
mistral_models_path = "path/to/mistral/models"  # Ensure this path is correct
tokenizer = MistralTokenizer.from_file(f"{mistral_models_path}/tokenizer.model.v3")
model = Transformer.from_folder(mistral_models_path)

# Define a function for getting weather information
weather_function = Function(
    name="get_current_weather",
    description="Get the current weather",
    parameters={
        "type": "object",
        "properties": {
            "location": {
                "type": "string",
                "description": "The city and state, e.g. San Francisco, CA",
            },
            "format": {
                "type": "string",
                "enum": ["celsius", "fahrenheit"],
                "description": "The temperature unit to use. Infer this from the user's location.",
            },
        },
        "required": ["location", "format"],
    },
)

# Create a chat completion request with the function
completion_request = ChatCompletionRequest(
    tools=[Tool(function=weather_function)],
    messages=[
        UserMessage(content="What's the weather like today in Paris?"),
    ],
)

# Encode the request
tokens = tokenizer.encode_chat_completion(completion_request).tokens

# Generate a response
out_tokens, _ = generate([tokens], model, max_tokens=256, temperature=0.7, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
result = tokenizer.decode(out_tokens[0])

print(result)

In diesem Beispiel definieren wir eine Funktion zum Abrufen von Wetterinformationen und schließen sie in unsere Chat-Abschlussanforderung ein. Das Modell kann diese Funktion dann verwenden, um Echtzeit-Wetterdaten abzurufen und zu demonstrieren, wie es mit externen Systemen interagieren kann, um genauere und aktuellere Informationen bereitzustellen.

Tekken: Ein effizienterer Tokenizer

Mistral NeMo führt einen neuen Tokenizer namens Tekken, das auf Tiktoken basiert und auf über 100 Sprachen trainiert wurde. Dieser neue Tokenizer bietet im Vergleich zu früheren Tokenizern wie SentencePiece erhebliche Verbesserungen bei der Effizienz der Textkomprimierung.

Zu den Hauptfunktionen von Tekken gehören:

• 30 % effizientere Komprimierung für Quellcode, Chinesisch, Italienisch, Französisch, Deutsch, Spanisch und Russisch
• 2x effizientere Komprimierung für Koreanisch
• 3x effizientere Komprimierung für Arabisch
• Übertrifft den Llama 3-Tokenizer bei der Textkomprimierung für etwa 85 % aller Sprachen

Diese verbesserte Tokenisierungseffizienz führt zu einer besseren Modellleistung, insbesondere bei mehrsprachigem Text und Quellcode. Das Modell kann dadurch mehr Informationen im selben Kontextfenster verarbeiten, was zu kohärenteren und kontextrelevanteren Ergebnissen führt.

Lizenzierung und Verfügbarkeit

Mistral Large 2 und Mistral NeMo haben unterschiedliche Lizenzmodelle, die ihre beabsichtigten Anwendungsfälle widerspiegeln:

Mistral Large 2

• Veröffentlicht unter der Mistral Research-Lizenz
• Ermöglicht die Nutzung und Änderung für Forschungs- und nichtkommerzielle Zwecke
• Für die kommerzielle Nutzung ist eine kommerzielle Mistral-Lizenz erforderlich.

Mistral NeMo

• Veröffentlicht unter der Apache 2.0-Lizenz
• Ermöglicht die offene Nutzung, einschließlich kommerzieller Anwendungen

Beide Modelle sind über verschiedene Plattformen verfügbar:

• Umarmendes Gesicht: Gewichte für Basis- und Instruct-Modelle werden hier gehostet
• Mistral-KI: Verfügbar als mistral-large-2407 (Mistral Large 2) und open-mistral-nemo-2407 (Mistral NeMo)
• Cloud-Dienstanbieter: Verfügbar auf Vertex AI der Google Cloud Platform, Azure AI Studio, Amazon Bedrock und IBM watsonx.ai

https://mistral.ai/news/mistral-large-2407/

Für Entwickler, die diese Modelle verwenden möchten, finden Sie hier ein kurzes Beispiel zum Laden und Verwenden von Mistral Large 2 mit Hugging Face-Transformern:

 
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "mistralai/Mistral-Large-Instruct-2407"
device = "cuda"  # Use GPU if available

# Load the model and tokenizer
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Move the model to the appropriate device
model.to(device)

# Prepare input
messages = [
    {"role": "system", "content": "You are a helpful AI assistant."},
    {"role": "user", "content": "Explain the concept of neural networks in simple terms."}
]

# Encode input
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)

# Generate response
output_ids = model.generate(input_ids, max_new_tokens=500, do_sample=True)

# Decode and print the response
response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(response)