Prompt Engineering
Analogisches und Step-Back-Prompting: Ein Blick in die jüngsten Fortschritte von Google DeepMind
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Einführung
Die Prompt-Engineering-Konzeption konzentriert sich auf die Entwicklung effektiver Prompts, um Large Language Models (LLMs) wie GPT-4 bei der Generierung von gewünschten Antworten zu leiten. Ein gut konzipierter Prompt kann den Unterschied zwischen einer vagen oder ungenauen Antwort und einer präzisen, einleuchtenden Antwort ausmachen.
Im weiteren Ökosystem von KI ist Prompt-Engineering eine von mehreren Methoden, die verwendet werden, um genauer und kontextuell relevante Informationen aus Sprachmodellen zu extrahieren. Andere Methoden umfassen Techniken wie Few-Shot-Learning, bei dem dem Modell einige Beispiele gegeben werden, um es bei der Aufgabe zu unterstützen, und Fine-Tuning, bei dem das Modell auf einem kleineren Datensatz weiter trainiert wird, um seine Antworten zu spezialisieren.
Google DeepMind (GOOGL ) hat kürzlich zwei Forschungsarbeiten veröffentlicht, die sich mit Prompt-Engineering und seinem Potenzial zur Verbesserung von Antworten in verschiedenen Situationen befassen.
Diese Arbeiten sind Teil der laufenden Erforschung in der KI-Gemeinschaft, um die Kommunikation mit Sprachmodellen zu verfeinern und zu optimieren, und sie bieten neue Einblicke in die Strukturierung von Prompts für eine bessere Abfragebehandlung und Datenbankinteraktion.
Dieser Artikel geht auf die Details dieser Forschungsarbeiten ein, indem er die Konzepte, Methoden und Auswirkungen der vorgeschlagenen Techniken erläutert und sie auch für Leser mit begrenzten Kenntnissen in KI und NLP zugänglich macht.
Forschungsarbeit 1: Large Language Models als analogische Denker
Die erste Forschungsarbeit, betitelt “Large Language Models als analogische Denker”, stellt einen neuen Prompt-Ansatz vor, der als Analogical Prompting bezeichnet wird. Die Autoren, Michihiro Yasunaga, Xinyun Chen und andere, ziehen ihre Inspiration aus analogischem Denken – einem kognitiven Prozess, bei dem Menschen vergangene Erfahrungen nutzen, um neue Probleme zu lösen.
Schüsselkonzepte und Methodik
Analogical Prompting ermutigt LLMs, selbst relevante Beispiele oder Wissen im Kontext zu generieren, bevor sie ein gegebenes Problem lösen. Dieser Ansatz eliminiert die Notwendigkeit von gelabelten Beispielen und bietet Allgemeingültigkeit und Bequemlichkeit, und passt die generierten Beispiele an jedes spezifische Problem an, um Anpassungsfähigkeit zu gewährleisten.
Links: Traditionelle Methoden des Promptings von LLMs basieren auf generischen Eingaben (0-Shot-CoT) oder erfordern gelabelte Beispiele (Few-Shot-CoT). Rechts: Der neue Ansatz promptet LLMs, relevante Beispiele vor der Problemlösung zu erstellen, wodurch die Notwendigkeit von Markierungen entfällt und Beispiele an jedes einzigartige Problem angepasst werden
Selbstgenerierte Beispiele
Die erste Technik, die in der Forschungsarbeit vorgestellt wird, sind selbstgenerierte Beispiele. Die Idee besteht darin, das umfangreiche Wissen, das LLMs während ihrer Ausbildung erworben haben, zu nutzen, um sie bei der Lösung neuer Probleme zu unterstützen. Der Prozess umfasst die Ergänzung eines Zielproblems mit Anweisungen, die das Modell auffordern, relevante Probleme und Lösungen zu erinnern oder zu generieren.
Beispielsweise wird dem Modell bei einem gegebenen Problem aufgetragen, drei verschiedene und relevante Probleme zu erinnern, sie zu beschreiben und ihre Lösungen zu erklären. Dieser Prozess ist so konzipiert, dass er in einem einzigen Durchgang durchgeführt wird, wodurch das LLM relevante Beispiele generieren und das ursprüngliche Problem nahtlos lösen kann. Die Verwendung von ‘#’ -Symbolen in den Prompts hilft bei der Strukturierung der Antwort, macht sie organisierter und erleichtert es dem Modell, ihr zu folgen.
Wichtige technische Entscheidungen, die in der Forschungsarbeit hervorgehoben werden, umfassen die Betonung der Generierung relevanter und vielfältiger Beispiele, die Annahme eines Single-Pass-Ansatzes für größere Bequemlichkeit und die Feststellung, dass die Generierung von drei bis fünf Beispielen die besten Ergebnisse liefert.
Selbstgeneriertes Wissen + Beispiele
Die zweite Technik, selbstgeneriertes Wissen + Beispiele, wird eingeführt, um Herausforderungen in komplexeren Aufgaben wie der Codegenerierung zu bewältigen. In diesen Szenarien könnten LLMs übermäßig auf niedrigstufige Beispiele angewiesen sein und Schwierigkeiten haben, zu verallgemeinern, wenn sie das Zielproblem lösen. Um dies zu mildern, schlagen die Autoren vor, den Prompt mit einer zusätzlichen Anweisung zu erweitern, die das Modell auffordert, Kernkonzepte im Problem zu identifizieren und eine Anleitung oder ein hochstufiges Takeaway bereitzustellen.
Ein kritischer Aspekt ist die Reihenfolge, in der Wissen und Beispiele generiert werden. Die Autoren fanden heraus, dass die Generierung von Wissen vor Beispielen zu besseren Ergebnissen führt, da es dem LLM hilft, sich auf die grundlegenden Problemlösungsansätze zu konzentrieren, anstatt nur auf oberflächliche Ähnlichkeiten.
Vorteile und Anwendungen
Der analogische Prompt-Ansatz bietet mehrere Vorteile. Er bietet detaillierte Beispiele für Denkprozesse ohne die Notwendigkeit von manueller Markierung, wodurch Herausforderungen im Zusammenhang mit 0-Shot- und Few-Shot-Chain-of-Thought- (CoT-) Methoden bewältigt werden. Darüber hinaus sind die generierten Beispiele auf einzelne Probleme zugeschnitten, wodurch sie relevantere Anleitungen bieten als traditionelle Few-Shot-CoT, die feste Beispiele verwendet.
Die Forschungsarbeit demonstriert die Wirksamkeit dieses Ansatzes bei verschiedenen Denkaufgaben, einschließlich Mathematikproblemlösung, Codegenerierung und anderen Denkaufgaben in BIG-Bench.
Die folgenden Tabellen präsentieren Leistungsmetriken verschiedener Prompt-Methoden über verschiedene Modellarchitekturen. Bemerkenswerterweise übertrifft die Methode “Selbstgenerierte Beispiele” konsistent andere Methoden in Bezug auf Genauigkeit. Bei der GSM8K-Genauigkeit erreicht diese Methode die höchste Leistung auf dem PaLM2-Modell bei 81,7 %. Ähnlich verhält es sich bei der MATH-Genauigkeit, bei der sie auf dem GPT3.5-Turbo-Modell bei 37,3 % liegt.
Leistung bei mathematischen Aufgaben, GSM8K und MATH
In der zweiten Tabelle zeigt die Methode “Selbstgeneriertes Wissen + Beispiele” bei den Modellen GPT3.5-Turbo-16k und GPT4 die beste Leistung.
Leistung bei der Codegenerierungsaufgabe Codeforces
Forschungsarbeit 2: Ein Schritt zurück: Denken durch Abstraktion in Large Language Models
Überblick
Die zweite Forschungsarbeit, “Ein Schritt zurück: Denken durch Abstraktion in Large Language Models“, stellt die Technik des Step-Back-Promptings vor, die LLMs ermutigt, hochstufige Konzepte und Prinzipien aus detaillierten Instanzen abzuleiten. Die Autoren, Huaixiu Steven Zheng, Swaroop Mishra und andere, zielen darauf ab, die Denkfähigkeiten von LLMs zu verbessern, indem sie sie anleiten, einen korrekten Denkpfad zur Lösung zu folgen.
Darstellung von STEP-BACK-PROMPTING durch zwei Phasen der Abstraktion und des Denkens, gesteuert durch Schlüsselkonzepte und Prinzipien.
Lassen Sie uns ein einfaches Beispiel mit einer grundlegenden Mathematikfrage erstellen, um die Technik der “Stepback-Frage” zu demonstrieren:
Ursprüngliche Frage: Wenn ein Zug mit einer Geschwindigkeit von 60 km/h fährt und eine Strecke von 120 km zurücklegt, wie lange wird er brauchen?
Optionen:
3 Stunden
2 Stunden
1 Stunde
4 Stunden
Ursprüngliche Antwort [Falsch]: Die richtige Antwort ist 1).
Stepback-Frage: Was ist die grundlegende Formel zur Berechnung der Zeit bei gegebener Geschwindigkeit und Entfernung?
Prinzipien:
Zur Berechnung der Zeit verwenden wir die Formel:
Zeit = Entfernung / Geschwindigkeit
Endgültige Antwort:
Mit der Formel, Zeit = 120 km / 60 km/h = 2 Stunden.
Die richtige Antwort ist 2) 2 Stunden.
Obwohl LLMs heutzutage diese Frage leicht beantworten können, dient dieses Beispiel dazu, zu zeigen, wie die Stepback-Technik funktionieren würde. Für komplexere Szenarien kann die gleiche Technik angewendet werden, um das Problem systematisch zu zerlegen und zu lösen. Nachfolgend wird ein komplexeres Beispiel aus der Forschungsarbeit demonstriert:
STEP-BACK-PROMPTING auf dem MMLU-Chemiedatensatz
Schüsselkonzepte und Methodik
Die Essenz des Step-Back-Promptings liegt in seiner Fähigkeit, LLMs dazu zu bringen, einen metaphorischen Schritt zurückzutreten, um sie dazu zu ermutigen, das große Bild zu betrachten, anstatt sich in Details zu verlieren. Dies wird durch eine Reihe sorgfältig konzipierter Prompts erreicht, die die LLMs anleiten, Informationen abzustrahlen, hochstufige Konzepte abzuleiten und diese Konzepte anzuwenden, um das gegebene Problem zu lösen.
Der Prozess beginnt damit, dass das LLM aufgefordert wird, Details aus den gegebenen Instanzen abzustrahlen, um es dazu zu ermutigen, sich auf die zugrunde liegenden Konzepte und Prinzipien zu konzentrieren. Dieser Schritt ist entscheidend, da er den Grundstein für die Herangehensweise des LLMs an das Problem legt.
Sobald die hochstufigen Konzepte abgeleitet sind, werden sie verwendet, um das LLM durch die Denkschritte zur Lösung zu leiten. Diese Anleitung stellt sicher, dass das LLM auf dem richtigen Weg bleibt, indem es einen logischen und kohärenten Pfad verfolgt, der auf den abgeleiteten Konzepten und Prinzipien basiert.
Die Autoren führen eine Reihe von Experimenten durch, um die Wirksamkeit des Step-Back-Promptings zu validieren, indem sie PaLM-2L-Modelle über eine Reihe von herausfordernden, denkfähigen Aufgaben verwenden. Diese Aufgaben umfassen STEM-Probleme, Wissens-QA und Multi-Hop-Reasoning, was eine umfassende Testumgebung für die Bewertung der Technik bietet.
Erhebliche Verbesserungen bei allen Aufgaben
Die Ergebnisse sind beeindruckend, da das Step-Back-Prompting zu erheblichen Leistungssteigerungen bei allen Aufgaben führt. Beispielsweise verbessert die Technik die Leistung von PaLM-2L bei MMLU-Physik und -Chemie um 7 % bzw. 11 %. Ähnlich verbessert sie die Leistung bei TimeQA um 27 % und bei MuSiQue um 7 %.
Leistung von STEP-BACK-PROMPTING vs. CoT
Diese Ergebnisse unterstreichen das Potenzial des Step-Back-Promptings, die Denkfähigkeiten von LLMs erheblich zu verbessern.
Zusammenfassung
Beide Forschungsarbeiten von Google DeepMind präsentieren innovative Ansätze zum Prompt-Engineering, die darauf abzielen, die Denkfähigkeiten von Large Language Models zu verbessern. Analogical Prompting nutzt das Konzept des analogischen Denkens, um Modelle dazu zu ermutigen, ihre eigenen Beispiele und Wissen zu generieren, was zu einer anpassungsfähigeren und effizienteren Problemlösung führt. Andererseits konzentriert sich das Step-Back-Prompting auf die Abstraktion, um Modelle dazu zu bringen, hochstufige Konzepte und Prinzipien abzuleiten, was ihre Denkfähigkeiten verbessert.
Diese Forschungsarbeiten bieten wertvolle Einblicke und Methoden, die in verschiedenen Bereichen angewendet werden können, um intelligenterere und leistungsfähigere Sprachmodelle zu entwickeln. Da wir weiterhin die Feinheiten des Prompt-Engineerings erforschen und verstehen, dienen diese Ansätze als wichtige Schritte auf dem Weg zu fortgeschritteneren und komplexeren KI-Systemen.
