Kontext-Engineering: Ein umfassender Leitfaden

Context Engineering repräsentiert eine bedeutende Verschiebung in der künstlichen Intelligenz, weg von einzelnen Prompts und hin zur Konstruktion umfassender Informationsökosysteme rund um Large Language Models (LLMs). Da sich KI-Anwendungen von einfachen Chatbots zu anspruchsvollen Agenten entwickeln, die in der Lage sind, komplizierte, mehrstufige Aufgaben auszuführen, hängt die Qualität der Modellausgaben zunehmend von den bereitgestellten Informationen ab. Daher ist Context Engineering unerlässlich geworden, um zuverlässige und leistungsstarke KI-Anwendungen zu erstellen, die beeindruckende Benutzererlebnisse liefern.

Der Paradigmenwechsel: Von Prompts zu Systemen

Der Fokus verlagert sich von der Erstellung einzelner Prompts hin zum systematischen Aufbau eines vollständigen Informationsökosystems rund um Large Language Models (LLMs). Da sich KI-Anwendungen von einfachen Chatbots zu intelligenten Agenten entwickeln, die in der Lage sind, komplexe, mehrstufige Aufgaben auszuführen, hängt die Qualität der Modellausgabe zunehmend von der Qualität der bereitgestellten Informationen ab. Branchenführer und KI-Forscher erkennen die Bedeutung dieser Verschiebung an und betonen die Notwendigkeit, LLMs mit umfassendem Kontext zu versorgen, um Aufgaben effektiv lösen zu können. Context Engineering umfasst die Kunst und Wissenschaft, das Context Window mit den richtigen Informationen zu füllen, damit Modelle genaue Entscheidungen treffen können.

Das zentrale Argument ist, dass das Scheitern der meisten intelligenten Agenten eher auf einen Kontextmangel als auf einen Modellfehler zurückzuführen ist. Diese Behauptung definiert die Kernherausforderung des KI-Engineerings neu und verlagert die Aufmerksamkeit vom Modell-Tuning auf die Entwicklung von informationsunterstützenden Systemen. Das Verständnis und die Beherrschung von Context Engineering ist zu einer Voraussetzung für den Aufbau zuverlässiger, robuster KI-Anwendungen geworden.

Definition von Context Engineering

Context Engineering ist nicht nur eine verbesserte Version von Prompt Engineering; es ist eine einzigartige, systemweite Engineering-Disziplin, die sich auf die Schaffung eines dynamischen Informationsbereitstellungssystems konzentriert und nicht nur auf die Optimierung von Texteingaben.

Context Engineering kann als eine Engineering-Disziplin definiert werden, die sich auf die Entwicklung und den Aufbau dynamischer Systeme konzentriert, die LLMs die Informationen und Werkzeuge liefern, die benötigt werden, um Aufgaben korrekt, im richtigen Format und zur richtigen Zeit zu erledigen.

Schlüsselkomponenten:

• “Entwerfen und Konstruieren dynamischer Systeme”: Dies betont, dass Context Engineering eine Engineering-Tätigkeit ist, die sich auf die Systemarchitektur und nicht nur auf die Formulierung konzentriert. Der Kontext ist die Ausgabe eines Systems, das vor dem Haupt-LLM-Aufruf ausgeführt wird. Ingenieure müssen Datenpipelines, Speichermodule und Informationsabrufmechanismen erstellen, um den Arbeitsspeicher des LLM vorzubereiten.
• “Korrekte Informationen und Werkzeuge”: Umfasst Fakten, Daten, Wissensbasis-Inhalte (durch RAG) und Benutzereinstellungen. Werkzeuge beziehen sich auf Fähigkeiten wie API-Schnittstellen, Funktionen oder Datenbankabfragen. Die Bereitstellung von Wissen und Fähigkeiten ist grundlegend für komplexe Aufgaben.
• “Korrektes Format, zur richtigen Zeit”: Hebt die Bedeutung der Informationspräsentation und des Timings hervor. Eine prägnante Zusammenfassung erweist sich oft als vorteilhafter als Rohdaten, und ein klares Werkzeugschema ist effektiver als vage Anweisungen. Die bedarfsgerechte Bereitstellung des Kontexts ist entscheidend, um das Modell nicht mit irrelevanten Informationen abzulenken.
• “Zuverlässige Erledigung der Aufgabe”: Dies ist das ultimative Ziel von Context Engineering. Es verwandelt KI-Anwendungen in zuverlässige Systeme, die konsistent hochwertige Ergebnisse liefern können. Mit präzisem Context Management werden die Ausgaben konsistenter, reduzieren Halluzinationen und unterstützen komplexe, langzyklische intelligente Agent-Workflows.

Die Evolution von Prompt Engineering zu Context Engineering

Während sowohl Context Engineering als auch Prompt Engineering darauf abzielen, die LLM-Ausgabe zu optimieren, unterscheiden sie sich in Umfang, Art und Zielen. Ein Systemvergleich verdeutlicht diese Unterschiede:

• Umfang: Prompt Engineering konzentriert sich auf die Optimierung einzelner Interaktionen oder Textstrings, während Context Engineering sich auf das gesamte Informationsökosystem konzentriert und den gesamten Aufgabenlebenszyklus abdeckt.
• Dynamik: Prompts sind in der Regel statisch, während der Kontext dynamisch basierend auf der Aufgabe generiert wird und sich während der Interaktion weiterentwickelt.
• Input-Zusammensetzung: Prompt Engineers erstellen Inputs rund um Benutzeranfragen, während Context Engineers Benutzeranfragen nur als einen Teil eines größeren “Kontextpakets” betrachten, das Systemanweisungen, abgerufene Dokumente, Werkzeugausgaben und den Gesprächsverlauf umfasst.
• Analogie: Wenn Prompts wie eine einzelne Zeile in einem Theaterstück sind, ist der Kontext das gesamte Set, die Hintergrundgeschichte und das Skript des Films, die zusammen Tiefe und Bedeutung vermitteln.

Die folgende Tabelle vergleicht die beiden weiter:

Prompt Engineering vs. Context Engineering

Neudefinition von KI-Engineering

Diese Verlagerung vom Prompt Engineering zum Context Engineering verändert die Rolle der KI-Ingenieure. Prompt Engineering konzentriert sich auf die Perfektionierung von Input-Strings und erfordert Kenntnisse in Linguistik und Logik. Wenn es jedoch darum geht, Systeme zu entwickeln, die diese Inputs dynamisch aus Datenbanken, APIs und dem Speicher zusammensetzen, verlagern sich die Kernkompetenzen auf Software Engineering und Systemarchitektur.

Frameworks wie LangChain und LlamaIndex sind beliebt, weil sie ContextEngineering unterstützen und architektonische Muster für den Aufbau dynamischer Context Assembly-Systeme wie Chains, Graphs und Agents bieten.

Der Aufstieg des Context Engineering markiert eine Verlagerung in der KI-Entwicklung von einem modellzentrierten Nischenfeld zu einer Mainstream-Software-Engineering-Disziplin. Die Hauptherausforderung ist nicht nur das Modell selbst, sondern der gesamte Anwendungs-Stack, der darum herum aufgebaut ist.

Kontext: Zerlegung und Prinzipien

Dieser Abschnitt beschreibt die Komponenten von “Kontext” und umreißt Prinzipien für ein effektives Management.

Dekonstruktion des Context Window

Das Context Window ist die Gesamtinformation, die das Modell “sehen” oder “sich erinnern” kann, wenn es eine Antwort generiert. Ein vollständiges “Kontextpaket” ist die Summe aller bereitgestellten Informationen.

• Anweisungen/System-Prompt: Diese Basisschicht definiert das Verhalten des Modells und legt seine Rolle, seinen Stil, seine Regeln, Einschränkungen und Ziele fest.
• Benutzer-Prompt: Die direkte Frage oder Aufgabenanweisung, die den intelligenten Agenten auslöst.
• Gesprächsverlauf/Kurzzeitgedächtnis: Vorherige Interaktionen liefern einen direkten Kontext, der aufgrund von Einschränkungen des Context Windows durch Beschneidung oder Zusammenfassung verwaltet wird.
• Langzeitgedächtnis: Eine persistente Wissensbasis, die Informationen aufzeichnet, die aus Interaktionen gelernt wurden, wie z. B. Benutzereinstellungen, Projektzusammenfassungen oder Fakten, die explizit zum Merken gesagt wurden.
• Abgerufene Informationen/RAG: Um Wissensdefizite zu überwinden und faktenbasierte Antworten sicherzustellen, ruft das System dynamisch relevante Informationen aus externen Wissensquellen ab.
• Verfügbare Werkzeuge: Definiert die Schemata und Beschreibungen von aufrufbaren Funktionen oder integrierten Werkzeugen und gibt dem Modell die Möglichkeit zu handeln, nicht nur zu wissen.
• Werkzeugausgaben: Ergebnisse von Werkzeugaufrufen müssen wieder in den Kontext eingespeist werden, damit das Modell sie in nachfolgenden Überlegungen und Aktionen verwenden kann.
• Strukturiertes Ausgabeschema: Definiert das erwartete Ausgabeformat (wie JSON Schema), um strukturierte, vorhersehbare Ergebnisse zu erzielen.

Das “LLM als Betriebssystem”-Framework

Diese Analogie bietet einen soliden theoretischen Rahmen für das Verständnis und die Ausübung des Context Managements.

• LLM als CPU, Context Window als RAM: Diese Analogie positioniert das Context Window als eine begrenzte und wertvolle Ressource. Context Engineering ist wie OS-Management, das die richtigen Informationen zur richtigen Zeit effizient in den Arbeitsspeicher lädt.

• Kernel-Kontext vs. Benutzer-Kontext: Dieses Framework unterteilt den Kontext in zwei Ebenen; ähnlich wie Kernel-Space und User-Space.

  • Kernel-Kontext: Repräsentiert den verwalteten, variablen, persistenten Zustand des intelligenten Agenten. Es umfasst Kernspeicherblöcke und Dateisysteme, die das LLM beobachten, aber nur durch kontrollierte “Systemaufrufe” ändern kann.
  • Benutzer-Kontext: Repräsentiert den “User-Space” oder Message Buffer, in dem dynamische Interaktionen stattfinden. Es umfasst Benutzermeldungen, Assistentenantworten und Aufrufe von nicht-privilegierten “User Program”-Tools.

• Systemaufrufe und benutzerdefinierte Werkzeuge: Diese Unterscheidung verdeutlicht, wie der Agent mit seinem internen Zustand und der Außenwelt interagiert. Systemaufrufe ändern den Kernel-Kontext und verändern den persistenten Zustand des Agenten, während benutzerdefinierte Werkzeuge externe Informationen in den Benutzerkontext bringen.

Leitprinzipien des Context Engineering

Effektives Context Engineering folgt Kernprinzipien, die von Praktikern abgeleitet wurden, um zuverlässige intelligente Agent-Systeme zu entwickeln.

• Kontinuierlicher und umfassender Kontext: Auch bekannt als “Alles sehen”, erfordert dieses Prinzip, dass der Agent Zugriff auf seine vollständige operative Historie hat, einschließlich früherer Benutzerinteraktionen, Werkzeugaufgabe-Ausgaben, interner Denkprozesse und Zwischenergebnisse.
• Vermeiden Sie unkoordinierte Parallelität: Wenn mehrere Unteragenten oder Unteraufgaben parallel ohne einen gemeinsamen, kontinuierlich aktualisierten Kontext arbeiten können, führt dies fast zwangsläufig zu Ausgabekonsistenzen, widersprüchlichen Zielen und Fehlern.
• Dynamischer und sich entwickelnder Kontext: Der Kontext sollte kein statischer Informationsblock sein. Er muss dynamisch basierend auf dem Aufgabenfortschritt zusammengestellt und weiterentwickelt werden, wobei Informationen zur Laufzeit erfasst oder aktualisiert werden.
• Vollständige kontextuelle Abdeckung: Dem Modell müssen alle Informationen zur Verfügung gestellt werden, die es möglicherweise benötigt, nicht nur die neueste Benutzerfrage. Das gesamte Input-Paket (Anweisungen, Daten, Historie usw.) muss sorgfältig entworfen werden.

Context-Management-Strategien:

Schreiben: Persistieren des Kontexts:

Dies beinhaltet das Speichern von Informationen über das unmittelbare Context Window hinaus für die zukünftige Verwendung, wodurch die Gedächtnisfähigkeiten des Agenten aufgebaut werden.

• Scratchpads: Wird für das Speichern von Kurzzeitgedächtnis innerhalb der Sitzung verwendet.
• Memory Systems: Wird für den Aufbau von Langzeitgedächtnis über Sitzungen hinweg verwendet.

Auswählen: Abrufen des Kontexts:

Dies beinhaltet das Ziehen der richtigen Informationen aus dem externen Speicher in das Context Window zur richtigen Zeit.

• Auswählen aus Speicher/Scratchpads: Der Agent muss in der Lage sein, seinen persistenten Speicher und seine Scratchpads effektiv abzufragen, wenn er sich an vergangenes Wissen erinnern muss.
• Auswählen aus Werkzeugen: Wenn dem Agenten viele Werkzeuge zur Verfügung stehen, ist es effizient, RAG-Techniken auf die Werkzeugbeschreibungen selbst anzuwenden, wobei dynamisch nur die relevantesten Werkzeuge basierend auf der aktuellen Aufgabe abgerufen und bereitgestellt werden.
• Auswählen aus Wissen: Dies ist die Kernfunktion von Retrieval-Augmented Generation (RAG), die dynamisch faktische Informationen aus externen Wissensbasen abruft, um die Antwortfähigkeiten des Modells zu verbessern.

Komprimieren: Optimieren des Kontexts:

Dies beinhaltet die Reduzierung der Anzahl der im Kontext verwendeten Token unter Beibehaltung von Kerninformationen.

• Zusammenfassung: Verwenden des LLM, um lange Gesprächsverläufe, Dokumente oder Werkzeugausgaben zusammenzufassen und Schlüsselinformationen zu extrahieren.
• Beschneiden: Verwenden heuristischer Regeln, um den Kontext zu kürzen, z. B. durch einfaches Entfernen der frühesten Dialogrunden, wenn der Gesprächsverlauf zu lang ist.

Isolieren: Partitionieren des Kontexts:

Dies beinhaltet das Zerlegen des Kontexts in verschiedene Teile, um den Fokus des Modells zu verbessern und die Aufgabenkomplexität zu verwalten.

• Multi-Agent-Systeme: Große Aufgaben können auf mehrere Unteragenten aufgeteilt werden, von denen jeder seinen eigenen dedizierten, isolierten Kontext, Werkzeuge und Anweisungen hat.
• Sandboxed Environments: Operationen, die eine große Anzahl von Token verbrauchen, können in einer isolierten Umgebung ausgeführt werden, wobei nur die endgültigen Schlüsselergebnisse an den Kontext des Haupt-LLM zurückgegeben werden.

Erweiterte Speicherarchitekturen

Speicher ist der Schlüssel zum Aufbau intelligenter Agenten, die lernen und sichAnpassen können. Zu den wichtigsten Komponenten gehören Kurzzeitgedächtnis durch Dialogverlaufspuffer und Scratchpads sowie Langzeitgedächtnis für Persistenz und Personalisierung.

• Implementierungstechniken:

  • Automatisierte Speichergenerierung: Das System kann automatisch Speicher basierend auf Benutzerinteraktionen generieren und speichern.
  • Reflexionsmechanismen: Der Agent kann nach Abschluss von Aufgaben über sein Verhalten und seine Ergebnisse selbst reflektieren und gelernte Lektionen zu neuen Erinnerungen synthetisieren.
  • Dialogzusammenfassung: Zusammenfassen vergangener Gespräche und Speichern der Zusammenfassungen als Teil eines Langzeitgedächtnisses.

• Strukturierter Speicher (Temporal Knowledge Graphs): Eine fortgeschrittenere Speicherarchitektur, die nicht nur Fakten speichert, sondern auch Beziehungen zwischen Fakten und Zeitstempeln für jede Information.

Retrieval-Augmented Generation (RAG): Der Eckpfeiler des Context Engineering

RAG ist eine Kerntechnik für das “Auswählen” externen Wissens im Context Engineering und verbindet LLMs mit externen Wissensbasen. Ein typisches RAG-System hat drei Stufen:

1. Indizierung: Dokumente werden in semantische Chunks aufgeteilt und dann mithilfe eines Embedding-Modells in hochdimensionale Vektoren umgewandelt. Diese Vektoren und Quelltexte werden in der Vektordatenbank gespeichert.
2. Abruf: Der Benutzer wandelt eine Abfrage mit demselben Embedding-Modell in einen Vektor um und durchsucht die Vektordatenbank nach anderen nahen Vektoren mit ähnlichen Abfragen.
3. Generierung: Das System kombiniert die ursprüngliche Abfrage und die zugehörigen Text-Chunks in einen Prompt und sendet ihn dann an das LLM, um eine passende Antwort zu generieren.

Erweiterte Abruf- und Ranking-Strategien

Die grundlegende RAG-Architektur benötigt oft komplexere Strategien, um die Abrufqualität in der realen Welt zu verbessern. Die Kombination aus semantischer Suche mit Keyword-Indizes und Ranking ist entscheidend für die Verbesserung der Suchqualität. Der kontextbezogene Informationsabruf von Anthropic wird den Kontext von LLMs verbessern.

• Hybridsuche: Kombiniert semantische Suche (basierend auf Vektoren) und Keyword-Suche, um komplementäre Stärken zu nutzen.
• Kontextbezogener Abruf: Verwendet ein LLM, um eine kurze Zusammenfassung des Kontexts jedes Textblocks zu generieren.
• Re-Ranking: Fügt einen Re-Ranking-Schritt hinzu, wobei ein stärkeres Modell verwendet wird, um die Ergebnisse basierend auf der Relevanz neu zu sortieren.

RAG vs. Fine-Tuning: Ein strategischer Entscheidungsrahmen

Die Wahl zwischen RAG und Fine-Tuning ist eine wichtige Entscheidung. Die Wahl hängt von den Anforderungen des Projekts ab.

• Vorteile von RAG:

  • Geeignet für die Integration von Echtzeitwissen
  • Reduziert Halluzinationen durch die Bereitstellung überprüfbarer Fakten
  • Ermöglicht es Unternehmen, proprietäre Daten in sicheren internen Datenbanken zu speichern

• Vorteile von Fine-Tuning:

  • Am besten geeignet, um einem Modell ein neues Verhalten, einen neuen Sprachstil oder eine spezielle Terminologie beizubringen
  • Kann die Ausgabe des Modells an das Markenimage des Unternehmens anpassen

• Hybrid-Ansätze: Um die beste Leistung mit Modellen zu erzielen, sollten Sie sowohl Fine
  Tuning für die Leistung als auch RAG für die Genauigkeit verwenden.

Context-Optimierung und -Filterung

Selbst wenn Sie leistungsstarke Abrufmechanismen verwenden, das Context Window verwalten und häufige Fehler vermeiden, werden dennoch Fehler auftreten.

Häufige Fehlermodi:

• Context Poisoning: Wenn ein scheinbar faktischer Fehler präsentiert wird, wird das gesamte System von diesem Zeitpunkt an beschädigt.
• Context Distraction: Modelle werden abgelenkt, wenn sie mit irrelevanten Informationen konfrontiert werden.
• Context Confusion: Kontextinformationen können das Modell überfordern und es von der richtigen Antwort abbringen.
• Context Clash: Modelle sind verwirrt über widersprüchliche Informationen und können eine widersprüchliche Antwort geben.

Lösungen:

Ingenieure müssen Filtertechniken anwenden, um diese Fehler zu mindern. Es ist unerlässlich, dass sich der Arbeitsspeicher des Modells in der Praxis und Theorie mit hochrelevanten und vollständig optimierten Informationen füllt.

Context Engineering in der Praxis: Fallstudien

Die Analyse verschiedener Anwendungen bietet ein tieferes Verständnis des Werts und der Implementierung von Context Engineering.

AI-Programmierassistenten

• Das Problem: Frühe Versuche mit AI-Programmierung waren oft chaotisch und stützten sich auf vage Prompts mit wenig Verständnis für die größere Codebasis.
• Die Lösung: Behandeln Sie die Projektdokumentation, Code-Richtlinien, Designmuster und Anforderungen wie jede andere Engineering-Ressource.

Enterprise Search und Wissensmanagement

• Das Problem: Traditionelle Enterprise Search Engines basieren auf Keyword-Matching und verstehen weder die Absicht des Benutzers, noch die Jobrolle oder den Grund für seine Suche.
• Die Lösung: Erstellen Sie intelligente Suchsysteme, die den Kontext verwenden, um jede Suche zu verstehen.

Automatisierter Kundensupport

• Das Problem: Allgemeine LLMs sind sich der Produktspezifikationen, der Rückgaberichtlinien oder der Kundenhistorie nicht bewusst, was zu ungenauen oder unhilfreichen Antworten führt.
• Die Lösung: Verwenden Sie RAG-basierte Chatbots, Systeme, die Informationen aus der Wissensbasis des Unternehmens abrufen, um genaue, personalisierte und aktuelle Unterstützung zu gewährleisten.

Personalisierte Empfehlungsmaschinen

• Das Problem: Traditionelle Empfehlungssysteme haben Schwierigkeiten, die unmittelbare, spezifische Absicht der Benutzer zu erfassen, was zu generischen Empfehlungen führt.
• Die Lösung: Context Engineering verwendet RAG, um die Erfahrung konversationeller zu gestalten.

Abschwächung grundlegender Mängel von Large Language Models

Context Engineering ist ein wichtiges Mittel, um zwei grundlegende LLM-Mängel anzugehen: Halluzinationen und Wissensdefizite.

Bekämpfung von Halluzinationen

• Das Problem: Wenn LLMs unsicher sind oder relevantes Wissen fehlt, neigen sie dazu, plausible, aber unwahre Informationen zu erfinden.

• Die Lösung: Context Engineering, insbesondere RAG, sind die effektivsten Strategien.

  • Bereitstellung einer faktischen Grundlage: Durch die Bereitstellung überprüfbarer Dokumente aus einer vertrauenswürdigen Quelle während der Beantwortung können Halluzinationen effektiv vermieden werden.
  • Ehrlichkeit “Ich weiß es nicht.”: Um transparent zu sein, weisen Sie Modelle an, “Ich weiß es nicht” anzuzeigen, wenn keine Informationen verfügbar sind.