Context Engineering: Gids voor intelligente LLM-systemen

Context engineering vertegenwoordigt een significante verschuiving in kunstmatige intelligentie, waarbij wordt afgestapt van individuele prompts en wordt toegewerkt naar het construeren van uitgebreide informatie-ecosystemen rondom large language models (LLM’s). Naarmate AI-toepassingen evolueren van basis chatbots naar geavanceerde agents die in staat zijn tot het uitvoeren van ingewikkelde, meerstaps taken, hangt de kwaliteit van de model outputs steeds meer af van de informatie die wordt verstrekt. Daarom is context engineering essentieel geworden voor het creëren van betrouwbare en krachtige AI-toepassingen die indrukwekkende gebruikerservaringen leveren.

De paradigmaverschuiving: van prompts naar systemen

De focus verschuift van het maken van individuele prompts naar het systematisch bouwen van een compleet informatie-ecosysteem rondom large language models (LLM’s). Naarmate AI-toepassingen evolueren van eenvoudige chatbots naar intelligente agents die in staat zijn complexe, meerstaps taken uit te voeren, wordt de kwaliteit van model output steeds afhankelijker van de kwaliteit van de verstrekte informatie. Leiders in de industrie en AI-onderzoekers erkennen het belang van deze verschuiving, waarbij ze benadrukken dat LLM’s voldoende context moeten worden geboden om taken effectief op te lossen. Context engineering omvat de kunst en wetenschap van het vullen van het contextvenster met de juiste informatie, waardoor modellen in staat worden gesteld om nauwkeurige beslissingen te nemen.

Het centrale argument is dat het falen van de meeste intelligente agents voortkomt uit een contexttekort in plaats van model falen. Deze bewering herdefinieert de kernuitdaging van AI engineering, waarbij de aandacht verschuift van het afstemmen van modellen naar het ontwikkelen van informatie ondersteunende systemen. Het begrijpen en beheersen van context engineering is een vereiste geworden voor het bouwen van betrouwbare, robuuste AI-toepassingen.

Het definiëren van context engineering

Context engineering is niet zomaar een verbeterde versie van prompt engineering; het is een unieke engineering discipline op systeemniveau, gericht op het creëren van een dynamisch informatieleveringssysteem, in plaats van simpelweg tekstinvoer te optimaliseren.

Context engineering kan worden gedefinieerd als een technisch discipline gericht op het ontwerpen en construeren van dynamische systemen die LLM’s voorzien van de informatie en tools die nodig zijn om taken correct, in het juiste formaat en op het juiste tijdstip uit te voeren.

Belangrijkste Componenten:

• "Het ontwerpen en construeren van dynamische systemen": Dit benadrukt dat context engineering een engineering activiteit is, waarbij de nadruk ligt op systeemarchitectuur in plaats van alleen bewoordingen. Context is de output van een systeem dat draait vóór de belangrijkste LLM call. Engineers moeten datapijplijnen, geheugenmodules en mechanismen voor het ophalen van informatie bouwen om het werkgeheugen van de LLM voor te bereiden.
• "Correcte informatie en tools": Omvat feiten, data, kennisbasis content (via RAG), en gebruikersvoorkeuren. Tools verwijzen naar mogelijkheden zoals API interfaces, functies, of database queries. Het verstrekken van zowel kennis als mogelijkheden is fundamenteel voor complexe taken.
• "Correct formaat, op het juiste tijdstip": Benadrukt het belang van informatiepresentatie en timing. Een beknopte samenvatting is vaak beter dan ruwe data, en een duidelijk tool schema is effectiever dan vage instructies. Het op aanvraag verstrekken van context is cruciaal om te voorkomen dat het model wordt afgeleid door irrelevante informatie.
• "De taak betrouwbaar voltooien": Dit is het uiteindelijke doel van context engineering. Het transformeert AI-toepassingen in betrouwbare systemen die consistent hoogwaardige outputs kunnen produceren. Met nauwkeurig contextmanagement worden outputs consistenter, verminderen hallucinaties en ondersteunen ze complexe, lange-cyclus intelligente agent workflows.

De evolutie van Prompt Engineering naar Context Engineering

Hoewel zowel context engineering als prompt engineering gericht zijn op het optimaliseren van LLM output, verschillen ze in reikwijdte, aard en doelen. Een vergelijking op systeemniveau benadrukt deze verschillen:

• Reikwijdte: Prompt engineering richt zich op het optimaliseren van individuele interacties of tekst strings, terwijl context engineering zich richt op het gehele informatie-ecosysteem, dat de volledige taak lifecycle omvat.
• Dynamiek: Prompts zijn meestal statisch, terwijl context dynamisch wordt gegenereerd op basis van de taak en evolueert gedurende de interactie.
• Input Samenstelling: Prompt engineers bouwen inputs rondom gebruikers queries, terwijl context engineers gebruikers queries zien als slechts een onderdeel van een groter "context pakket" dat systeeminstructies, opgehaalde documenten, tool outputs, en conversatie geschiedenis bevat.
• Analogie: Als prompts als een enkele regel in een toneelstuk zijn, dan is context de hele set, achtergrond verhaal en script van de film, die samen diepte en betekenis geven.

De onderstaande tabel vergelijkt de twee verder:

Prompt Engineering vs. Context Engineering

Het herdefiniëren van AI Engineering

Deze verschuiving van prompt engineering naar context engineering hervormt de rol van AI engineers. Prompt engineering richt zich op het perfectioneren van input strings, waarvoor vaardigheden in linguïstiek en logica vereist zijn. Wanneer de taak echter het bouwen van systemen wordt die deze inputs dynamisch samenstellen uit databases, API’s en geheugen, verschuiven de kernvaardigheden naar software engineering en systeemarchitectuur.

Frameworks zoals LangChain en LlamaIndex zijn populair omdat ze context engineering ondersteunen en architecturale patronen bieden voor het construeren van dynamische context samenstellings systemen, zoals Chains, Graphs en Agents.

De opkomst van context engineering markeert een verschuiving in AI ontwikkeling van een model-centrisch, niche vakgebied naar een mainstream software engineering discipline. De belangrijkste uitdaging is niet alleen het model zelf, maar de complete application stack er omheen.

Context: dissectie en principes

In dit gedeelte worden de componenten van "context" in detail beschreven en worden principes voor effectief beheer uiteengezet.

Het deconstrueren van het contextvenster

Het contextvenster is de totale informatie die het model kan "zien" of "onthouden" bij het genereren van een reactie. Een compleet "context pakket" is de som van alle verstrekte informatie.

• Instructies/Systeemprompt: Deze basislaag definieert het gedrag van het model, waarbij de rol, stijl, regels, beperkingen en doelstellingen worden vastgelegd.
• Gebruikersprompt: De directe vraag of taakinstructie die de intelligente agent triggert.
• Conversatiegeschiedenis/Kortetermijngeheugen: Eerdere uitwisselingen bieden directe context, die wordt beheerd door middel van snoeien of samenvatten vanwege de beperkingen van het contextvenster.
• Langetermijngeheugen: Een persistente kennisbasis die informatie vastlegt die is geleerd van interacties, zoals gebruikersvoorkeuren, projectsamenvattingen of feiten die expliciet zijn verteld om te onthouden.
• Opgehaalde informatie/RAG: Om kennis afgrenzing te overwinnen en feit gebaseerde reacties te garanderen, haalt het systeem dynamisch relevante informatie op uit externe kennis bronnen.
• Beschikbare Tools: Definieert de schema’s en beschrijvingen van aan te roepen functies of ingebouwde tools, waardoor het model de kracht krijgt om te handelen, niet alleen om te weten.
• Tool Outputs: Resultaten van tool calls moeten opnieuw in de context worden geïnjecteerd zodat het model ze kan gebruiken bij het daaropvolgende redeneren en handelen.
• Gestructureerd output schema: Definieert het verwachte output formaat (zoals JSON Schema) om gestructureerde, voorspelbare resultaten te sturen.

Het "LLM als een besturingssysteem" framework

Deze analogie biedt een solide theoretisch framework voor het begrijpen en oefenen van contextmanagement.

• LLM als CPU, Context Window als RAM: Deze analogie positioneert het contextvenster als een beperkte en waardevolle resource. Context engineering is als OS management, waarbij de juiste informatie efficiënt en op het juiste moment in het werkgeheugen wordt geladen.

• Kernel Context vs. User Context: Dit framework verdeelt context in twee lagen; vergelijkbaar met kernel space en user space.

  • Kernel Context: Vertegenwoordigt de beheerde, variabele, persistente status van de intelligente agent. Het omvat kerngeheugen blokken en file systems die de LLM kan observeren, maar alleen kan wijzigen via gecontroleerde "system calls".
  • User Context: Vertegenwoordigt de "user space" of message buffer, waar dynamische interacties plaatsvinden. Het omvat gebruikersberichten, assistent reacties en calls naar niet-geprivilegieerde "user program" tools.

• System Calls en Custom Tools: Dit onderscheid verduidelijkt hoe de agent omgaat met zijn interne status en de externe wereld. System calls wijzigen de kernel context, waarmee de persistente status van de agent wordt gewijzigd, terwijl custom tools externe informatie in de user context brengen.

Leidende Principes van Context Engineering

Effectieve context engineering volgt kernprincipes, afgeleid van beoefenaars, om betrouwbare intelligente agent systemen te bouwen.

• Continue en Uitgebreide Context: Ook bekend als "See Everything", vereist dit principe dat de agent toegang heeft tot zijn volledige operationele geschiedenis, inclusief eerdere gebruikersinteracties, tool call outputs, interne denkprocessen en tussenresultaten.
• Vermijd Ongecoördineerd Parallelisme: Het toestaan dat meerdere sub-agents of sub-tasks parallel werken zonder een gedeelde, continu bijgewerkte context leidt bijna onvermijdelijk tot inconsistenties in de output, conflicterende doelen en mislukkingen.
• Dynamische en Evaluerende Context: Context mag geen statisch informatieblok zijn. Het moet dynamisch worden samengesteld en geëvalueerd op basis van de taakvoortgang, waarbij informatie wordt verzameld of bijgewerkt tijdens runtime.
• Volledige Contextuele Dekking: Het model moet worden voorzien van alle informatie die het mogelijk nodig heeft, niet alleen de laatste gebruikersvraag. Het volledige inputpakket (instructies, data, geschiedenis, enz.) moet zorgvuldig worden ontworpen.

Context Management Strategieën:

Schrijven: Persisterende Context:

Dit omvat het opslaan van informatie buiten het onmiddellijke contextvenster voor toekomstig gebruik, waardoor de geheugencapaciteit van de agent wordt opgebouwd.

• Scratchpads: Worden gebruikt voor het opslaan van kortetermijngeheugen binnen de sessie.
• Geheugensystemen: Worden gebruikt voor het bouwen van langetermijngeheugen over sessies heen.

Selecteren: Opvragen van Context:

Dit omvat het op het juiste moment de juiste informatie uit externe opslag in het contextvenster halen.

• Selecteren uit geheugen/scratchpads: De agent moet in staat zijn om zijn persistente geheugen en scratchpads effectief te bevragen wanneer hij de kennis uit het verleden moet ophalen.
• Selecteren uit Tools: Wanneer de agent veel beschikbare tools heeft, is het efficiënt om RAG technieken toe te passen op de tool beschrijvingen zelf, waarbij dynamisch alleen de meest relevante tools worden opgehaald en verstrekt op basis van de huidige taak.
• Selecteren uit Kennis: Dit is de kernfunctie van Retrieval-Augmented Generation (RAG), het dynamisch verwerven van feitelijke informatie uit externe kennisbasissen om de antwoord mogelijkheden van het model te verbeteren.

Comprimeren: Optimaliseren van Context:

Dit omvat het verminderen van het aantal tokens dat in de context wordt gebruikt terwijl de kerninformatie behouden blijft.

• Samenvatting: Het gebruik van de LLM om lange conversatiegeschiedenissen, documenten of tool outputs samen te vatten, waarbij de belangrijkste informatie wordt geëxtraheerd.
• Trimmen: Heuristische regels gebruiken om de context in te korten, zoals simpelweg de vroegste dialoog rondes verwijderen wanneer de conversatiegeschiedenis te lang is.

Isoleren: Partitioneren van Context:

Dit omvat het ontleden van de context in verschillende delen om de focus van het model te verbeteren en de taak complexiteit te beheren.

• Multi-agent Systemen: Grote taken kunnen worden verdeeld over meerdere sub-agents, elk met zijn eigen dedicated, geïsoleerde context, tools en instructies.
• Sandboxed Omgevingen: Bewerkingen die een groot aantal tokens verbruiken, kunnen worden uitgevoerd in een geïsoleerde omgeving, waarbij alleen de uiteindelijke belangrijkste resultaten worden geretourneerd naar de context van de belangrijkste LLM.

Geavanceerde Geheugen Architecturen

Geheugen is de sleutel tot het bouwen van intelligente agents die kunnen leren en zich aanpassen. Belangrijkste componenten zijn kortetermijngeheugen via dialoog geschiedenis buffers en scratchpads, en langetermijngeheugen voor persistentie en persoonlijke aanpassing.

• Implementatie Technieken:

  • Geautomatiseerde Geheugen Generatie: Het systeem kan automatisch herinneringen genereren en opslaan op basis van gebruikersinteracties.
  • Reflectie Mechanismen: De agent kan na het voltooien van taken zelf reflecteren op zijn gedrag en resultaten, waarbij de geleerde lessen worden gesynthetiseerd in nieuwe herinneringen.
  • Dialoog Samenvatting: Vat regelmatig eerdere conversaties samen en sla de samenvattingen op als onderdeel van het langetermijngeheugen.

• Gestructureerd Geheugen (Temporal Knowledge Graphs): Een meer geavanceerde geheugen architectuur die niet alleen feiten opslaat, maar ook relaties tussen feiten en tijdstempels voor elk stukje informatie.

Retrieval-Augmented Generation (RAG): De hoeksteen van Context Engineering

RAG is een kerntechniek voor het "selecteren" van externe kennis in context engineering, waardoor LLM’s worden verbonden met externe kennisbasissen. Een typisch RAG systeem heeft drie stadia:

1. Indexeren: Documenten worden opgesplitst in semantische chunks en vervolgens omgezet in hoogdimensionale vectoren met behulp van een embedding model. Deze vectoren en bronteksten worden opgeslagen in de vecteur database.
2. Ophalen: De gebruiker zet een query om in een vector met hetzelfde embedding model en zoekt in de vecteur database naar andere vectoren die dichtbij liggen en vergelijkbare queries hebben.
3. Genereren: Het systeem combineert de originele query en de gerelateerde tekst chunks in een prompt en dient deze vervolgens in bij de LLM om een ​​geschikt antwoord te genereren.

Geavanceerde Strategieën voor het Ophalen en Rangschikken

De basis RAG architectuur heeft vaak complexere strategieën nodig om de kwaliteit van het ophalen in de echte wereld te verbeteren. Het combineren van semantisch zoeken met keyword indexes en ranking is cruciaal voor het verbeteren van de zoekkwaliteit. Anthropic’s contextual information retrieval zal de context van LLM’s verbeteren.

• Hybride Zoeken: Combineert semantisch zoeken (gebaseerd op vectoren) en keyword zoeken om complementaire sterke punten te benutten.
• Contextueel Ophalen: Gebruikt een LLM om een ​​korte samenvatting te genereren van de context van elk tekstblok.
• Re-ranking: Voegt een re-ranking stap toe, waarbij een sterker model wordt gebruikt om de resultaten opnieuw te sorteren op basis van relevantie.

RAG vs. Fine-tuning: Een Strategisch Beslissings Framework

Het kiezen tussen RAG en fine-tuning is een belangrijke beslissing. De keuze hangt af van de eisen van het project.

• Voordelen van RAG:

  • Geschikt voor de integratie van realtime kennis
  • Vermindert hallucinaties door verifieerbare feiten te verschaffen
  • Staat ondernemingen toe om propriëtaire data binnen beveiligde interne databases te bewaren

• Voordelen van Fine-tuning:

  • Het beste voor het aanleren van een model van een nieuw gedrag, spreekstijl of gespecialiseerde terminologie
  • Kan de output van het model afstemmen op het merkimago van de organisatie

• Hybride Benaderingen: Om de beste prestaties met modellen te behalen, moet je zowel fine-tuning voor prestaties als RAG voor nauwkeurigheid gebruiken.

Context Optimalisatie en Filtering

Zelfs door het gebruik van krachtige retrieval mechanismen voor het beheren van het contextvenster en het vermijden van veelvoorkomende fouten, zul je nog steeds fouten tegenkomen.

Veelvoorkomende faalmodi:

• Context Poisoning: wanneer een schijnbaar feitelijke fout wordt gepresenteerd, zal deze het gehele systeem vanaf dat punt verder corrumperen.
• Context distracie: Modellen worden afgeleid wanneer ze worden gepresenteerd met irrelevante informatie.
• Context verwarring: Contextinformatie kan overweldigend zijn voor het model, waardoor het wordt afgeleid van het juiste antwoord.
• Context Clash: Modellen raken in de war door conflicterende informatie en kunnen een tegenstrijdig antwoord produceren.

Oplossingen:

Engineers moeten filtering technieken toepassen om deze mislukkingen te beperken. Het waarborgen dat het werkgeheugen van het model vol staat met zeer relevante en volledig geoptimaliseerde informatie wordt essentieel voor theorie en praktijk.

Context Engineering in de Praktijk: Casestudies

Het analyseren van verschillende toepassingen biedt een dieper inzicht in de waarde en implementatie van context engineering.

AI Programmeer Assistenten

• Het Probleem: Vroege pogingen tot AI programmeren waren vaak chaotisch, gebaseerd op vage prompts met weinig begrip van de grotere code basis.
• De Oplossing: Behandel de projectdocumentatie, code richtlijnen, ontwerppatronen en eisen als elke andere engineering resource.

Enterprise Zoeken en Kennis Management

• Het Probleem: Traditionele enterprise zoekmachines vertrouwen op keyword matching, waarbij ze het inzicht van de gebruiker, de functierol of de reden voor hun zoekopdracht niet begrijpen.
• De Oplossing: Bouw intelligente zoeksysteem