فهم هندسة السياق: دليل شامل

تمثل هندسة السياق تحولاً كبيراً في الذكاء الاصطناعي، حيث تبتعد عن المطالبات الفردية وتتجه نحو بناء نظم بيئية معلوماتية شاملة حول نماذج اللغة الكبيرة (LLMs). مع تطور تطبيقات الذكاء الاصطناعي من روبوتات الدردشة الأساسية إلى وكلاء متطورين قادرين على تنفيذ مهام معقدة ومتعددة الخطوات، تعتمد جودة مخرجات النموذج بشكل متزايد على المعلومات المقدمة. لذلك، أصبحت هندسة السياق ضرورية لإنشاء تطبيقات ذكاء اصطناعي موثوقة وقوية تقدم تجارب مستخدم رائعة.

التحول النموذجي: من المطالبات إلى الأنظمة

ينصب التركيز على التحول من صياغة مطالبات فردية إلى بناء نظام معلومات كامل بشكل منهجي حول نماذج اللغة الكبيرة (LLMs). مع تطور تطبيقات الذكاء الاصطناعي من روبوتات الدردشة البسيطة إلى وكلاء أذكياء قادرين على أداء مهام معقدة ومتعددة الخطوات، أصبحت جودة إخراج النموذج تعتمد بشكل متزايد على جودة المعلومات المقدمة. يدرك قادة الصناعة وباحثو الذكاء الاصطناعي أهمية هذا التحول، مع التأكيد على الحاجة إلى تزويد LLMs بسياق شامل لحل المهام بفعالية. تتضمن هندسة السياق فن وعلم ملء نافذة السياق بالمعلومات الصحيحة، مما يمكّن النماذج من اتخاذ قرارات دقيقة.

الحجة المركزية هي أن فشل معظم الوكلاء الأذكياء ينبع من نقص السياق بدلاً من فشل النموذج. يؤدي هذا التأكيد إلى إعادة تعريف التحدي الأساسي لهندسة الذكاء الاصطناعي، وتحويل الانتباه من ضبط النموذج إلى تطوير أنظمة دعم المعلومات. لقد أصبح فهم وإتقان هندسة السياق شرطًا أساسيًا لبناء تطبيقات ذكاء اصطناعي موثوقة وقوية.

تعريف هندسة السياق

هندسة السياق ليست مجرد نسخة محسنة من هندسة المطالبات. إنها تخصص هندسي فريد على مستوى النظام يركز على إنشاء نظام ديناميكي لتوصيل المعلومات، بدلاً من مجرد تحسين إدخال النص.

يمكن تعريف هندسة السياق بأنها تخصص هندسي يركز على تصميم وبناء أنظمة ديناميكية تزود LLMs بالمعلومات والأدوات اللازمة لإكمال المهام بشكل صحيح، بالتنسيق الصحيح، وفي الوقت المناسب.

المكونات الرئيسية:

• "تصميم وبناء أنظمة ديناميكية": يؤكد هذا على أن هندسة السياق هي نشاط هندسي، يركز على بنية النظام بدلاً من مجرد الصياغة. السياق هو ناتج نظام يتم تشغيله قبل استدعاء LLM الرئيسي. يحتاج المهندسون إلى بناء خطوط أنابيب البيانات ووحدات الذاكرة وآليات استرجاع المعلومات لإعداد ذاكرة عمل LLM.
• "المعلومات والأدوات الصحيحة": تشمل الحقائق والبيانات ومحتوى قاعدة المعرفة (من خلال RAG) وتفضيلات المستخدم. تشير الأدوات إلى قدرات مثل واجهات برمجة التطبيقات أو الوظائف أو استعلامات قاعدة البيانات. يعد توفير كل من المعرفة والقدرات أمرًا أساسيًا للمهام المعقدة.
• "التنسيق الصحيح، في الوقت المناسب": يسلط الضوء على أهمية عرض المعلومات وتوقيتها. غالبًا ما يكون الملخص الموجز أفضل من البيانات الأولية، كما أن مخطط الأداة الواضح أكثر فعالية من التعليمات الغامضة. يعد توفير السياق عند الطلب أمرًا بالغ الأهمية لتجنب تشتيت انتباه النموذج بمعلومات غير ذات صلة.
• "إكمال المهمة بشكل موثوق": هذا هو الهدف النهائي لهندسة السياق. إنه يحول تطبيقات الذكاء الاصطناعي إلى أنظمة موثوقة يمكنها إنتاج مخرجات عالية الجودة باستمرار. مع الإدارة الدقيقة للسياق، تصبح المخرجات أكثر اتساقًا، وتقلل من الهلوسات، وتدعم مهام سير عمل الوكيل الذكي المعقدة وطويلة الدورة.

التطور من هندسة المطالبات إلى هندسة السياق

في حين أن كلاً من هندسة السياق وهندسة المطالبات تهدفان إلى تحسين إخراج LLM، إلا أنهما تختلفان في النطاق والطبيعة والأهداف. تسلط المقارنة على مستوى النظام الضوء على هذه الاختلافات:

• النطاق: تركز هندسة المطالبات على تحسين التفاعلات الفردية أو سلاسل النصوص، بينما تركز هندسة السياق على النظام البيئي للمعلومات بأكمله، وتغطي دورة حياة المهمة بأكملها.
• الديناميكية: عادةً ما تكون المطالبات ثابتة، بينما يتم إنشاء السياق ديناميكيًا استنادًا إلى المهمة ويتطور أثناء التفاعل.
• تكوين الإدخال: يقوم مهندسو المطالبات ببناء مدخلات حول استعلامات المستخدم، بينما يرى مهندسو السياق استعلامات المستخدم كمجرد جزء من "حزمة سياق" أكبر تتضمن تعليمات النظام والمستندات المسترجعة ومخرجات الأدوات وسجل المحادثة.
• التشبيه: إذا كانت المطالبات بمثابة سطر واحد في مسرحية، فإن السياق هو مجموعة الفيلم بأكمله والقصة الخلفية والنص، مما يوفر معًا العمق والمعنى.

يقارن الجدول أدناه بين الاثنين:

هندسة المطالبات مقابل هندسة السياق

إعادة تعريف هندسة الذكاء الاصطناعي

يغير هذا التحول من هندسة المطالبات إلى هندسة السياق دور مهندسي الذكاء الاصطناعي. تركز هندسة المطالبات على إتقان سلاسل الإدخال، مما يتطلب مهارات في اللغويات والمنطق. ومع ذلك، عندما تصبح المهمة بناء أنظمة تقوم بتجميع هذه المدخلات ديناميكيًا من قواعد البيانات وواجهات برمجة التطبيقات والذاكرة، فإن المهارات الأساسية تتحول إلى هندسة البرمجيات وهندسة النظام.

تحظى أطر العمل مثل LangChain و LlamaIndex بشعبية لأنها تدعم هندسة السياق، وتقدم أنماطًا معمارية لبناء أنظمة تجميع السياق الديناميكية.

يشير ظهور هندسة السياق إلى تحول في تطوير الذكاء الاصطناعي من مجال يركز على النموذج ومتخصص إلى تخصص هندسة البرمجيات السائد. التحدي الرئيسي ليس النموذج نفسه فحسب، بل أيضًا مجموعة التطبيقات بأكملها المبنية حوله.

السياق: التشريح والمبادئ

يفصل هذا القسم مكونات "السياق" ويحدد المبادئ للإدارة الفعالة.

تفكيك نافذة السياق

نافذة السياق هي إجمالي المعلومات التي يمكن للنموذج “رؤيتها” أو “تذكرها” عند إنشاء استجابة. "حزمة السياق" الكاملة هي مجموع كل المعلومات المقدمة.

• التعليمات/مطالبة النظام: تحدد هذه الطبقة الأساسية سلوك النموذج، وتحدد دوره وأسلوبه وقواعده وقيوده وأهدافه.
• مطالبة المستخدم: السؤال المباشر أو تعليمات المهمة التي تشغل الوكيل الذكي.
• سجل المحادثة/الذاكرة قصيرة المدى: توفر التبادلات السابقة سياقًا مباشرًا، تتم إدارته من خلال التقليم أو التلخيص بسبب قيود نافذة السياق.
• الذاكرة طويلة المدى: قاعدة معرفة ثابتة تسجل المعلومات المستفادة من التفاعلات، مثل تفضيلات المستخدم أو ملخصات المشروع أو الحقائق التي تم إخبارها صراحة لتذكرها.
• المعلومات المستردة/RAG: للتغلب على قطع المعرفة وضمان استجابات قائمة على الحقائق، يقوم النظام باستمرار باسترداد المعلومات ذات الصلة من مصادر المعرفة الخارجية.
• الأدوات المتاحة: تحدد المخططات والأوصاف للوظائف القابلة للاستدعاء أو الأدوات المدمجة، مما يمنح النموذج القدرة على التصرف، وليس فقط المعرفة.
• مخرجات الأدوات: يجب إعادة حقن النتائج من استدعاءات الأدوات في السياق ليستخدمها النموذج في الاستدلال والإجراءات اللاحقة.
• مخطط الإخراج المنظم: يحدد تنسيق الإخراج المتوقع (مثل JSON Schema) لتوجيه النتائج المنظمة والمتوقعة.

إطار عمل “LLM كنظام تشغيل”

يوفر هذا التشبيه إطارًا نظريًا قويًا لفهم وممارسة إدارة السياق.

• LLM كوحدة معالجة مركزية، نافذة السياق كذاكرة وصول عشوائي: يضع هذا التشبيه نافذة السياق كمورد محدود وقيم. تشبه هندسة السياق إدارة نظام التشغيل، حيث يتم تحميل المعلومات الصحيحة بكفاءة في الوقت المناسب إلى ذاكرة العمل.

• سياق Kernel مقابل سياق المستخدم: يقسم هذا الإطار السياق إلى طبقتين؛ على غرار مساحة kernel ومساحة المستخدم.

  • سياق Kernel: يمثل الحالة المدارة والمتغيرة والثابتة للوكيل الذكي. ويتضمن كتل الذاكرة الأساسية وأنظمة الملفات التي يمكن لـ LLM ملاحظتها، ولكن لا يمكن تعديلها إلا من خلال "استدعاءات النظام" الخاضعة للرقابة.
  • سياق المستخدم: يمثل "مساحة المستخدم" أو مخزن الرسائل، حيث تحدث التفاعلات الديناميكية. ويتضمن رسائل المستخدم وردود المساعد واستدعاءات الأدوات "برنامج المستخدم" غير المتميزة.

• استدعاءات النظام والأدوات المخصصة: يوضح هذا التمييز كيف يتفاعل الوكيل مع حالته الداخلية والعالم الخارجي. تعمل استدعاءات النظام على تعديل سياق kernel، وتغيير الحالة الثابتة للوكيل، بينما تجلب الأدوات المخصصة معلومات خارجية إلى سياق المستخدم.

المبادئ التوجيهية لهندسة السياق

تتبع هندسة السياق الفعالة المبادئ الأساسية، المستمدة من الممارسين، لبناء أنظمة وكيل ذكي موثوقة.

• سياق مستمر وشامل: يُعرف أيضًا باسم "رؤية كل شيء"، ويتطلب هذا المبدأ أن يتمكن الوكيل من الوصول إلى سجله التشغيلي الكامل، بما في ذلك تفاعلات المستخدم السابقة ومخرجات استدعاءات الأدوات وعمليات التفكير الداخلية والنتائج الوسيطة.
• تجنب التوازي غير المنسق: إن السماح للعديد من الوكلاء الفرعيين أو المهام الفرعية بالعمل بالتوازي دون سياق مشترك ومحدث باستمرار يؤدي حتمًا إلى تناقضات في الإخراج وأهداف متعارضة وإخفاقات.
• سياق ديناميكي ومتطور: يجب ألا يكون السياق عبارة عن كتلة معلومات ثابتة. يجب تجميعه وتطويره ديناميكيًا بناءً على تقدم المهمة، واكتساب المعلومات أو تحديثها في وقت التشغيل.
• تغطية سياقية كاملة: يجب تزويد النموذج بجميع المعلومات التي قد يحتاجها، وليس فقط أحدث سؤال للمستخدم. يجب تصميم حزمة الإدخال بأكملها (التعليمات والبيانات والسجل وما إلى ذلك) بعناية.

استراتيجيات إدارة السياق:

الكتابة: الاحتفاظ بالسياق:

يتضمن ذلك تخزين المعلومات خارج نافذة السياق المباشرة للاستخدام المستقبلي، وبناء قدرات ذاكرة الوكيل.

• لوحات الخدش: تستخدم لتخزين الذاكرة قصيرة المدى داخل الجلسة.
• أنظمة الذاكرة: تستخدم لبناء ذاكرة طويلة المدى عبر الجلسات.

التحديد: استرداد السياق:

يتضمن ذلك سحب المعلومات الصحيحة من التخزين الخارجي إلى نافذة السياق في الوقت المناسب.

• التحديد من الذاكرة/لوحات الخدش: يجب أن يكون الوكيل قادرًا على الاستعلام بفعالية عن ذاكرته ولوحات الخدش المحفوظة عندما يحتاج إلى استدعاء المعرفة السابقة.
• التحديد من الأدوات: عندما يكون لدى الوكيل العديد من الأدوات المتاحة، فمن الفعال تطبيق تقنيات RAG على أوصاف الأدوات نفسها، واسترداد الأدوات الأكثر صلة وتوفيرها ديناميكيًا بناءً على المهمة الحالية.
• التحديد من المعرفة: هذه هي الوظيفة الأساسية لـ Retrieval-Augmented Generation (RAG)، وهي اكتساب المعلومات الواقعية ديناميكيًا من قواعد المعرفة الخارجية لتعزيز قدرات الإجابة على النموذج.

الضغط: تحسين السياق:

يتضمن ذلك تقليل عدد الرموز المستخدمة في السياق مع الاحتفاظ بالمعلومات الأساسية.

• التلخيص: استخدام LLM لتلخيص سجلات المحادثات أو المستندات أو مخرجات الأدوات المطولة، واستخراج المعلومات الأساسية.
• التشذيب: استخدام قواعد إرشادية لتقليل السياق، مثل إزالة جولات الحوار الأولى ببساطة عندما يكون سجل المحادثات طويلاً جدًا.

العزل: تقسيم السياق:

يتضمن ذلك تقسيم السياق إلى أجزاء مختلفة لتحسين تركيز النموذج وإدارة تعقيد المهمة.

• أنظمة متعددة الوكلاء: يمكن تقسيم المهام الكبيرة بين العديد من الوكلاء الفرعيين، ولكل منهم السياق والأدوات والتعليمات المخصصة والمعزولة.
• البيئات المعزولة: يمكن تشغيل العمليات التي تستهلك عددًا كبيرًا من الرموز في بيئة معزولة، وإعادة النتائج الرئيسية النهائية فقط إلى سياق LLM الرئيسي.

معماريات الذاكرة المتقدمة

الذاكرة هي المفتاح لبناء وكلاء أذكياء يمكنهم التعلم والتكيف. تتضمن المكونات الرئيسية الذاكرة قصيرة المدى من خلال مخازن سجل الحوار ولوحات الخدش، والذاكرة طويلة المدى للمثابرة والتخصيص.

• تقنيات التنفيذ:

  • إنشاء الذاكرة الآلي: يمكن للنظام إنشاء وتخزين الذكريات تلقائيًا بناءً على تفاعلات المستخدم.
  • آليات الانعكاس: يمكن للوكيل أن يفكر ذاتيًا في سلوكه ونتائجه بعد إكمال المهام، وتجميع الدروس المستفادة في ذكريات جديدة.
  • تلخيص الحوار: تلخيص المحادثات السابقة بانتظام وتخزين الملخصات كجزء من الذاكرة طويلة المدى.

• الذاكرة المهيكلة (رسوم بيانية المعرفة الزمنية): بنية ذاكرة أكثر تقدمًا لا تخزن الحقائق فحسب، بل أيضًا العلاقات بين الحقائق والطوابع الزمنية لكل معلومة.

Retrieval-Augmented Generation (RAG): حجر الزاوية في هندسة السياق

RAG هي تقنية أساسية لـ "تحديد" المعرفة الخارجية في هندسة السياق، وربط LLMs بقواعد المعرفة الخارجية. يحتوي نظام RAG النموذجي على ثلاث مراحل:

1. الفهرسة: يتم تقسيم المستندات إلى أجزاء دلالية، ثم يتم تحويلها إلى متجهات عالية الأبعاد باستخدام نموذج تضمين. يتم تخزين هذه المتجهات والنصوص المصدر في قاعدة بيانات المتجهات.
2. الاسترداد: يحول المستخدم الاستعلام إلى متجه باستخدام نفس نموذج التضمين ويبحث في قاعدة بيانات المتجهات عن متجهات قريبة أخرى ذات استعلامات مماثلة.
3. الإنشاء: يجمع النظام بين الاستعلام الأصلي وأجزاء النص ذات الصلة في مطالبة، ثم يرسلها إلى LLM لتوليد إجابة مناسبة.

استراتيجيات الاسترداد والترتيب المتقدمة

غالبًا ما تحتاج بنية RAG الأساسية إلى استراتيجيات أكثر تعقيدًا لتحسين جودة الاسترداد في العالم الحقيقي. يعد الجمع بين البحث الدلالي مع فهارس الكلمات الرئيسية والترتيب أمرًا بالغ الأهمية لتحسين جودة البحث. سيؤدي استرجاع المعلومات السياقية في Anthropic إلى تحسين سياق LLMs.

• البحث المختلط: يجمع بين البحث الدلالي (القائم على المتجهات) والبحث عن الكلمات الرئيسية للاستفادة من نقاط القوة التكميلية.
• الاسترداد السياقي: يستخدم LLM لإنشاء ملخص قصير لسياق كل كتلة نصية.
• إعادة الترتيب: يضيف خطوة إعادة ترتيب، باستخدام نموذج أقوى لإعادة ترتيب النتائج بناءً على الصلة.

RAG مقابل الضبط الدقيق: إطار عمل قرار استراتيجي

يعد الاختيار بين RAG والضبط الدقيق قرارًا رئيسيًا. يعتمد الاختيار على متطلبات المشروع.

• مزايا RAG:

  • مناسب لدمج المعرفة في الوقت الفعلي
  • يقلل من الهلوسات من خلال توفير حقائق يمكن التحقق منها
  • يسمح للمؤسسات بالحفاظ على البيانات المسجلة الملكية داخل قواعد البيانات الداخلية الآمنة

• مزايا الضبط الدقيق:

  • الأفضل لتعليم النموذج سلوكًا جديدًا أو أسلوب كلام أو مصطلحات متخصصة
  • يمكن أن يواءم إخراج النموذج مع الصورة التجارية للمؤسسة

• الأساليب الهجينة: من أجل الحصول على أفضل أداء مع النماذج، يجب عليك استخدام كل من الضبط الدقيق للأداء و RAG للدقة.

تحسين السياق وتصفيته

حتى باستخدام آليات استردادقوية، وإدارة نافذة السياق وتجنب الإخفاقات الشائعة، ستستمر في مواجهة الأخطاء.

أوضاع الفشل الشائعة:

• تسمم السياق: عندما يتم تقديم خطأ واقعي على ما يبدو، فإنه سيفسد النظام بأكمله من تلك النقطة فصاعدًا.
• تشتيت السياق: تشتت النماذج عند تقديم معلومات غير ذات صلة.
• ارتباك السياق: يمكن أن تكون معلومات السياق ساحقة للنموذج مما يؤدي به بعيدًا عن الإجابة الصحيحة.
• تعارض السياق: تشعر النماذج بالارتباك من المعلومات المتضاربة وقد تنتج إجابة متناقضة.

حلول:

يحتاج المهندسون إلى اعتماد تقنيات التصفية للتخفيف من هذه الإخفاقات. يعد ضمان أن تكون ذاكرة عمل النموذج مليئة بمعلومات ذات صلة للغاية ومحسنة بالكامل أمرًا ضروريًا للممارسة والنظرية.

هندسة السياق في الممارسة العملية: دراسات الحالة

يوفر تحليل التطبيقات المختلفة فهمًا أعمق لقيمة وتنفيذ هندسة السياق.

مساعدو برمجة الذكاء الاصطناعي

• المشكلة: غالبًا ما كانت المحاولات المبكرة لبرمجة الذكاء الاصطناعي فوضوية، وتعتمد على مطالبات غامضة مع فهم ضئيل لقاعدة التعليمات البرمجية الأكبر.
• الحل: تعامل مع وثائق المشروع وإرشادات التعليمات البرمجية وأنماط التصميم والمتطلبات مثل أي مورد هندسي.

بحث المؤسسات وإدارة المعرفة

• المشكلة: تعتمد محركات بحث المؤسسات التقليدية على مطابقة الكلمات الرئيسية، وفشلت في فهم نية المستخدم أو الدور الوظيفي أو سبب بحثه.
• الحل: قم ببناء intelligent search systems using context to understand each search.

دعم العملاء الآلي

• المشكلة: LLMs العامة غير مدركة لخصوصيات المنتج أو سياسات الإرجاع أو سجل العملاء، مما يؤدي إلى استجابات غير دقيقة أو غير مفيدة.
• الحل: Use RAG-based chatbots, systems that retrieve information from the company’s knowledge base, to ensure accurate, personalized, and up-to-date assistance.

محركات التوصية المخصصة

• المشكلة: تكافح أنظمة التوصية التقليدية لفهم النية المباشرة والمحددة للمستخدمين، مما يؤدي إلى توصيات عامة.
• الحل: تستخدم هندسة السياق RAG لجعل التجربة أكثر حوارية.

تخفيف العيوب الأساسية لنماذج اللغة الكبيرة

تعتبر هندسة السياق وسيلة أساسية لمعالجة اثنين من أوجه القصور الأساسية في LLM: الهلوسة وقطع المعرفة.

مكافحة الهلوسات

• المشكلة: عندما تكون LLMs غير متأكدة أو تفتقر إلى المعرفة ذات الصلة، فإنها تميل إلى تلفيق معلومات معقولة ولكنها غير صحيحة.

• الحل: Context Engineering، وخاصة RAG، هي الاستراتيجيات الأكثر فعالية.

  • توفير أساس واقعي: من خلال توفير مستندات يمكن التحقق منها من مصدر موثوق أثناء الإجابة، يمكن تجنب الهلوسات بفعالية.
  • الصدق "لا أعرف".: لكي تكون شفافًا، أشر إلى النماذج لإظهار "لا أعرف" عندما لا تتوفر أي معلومات.