بنية جديدة لتكامل المعرفة
ابتكر قسم الأبحاث في Microsoft طريقة رائدة لدمج المعرفة الخارجية في نماذج اللغات الكبيرة (LLMs). هذا النظام المبتكر، الذي يطلق عليه Knowledge Base-Augmented Language Models (KBLaM)، يتبنى فلسفة ‘plug-and-play’، مما يلغي الحاجة إلى تغيير النماذج الموجودة مسبقًا. يمثل هذا خروجًا كبيرًا عن التقنيات التقليدية، حيث يقدم نهجًا أكثر انسيابية وكفاءة لتعزيز المعرفة.
الخروج عن الطرق التقليدية
تعتمد المنهجيات الحالية، مثل Retrieval-Augmented Generation (RAG) و In-Context Learning، عادةً على آليات استرجاع منفصلة للوصول إلى المعلومات الخارجية ودمجها. على النقيض من ذلك، يتجنب KBLaM هذه الأنظمة الخارجية. إنه يحول المعرفة ببراعة إلى أزواج متجهة، ويدمجها بسلاسة في البنية الأساسية للنموذج من خلال تقنية جديدة تسميها Microsoft ‘الانتباه المستطيل’.
يؤدي هذا الدمج المباشر للمعرفة داخل النموذج نفسه، متجاوزًا عمليات الاسترجاع الخارجية، إلى استجابات أسرع وأكثر كفاءة بشكل ملحوظ. هذه ميزة رئيسية على الأنظمة التقليدية، التي غالبًا ما تعاني من زمن الوصول والتكاليف الحسابية الإضافية بسبب الحاجة إلى الاستعلام عن قواعد البيانات الخارجية.
معالجة مشكلة التحجيم التربيعي
غالبًا ما يتم إعاقة أنظمة RAG الحالية بسبب مشكلة التحجيم التربيعي، وهي نتيجة متأصلة لآلية الانتباه الذاتي الخاصة بها. تتطلب هذه الآلية أن يتفاعل كل رمز مع كل رمز آخر، مما يؤدي إلى زيادة هائلة في المتطلبات الحسابية مع نمو حجم الإدخال.
لتوضيح ذلك، ضع في اعتبارك سيناريو يتم فيه إدخال 1000 رمز من قاعدة معرفية في السياق. ثم يضطر النموذج إلى معالجة مليون زوج من الرموز المميزة. إذا تصاعد عدد الرموز المميزة إلى 10000، فإن العبء الحسابي ينفجر إلى 100 مليون تفاعل. يصبح هذا التحجيم التربيعي سريعًا بمثابة عنق الزجاجة، مما يحد من إمكانية التطبيق العملي لأنظمة RAG ذات قواعد المعرفة الكبيرة.
كفاءة الانتباه المستطيل
يتجنب KBLaM بأناقة هذا المستنقع الحسابي. تسمح آلية ‘الانتباه المستطيل’ المبتكرة الخاصة به لإدخال المستخدم بالوصول إلى جميع الرموز المعرفية، ولكن الأهم من ذلك، أن هذه الرموز المعرفية لا تتفاعل مع بعضها البعض أو مع الإدخال. هذا الاختيار التصميمي الاستراتيجي له آثار عميقة على قابلية التوسع.
مع توسع قاعدة المعرفة، تزداد القوة الحسابية المطلوبة خطيًا فقط، وهو تناقض صارخ مع التحجيم التربيعي للطرق التقليدية. يؤكد الباحثون وراء KBLaM أن وحدة معالجة رسومات واحدة (GPU) يمكنها التعامل بشكل مريح مع أكثر من 10000 ثلاثية معرفية، وهو ما يترجم إلى ما يقرب من 200000 رمز. يمثل هذا قفزة كبيرة إلى الأمام في كفاءة تكامل المعرفة.
نتائج تجريبية واعدة
أسفر الاختبار الأولي لـ KBLaM عن نتائج مشجعة. في التجارب التي تضمنت ما يقرب من 200 عنصر معرفي، أظهر KBLaM قدرة فائقة على التخفيف من الهلوسة - توليد معلومات خاطئة أو غير منطقية - مقارنة بالنماذج التقليدية.
علاوة على ذلك، أظهر KBLaM ميلًا أكبر للامتناع عن الإجابة على الأسئلة التي يفتقر إلى معلومات كافية عنها. هذا ‘التواضع المعرفي’ هو سمة مرغوبة في LLMs، لأنه يعزز الدقة والموثوقية.
ميزة أخرى ملحوظة لـ KBLaM هي شفافيته المحسنة. على عكس التعلم في السياق، يمكن لـ KBLaM ربط عناصر معرفية محددة بسهولة بالرموز المقابلة، مما يوفر رؤية أكبر لعملية استدلال النموذج.
التوفر مفتوح المصدر والاتجاهات المستقبلية
تم توفير الكود ومجموعات البيانات التي تدعم KBLaM للجمهور على GitHub، مما يعزز التعاون والمزيد من البحث داخل المجتمع. تم تصميم النظام ليكون متوافقًا مع العديد من النماذج المستخدمة على نطاق واسع، بما في ذلك Llama 3 من Meta و Phi-3 الخاص بـ Microsoft. هناك أيضًا خطط لتوسيع الدعم ليشمل Hugging Face Transformers، وهي منصة شائعة لبناء ونشر LLMs.
في حين أن النتائج الأولية واعدة، يؤكد الباحثون أن KBLaM ليس جاهزًا بعد للنشر على نطاق واسع. إنه يتفوق في التعامل مع سيناريوهات الأسئلة والأجوبة المباشرة، ولكن هناك حاجة إلى مزيد من التطوير لمعالجة مهام الاستدلال الأكثر تعقيدًا.
مفارقة نوافذ السياق وصعود RAG
تواجه LLMs مفارقة رائعة: نوافذ السياق الخاصة بها - مقدار المعلومات التي يمكنها معالجتها في وقت واحد - تتوسع باستمرار، ومع ذلك فإن معالجة هذا الحجم المتزايد من البيانات بشكل موثوق يظل تحديًا هائلاً.
دفع هذا التحدي Retrieval-Augmented Generation (RAG) إلى الصدارة كحل مفضل لحقن معلومات محددة في النماذج بدرجة معقولة من الموثوقية. تعمل أنظمة RAG كوسطاء، حيث تسترجع المعلومات ذات الصلة من مصادر خارجية وتغذيها في LLM، وبالتالي تعزز معرفتها ودقتها.
KBLaM: تحول نموذجي محتمل
ومع ذلك، يقدم KBLaM بديلاً مقنعًا، مما يشير إلى مسار محتمل أكثر كفاءة وأناقة إلى الأمام. من خلال دمج المعرفة مباشرة في بنية النموذج، يوفر KBLaM إمكانية الحصول على LLMs أسرع وأكثر قابلية للتوسع وأكثر شفافية ومعززة بالمعرفة.
التعمق أكثر في آليات KBLaM
يكمن الابتكار الأساسي لـ KBLaM في آلية ‘الانتباه المستطيل’. لفهم هذا، من المفيد أولاً التفكير في آلية الانتباه الذاتي القياسية التي تستخدمها العديد من LLMs.
في الانتباه الذاتي، يحضر كل رمز في تسلسل الإدخال لكل رمز آخر، بما في ذلك نفسه. يسمح هذا للنموذج بالتقاط العلاقات بين أجزاء مختلفة من الإدخال، ولكنه يؤدي أيضًا إلى مشكلة التحجيم التربيعي المذكورة سابقًا.
يقسم الانتباه المستطيل، في المقابل، عملية الانتباه إلى جزأين متميزين:
- User Input Attention (انتباه إدخال المستخدم): يحضر إدخال المستخدم لجميع الرموز المعرفية، مما يسمح للنموذج بالوصول إلى المعلومات ذات الصلة من قاعدة المعرفة.
- Knowledge Token Attention (انتباه الرمز المعرفي): الرموز المعرفية لا تحضر لبعضها البعض أو لإدخال المستخدم. هذا هو مفتاح كفاءة KBLaM.
من خلال منع التفاعلات بين الرموز المعرفية، يقلل KBLaM بشكل كبير من عدد العمليات الحسابية المطلوبة. يسمح هذا للنموذج بالتوسع خطيًا مع حجم قاعدة المعرفة، مما يجعل من الممكن دمج كميات هائلة من المعلومات الخارجية.
فوائد تكامل المعرفة المباشر
يوفر التكامل المباشر للمعرفة في بنية النموذج العديد من المزايا:
- Reduced Latency (تقليل زمن الوصول): نظرًا لأن KBLaM لا يعتمد على أنظمة استرجاع خارجية، فيمكنه الاستجابة بشكل أسرع بكثير من النماذج القائمة على RAG.
- Improved Efficiency (تحسين الكفاءة): يجعل التحجيم الخطي لـ KBLaM أكثر كفاءة من الناحية الحسابية بشكل ملحوظ من الطرق التقليدية.
- Enhanced Transparency (شفافية محسنة): يمكن لـ KBLaM ربط المعرفة برموز محددة، مما يسهل فهم كيفية وصول النموذج إلى إجابته.
- Reduced Hallucinations (تقليل الهلوسة): أظهر KBLaM قدرة أكبر على تجنب توليد معلومات خاطئة أو غير منطقية.
القيود والبحوث المستقبلية
في حين يمثل KBLaM تقدمًا كبيرًا، من المهم الاعتراف بقيوده الحالية:
- Complex Reasoning (الاستدلال المعقد): KBLaM هو الأنسب حاليًا لمهام الأسئلة والأجوبة المباشرة. هناك حاجة إلى مزيد من البحث لتوسيع قدراته لتشمل سيناريوهات استدلال أكثر تعقيدًا.
- Knowledge Representation (تمثيل المعرفة): يستخدم التنفيذ الحالي لـ KBLaM ثلاثيات المعرفة، والتي قد لا تكون مناسبة لجميع أنواع المعرفة. يعد استكشاف تنسيقات بديلة لتمثيل المعرفة مجالًا للعمل المستقبلي.
- Real-World Deployment (النشر في العالم الحقيقي): لا يزال KBLaM مشروعًا بحثيًا وليس جاهزًا بعد للنشر على نطاق واسع. يلزم إجراء مزيد من الاختبارات والتحسين قبل استخدامه في تطبيقات العالم الحقيقي.
التأثير الأوسع على مجال الذكاء الاصطناعي
لتطوير KBLaM آثار كبيرة على مجال الذكاء الاصطناعي الأوسع. إنه يمثل خطوة نحو إنشاء LLMs ليست قوية فحسب، بل أيضًا:
- More Knowledgeable (أكثر معرفة): من خلال دمج كميات هائلة من المعرفة الخارجية بكفاءة، يمكن لـ KBLaM تعزيز الدقة الواقعية وشمولية LLMs.
- More Reliable (أكثر موثوقية): يساهم انخفاض معدل الهلوسة وزيادة الشفافية في KBLaM في زيادة الموثوقية والجدارة بالثقة.
- More Scalable (أكثر قابلية للتوسع): يفتح التحجيم الخطي لـ KBLaM إمكانيات لبناء LLMs يمكنها التعامل مع كميات هائلة من المعلومات.
يعد البحث والتطوير المستمر لـ KBLaM والنهج المماثلة بمزيد من طمس الخطوط الفاصلة بين LLMs وقواعد المعرفة، مما يمهد الطريق لجيل جديد من أنظمة الذكاء الاصطناعي التي تتسم بالذكاء والمعرفة العميقة. تشجع الطبيعة مفتوحة المصدر للمشروع التعاون وتسريع وتيرة الابتكار في هذا المجال المثير.