تحليل فوري: بيانات Kafka إلى Amazon Bedrock

إطلاق العنان للرؤى في الوقت الفعلي: تدفق البيانات من Kafka إلى قواعد المعرفة في Amazon Bedrock عبر موصلات مخصصة

يتطور مشهد الذكاء الاصطناعي بسرعة، مع ظهور الاسترجاع المعزز بالتوليد (RAG) كتقنية محورية. تمكّن RAG أنظمة الذكاء الاصطناعي من تقديم استجابات أكثر استنارة وذات صلة بالسياق من خلال دمج قدرات نماذج الذكاء الاصطناعي التوليدية بسلاسة مع مصادر البيانات الخارجية. يتجاوز هذا النهج قيود الاعتماد فقط على قاعدة المعرفة الموجودة مسبقًا للنموذج. في هذه المقالة، نتعمق في الإمكانات التحويلية لموصلات البيانات المخصصة داخل قواعد المعرفة في Amazon Bedrock، ونعرض كيف تعمل على تبسيط إنشاء مهام سير عمل RAG التي تستفيد من بيانات الإدخال المخصصة. تمكّن هذه الوظيفة قواعد المعرفة في Amazon Bedrock من استيعاب بيانات التدفق، مما يسمح للمطورين بإضافة أو تحديث أو حذف المعلومات ديناميكيًا داخل قواعد المعرفة الخاصة بهم من خلال استدعاءات واجهة برمجة التطبيقات المباشرة.

ضع في اعتبارك التطبيقات العديدة التي يكون فيها استيعاب البيانات في الوقت الفعلي أمرًا بالغ الأهمية: تحليل أنماط تدفق النقرات، ومعالجة معاملات بطاقات الائتمان، وتفسير البيانات من مستشعرات إنترنت الأشياء (IoT)، وإجراء تحليل السجل، ومراقبة أسعار السلع الأساسية. في مثل هذه السيناريوهات، تلعب كل من البيانات الحالية والاتجاهات التاريخية دورًا حيويًا في اتخاذ قرارات مستنيرة. تقليديًا، كان دمج مدخلات البيانات الهامة هذه يتطلب تنظيم البيانات في مصدر بيانات مدعوم، يليه بدء أو جدولة مهمة مزامنة البيانات. اختلف وقت هذه العملية اعتمادًا على جودة البيانات وحجمها. ومع ذلك، باستخدام موصلات البيانات المخصصة، يمكن للمؤسسات استيعاب مستندات محددة بسرعة من مصادر بيانات مخصصة دون الحاجة إلى مزامنة كاملة، واستيعاب بيانات التدفق دون الاعتماد على التخزين الوسيط. يقلل هذا النهج من التأخيرات ويزيل النفقات العامة للتخزين، مما يؤدي إلى وصول أسرع إلى البيانات، وتقليل زمن الوصول، وتحسين أداء التطبيق.

مع استيعاب التدفق عبر الموصلات المخصصة، يمكن لقواعد المعرفة في Amazon Bedrock معالجة بيانات التدفق دون الحاجة إلى مصادر بيانات وسيطة. هذا يسمح بإتاحة البيانات في وقت قريب من الوقت الفعلي. تعمل هذه الإمكانية تلقائيًا على تقسيم بيانات الإدخال وتحويلها إلى تضمينات باستخدام نموذج Amazon Bedrock المختار، وتخزين كل شيء في قاعدة بيانات المتجهات الخلفية. تنطبق هذه العملية المبسطة على كل من قواعد البيانات الجديدة والقائمة، مما يسمح لك بالتركيز على بناء تطبيقات الذكاء الاصطناعي دون عبء تنسيق تقسيم البيانات أو إنشاء التضمينات أو توفير وتكوين فهرس متجر المتجهات. علاوة على ذلك، تقلل القدرة على استيعاب مستندات محددة من مصادر بيانات مخصصة من زمن الوصول وتقلل التكاليف التشغيلية عن طريق إلغاء متطلبات التخزين الوسيط.

Amazon Bedrock: أساس للذكاء الاصطناعي التوليدي

Amazon Bedrock هي خدمة مُدارة بالكامل تقدم مجموعة متنوعة من النماذج الأساسية (FMs) عالية الأداء من شركات الذكاء الاصطناعي الرائدة مثل Anthropic و Cohere و Meta و Stability AI و Amazon، ويمكن الوصول إليها من خلال واجهة برمجة تطبيقات موحدة. توفر هذه الخدمة الشاملة مجموعة واسعة من الإمكانات التي تمكنك من تطوير تطبيقات الذكاء الاصطناعي التوليدية مع ميزات أمان وخصوصية قوية وذكاء اصطناعي مسؤول. باستخدام Amazon Bedrock، يمكنك استكشاف وتقييم نماذج FMs من الدرجة الأولى لحالة الاستخدام الخاصة بك، وتخصيصها بشكل خاص ببياناتك الخاصة باستخدام تقنيات مثل الضبط الدقيق و RAG، وبناء وكلاء أذكياء يمكنهم تنفيذ المهام باستخدام أنظمة مؤسستك ومصادر البيانات الخاصة بك.

قواعد المعرفة في Amazon Bedrock: تعزيز الذكاء الاصطناعي بالمعرفة

تمكّن قواعد المعرفة في Amazon Bedrock المؤسسات من بناء مسارات RAG مُدارة بالكامل تثري استجابات الذكاء الاصطناعي بمعلومات سياقية مستمدة من مصادر البيانات الخاصة. يؤدي هذا إلى تفاعلات أكثر ملاءمة ودقة وشخصية. من خلال الاستفادة من قواعد المعرفة في Amazon Bedrock، يمكنك إنشاء تطبيقات معززة بالسياق الذي تم الحصول عليه من الاستعلام عن قاعدة معرفة. يسرع الوقت المستغرق للوصول إلى السوق عن طريق تجريد تعقيدات بناء خطوط الأنابيب وتوفير حل RAG جاهز. هذا يقلل من وقت التطوير لتطبيقاتك.

موصلات مخصصة: المفتاح لاستيعاب التدفق السلس

يوفر Amazon Bedrock Knowledge Bases دعمًا للموصلات المخصصة واستيعاب بيانات التدفق. يتيح لك هذا إضافة وتحديث وحذف البيانات في قاعدة المعرفة الخاصة بك من خلال استدعاءات واجهة برمجة التطبيقات المباشرة، مما يوفر مرونة وتحكمًا غير مسبوقين.

بناء محلل أسعار الأسهم بالذكاء الاصطناعي التوليدي باستخدام RAG: نظرة عامة على الحل

في هذه المقالة، نوضح بنية RAG باستخدام قواعد المعرفة في Amazon Bedrock والموصلات المخصصة والموضوعات التي تم إنشاؤها باستخدام Amazon Managed Streaming for Apache Kafka (Amazon MSK) لتمكين المستخدمين من تحليل اتجاهات أسعار الأسهم. Amazon MSK هي خدمة دفق بيانات تعمل على تبسيط إدارة البنية التحتية لـ Apache Kafka وعملياته، مما يسهل تشغيل تطبيقات Apache Kafka على Amazon Web Services (AWS). يمكّن الحل التحليل في الوقت الفعلي لملاحظات العملاء عبر تضمينات المتجهات ونماذج اللغة الكبيرة (LLMs).

مكونات معمارية

تتكون البنية من مكونين رئيسيين:

• معالجة سير عمل بيانات التدفق:

  1. يتم تحميل ملف .csv يحتوي على بيانات أسعار الأسهم إلى موضوع MSK، مما يحاكي إدخال التدفق.
  2. يؤدي هذا إلى تشغيل وظيفة AWS Lambda.
  3. تستوعب الوظيفة البيانات المستهلكة في قاعدة معرفة.
  4. تستخدم قاعدة المعرفة نموذج تضمينات لتحويل البيانات إلى فهرس متجه.
  5. يتم تخزين فهرس المتجهات في قاعدة بيانات متجهات داخل قاعدة المعرفة.

• تنفيذ وقت التشغيل أثناء استعلامات المستخدم:

  1. يقدم المستخدمون استعلامات حول أسعار الأسهم.
  2. يستخدم النموذج الأساسي قاعدة المعرفة للعثور على إجابات ذات صلة.
  3. ترجع قاعدة المعرفة المستندات ذات الصلة.
  4. يتلقى المستخدم إجابة بناءً على هذه المستندات.

تصميم التنفيذ: دليل تفصيلي

يتضمن التنفيذ الخطوات الرئيسية التالية:

1. إعداد مصدر البيانات: قم بتكوين موضوع MSK لدفق أسعار الأسهم المدخلة.
2. إعداد قواعد المعرفة في Amazon Bedrock: قم بإنشاء قاعدة معرفة في Amazon Bedrock باستخدام خيار الإنشاء السريع لمتجر متجهات جديد، والذي يقوم تلقائيًا بتوفير وإعداد متجر المتجهات.
3. استهلاك البيانات والاستيعاب: كلما وصلت البيانات إلى موضوع MSK، قم بتشغيل وظيفة Lambda لاستخراج مؤشرات الأسهم والأسعار ومعلومات الطابع الزمني وتغذيتها في الموصل المخصص لقواعد المعرفة في Amazon Bedrock.
4. اختبار قاعدة المعرفة: قم بتقييم تحليل ملاحظات العملاء باستخدام قاعدة المعرفة.

جولة في الحل: بناء أداة تحليل الأسهم الخاصة بك

اتبع التعليمات الواردة في الأقسام أدناه لبناء أداة تحليل الأسهم بالذكاء الاصطناعي التوليدي باستخدام قواعد المعرفة في Amazon Bedrock والموصلات المخصصة.

تكوين البنية: نشر قالب CloudFormation

لتنفيذ هذه البنية، قم بنشر قالب AWS CloudFormation من مستودع GitHub هذا في حساب AWS الخاص بك. ينشر هذا القالب المكونات التالية:

1. السحابات الخاصة الافتراضية (VPCs) والشبكات الفرعية ومجموعات الأمان وأدوار AWS Identity and Access Management (IAM).
2. مجموعة MSK تستضيف موضوع إدخال Apache Kafka.
3. وظيفة Lambda لاستهلاك بيانات موضوع Apache Kafka.
4. دفتر ملاحظات Amazon SageMaker Studio للإعداد والتمكين.

إنشاء موضوع Apache Kafka: إعداد دفق البيانات

في مجموعة MSK التي تم إنشاؤها مسبقًا، تم بالفعل نشر الوسطاء وجاهزون للاستخدام. الخطوة التالية هي الاتصال بمجموعة MSK وإنشاء موضوع دفق الاختبار باستخدام مثيل محطة طرفية SageMaker Studio. اتبع التعليمات التفصيلية في إنشاء موضوع في مجموعة Amazon MSK.

الخطوات العامة هي:

1. قم بتنزيل وتثبيت أحدث عميل Apache Kafka.
2. الاتصال بمثيل وسيط مجموعة MSK.
3. إنشاء موضوع دفق الاختبار على مثيل الوسيط.

إنشاء قاعدة معرفة في Amazon Bedrock: الاتصال ببياناتك

لإنشاء قاعدة معرفة في Amazon Bedrock، اتبع الخطوات التالية:

1. في وحدة تحكم Amazon Bedrock، في صفحة التنقل اليسرى تحت أدوات البناء، اختر قواعد المعرفة.
2. لبدء إنشاء قاعدة المعرفة، في القائمة المنسدلة إنشاء، اختر قاعدة المعرفة مع متجر المتجهات، كما هو موضح في لقطة الشاشة التالية.
3. في جزء توفير تفاصيل قاعدة المعرفة، أدخل BedrockStreamIngestKnowledgeBase كـ اسم قاعدة المعرفة.
4. ضمن أذونات IAM، اختر الخيار الافتراضي، إنشاء واستخدام دور خدمة جديد، و (اختياري) قم بتوفير اسم دور الخدمة، كما هو موضح في لقطة الشاشة التالية.
5. في جزء اختيار مصدر البيانات، حدد مخصص كمصدر البيانات حيث يتم تخزين مجموعة البيانات الخاصة بك
6. اختر التالي، كما هو موضح في لقطة الشاشة التالية
7. في جزء تكوين مصدر البيانات، أدخل BedrockStreamIngestKBCustomDS كـ اسم مصدر البيانات.
8. ضمن إستراتيجية التحليل، حدد محلل Amazon Bedrock الافتراضي و إستراتيجية التقسيم، اختر التقسيم الافتراضي. اختر التالي، كما هو موضح في لقطة الشاشة التالية.
9. في تحديد نموذج التضمينات وتكوين جزء متجر المتجهات، بالنسبة إلى نموذج التضمينات، اختر Titan Text Embeddings v2. بالنسبة إلى نوع التضمينات، اختر تضمينات المتجهات ذات الفاصلة العائمة. بالنسبة إلى أبعاد المتجهات، حدد 1024، كما هو موضح في لقطة الشاشة التالية. تأكد من أنك طلبت وتلقيت حق الوصول إلى FM المختار في Amazon Bedrock. لمعرفة المزيد، راجع إضافة أو إزالة الوصول إلى نماذج Amazon Bedrock الأساسية.
10. في جزء قاعدة بيانات المتجهات، حدد إنشاء سريع لمتجر متجهات جديد واختر خيار Amazon OpenSearch Serverless الجديد كمتجر متجهات.
11. في الشاشة التالية، راجع اختياراتك. لإنهاء الإعداد، اختر إنشاء.
12. في غضون بضع دقائق، ستعرض وحدة التحكم قاعدة المعرفة التي تم إنشاؤها حديثًا.

تكوين مستهلك AWS Lambda Apache Kafka: تشغيل استيعاب البيانات

الآن، قم بتكوين وظيفة Lambda المستهلك ليتم تشغيلها بمجرد أن يتلقى موضوع إدخال Apache Kafka بيانات باستخدام استدعاءات واجهة برمجة التطبيقات.

1. قم بتكوين معرف قاعدة المعرفة في Amazon Bedrock الذي تم إنشاؤه يدويًا ومعرف مصدر البيانات المخصص الخاص به كمتغيرات بيئة داخل وظيفة Lambda. عند استخدام دفتر الملاحظات النموذجي، سيتم ملء أسماء الوظائف والمعرفات المشار إليها تلقائيًا.

تعمق: الكشف عن قوة قواعد المعرفة في Amazon Bedrock مع موصلات مخصصة لاستيعاب البيانات في الوقت الفعلي

إن التقاء الذكاء الاصطناعي التوليدي وتدفقات البيانات في الوقت الفعلي يفتح فرصًا غير مسبوقة للشركات لاكتساب رؤى أعمق وأتمتة العمليات الهامة وتقديم تجارب مخصصة. تقع قواعد المعرفة في Amazon Bedrock، إلى جانب الموصلات المخصصة، في طليعة هذه الثورة، مما يمكّن المؤسسات من دمج بيانات التدفق بسلاسة من مصادر متنوعة مثل Apache Kafka في تطبيقاتها التي تعمل بالذكاء الاصطناعي.

تتجاوز هذه الإمكانية قيود طرق استيعاب البيانات التقليدية، والتي غالبًا ما تتضمن عمليات معقدة للتنظيم والتحويل والمزامنة. باستخدام الموصلات المخصصة، يمكن استيعاب البيانات مباشرة في قاعدة المعرفة في وقت قريب من الوقت الفعلي، مما يلغي زمن الوصول ويمكّن نماذج الذكاء الاصطناعي من التفاعل ديناميكيًا مع الظروف المتغيرة.

حالات الاستخدام عبر الصناعات

فوائد هذا النهج بعيدة المدى وقابلة للتطبيق على مجموعة واسعة من الصناعات.

• الخدمات المالية: يمكن للبنوك وشركات الاستثمار الاستفادة من بيانات السوق في الوقت الفعلي وتدفقات معاملات العملاء للكشف عن الاحتيال وتخصيص توصيات الاستثمار وأتمتة استراتيجيات التداول. تخيل نظامًا مدعومًا بالذكاء الاصطناعي يحلل معاملات بطاقات الائتمان في الوقت الفعلي، ويحدد النشاط المشبوه ويمنع عمليات الشراء الاحتيالية قبل حدوثها.
• البيع بالتجزئة: يمكن لشركات التجارة الإلكترونية تحليل بيانات تدفق النقرات وخلاصات وسائل التواصل الاجتماعي لفهم سلوك العملاء وتخصيص توصيات المنتجات وتحسين استراتيجيات التسعير. يتيح ذلك إجراء تعديلات ديناميكية على الحملات التسويقية وإدارة المخزون بناءً على الطلب في الوقت الفعلي.
• التصنيع: يمكن للمصنعين استخدام بيانات مستشعر إنترنت الأشياء من معدات المصنع للتنبؤ باحتياجات الصيانة وتحسين عمليات الإنتاج وتحسين جودة المنتج. على سبيل المثال، يمكن لنظام الذكاء الاصطناعي تحليل بيانات الاهتزاز من آلة لتحديد الأعطال المحتملة قبل أن تؤدي إلى توقف مكلف.
• الرعاية الصحية: يمكن للمستشفيات تحليل تدفقات بيانات المرضى للكشف عن العلامات المبكرة للمرض وتخصيص خطط العلاج وتحسين نتائج المرضى. يمكن للمراقبة في الوقت الفعلي للعلامات الحيوية تنبيه الطاقم الطبي إلى التغييرات الهامة في حالة المريض، مما يتيح تدخلًا أسرع ورعاية محسنة.

الفوائد الرئيسية: ما وراء البيانات في الوقت الفعلي

تتجاوز مزايا استخدام قواعد المعرفة في Amazon Bedrock مع الموصلات المخصصة ببساطة استيعاب البيانات في الوقت الفعلي.

• تقليل زمن الوصول: من خلال إلغاء الحاجة إلى التخزين الوسيط وعمليات المزامنة، يمكن للمؤسسات تقليل الوقت المستغرق لجعل البيانات متاحة لنماذج الذكاء الاصطناعي بشكل كبير. يؤدي هذا إلى أوقات استجابة أسرع وتطبيقات أكثر ديناميكية.
• خفض التكاليف التشغيلية: تقلل الموصلات المخصصة من التكاليف التشغيلية عن طريق إلغاء الحاجة إلى إدارة وصيانة خطوط أنابيب البيانات المعقدة. يؤدي هذا إلى تحرير موارد قيمة يمكن استثمارها في مجالات أخرى من العمل.
• تحسين جودة البيانات: من خلال استيعاب البيانات مباشرة من المصدر، يمكن للمؤسسات التأكد من أن نماذج الذكاء الاصطناعي الخاصة بها تعمل بأكثر المعلومات دقة وتحديثًا. يؤدي هذا إلى رؤى أفضل ونتائج أكثر موثوقية.
• زيادة المرونة: تسمح الموصلات المخصصة للمؤسسات بالاتصال بمجموعة واسعة من مصادر البيانات، بغض النظر عن تنسيقها أو موقعها. يوفر هذا المرونة اللازمة للاستفادة من جميع أصول البيانات الخاصة بهم، بغض النظر عن مكان تخزينها.
• تبسيط التطوير: توفر قواعد المعرفة في Amazon Bedrock تجربة تطوير مبسطة من خلال تجريد تعقيدات استيعاب البيانات وإدارتها. يتيح هذا للمطورين التركيز على بناء تطبيقات الذكاء الاصطناعي التي تقدم قيمة حقيقية للأعمال.

تعمق أكثر: الموصلات المخصصة تحت الغطاء

لتقدير قوة الموصلات المخصصة بالكامل، من المهم فهم كيفية عملها. الموصل المخصص هو في الأساس جزء من التعليمات البرمجية التي تسمح لقواعد المعرفة في Amazon Bedrock بالاتصال بمصدر بيانات معين. هذه التعليمات البرمجية مسؤولة عن استخراج البيانات من المصدر وتحويلها إلى تنسيق متوافق مع قاعدة المعرفة واستيعابها في النظام.

• تكامل واجهة برمجة التطبيقات: تتفاعل الموصلات المخصصة عادةً مع مصادر البيانات من خلال واجهات برمجة التطبيقات. توفر واجهات برمجة التطبيقات هذه طريقة موحدة للوصول إلى البيانات وإجراء العمليات.
• تحويل البيانات: يعد تحويل البيانات خطوة حاسمة في العملية. غالبًا ما تحتاج الموصلات المخصصة إلى تحويل البيانات من تنسيقها الأصلي إلى تنسيق متوافق مع قاعدة المعرفة. قد يتضمن ذلك تحويل أنواع البيانات وتنظيف البيانات وإثراء البيانات بمعلومات إضافية.
• استيعاب التدفق: المفتاح لاستيعاب البيانات في الوقت الفعلي هو القدرة على دفق البيانات باستمرار. غالبًا ما تستخدم الموصلات المخصصة واجهات برمجة تطبيقات التدفق لتلقي البيانات أثناء إنشائها، مما يسمح بتحديثات شبه فورية لقاعدة المعرفة.
• الأمان: يعد الأمان مصدر قلق بالغ عند الاتصال بمصادر البيانات. يجب تصميم الموصلات المخصصة مع وضع الأمان في الاعتبار، مما يضمن حماية البيانات أثناء النقل وأثناء الراحة.

خاتمة: احتضان مستقبل الذكاء الاصطناعي مع البيانات في الوقت الفعلي

تمثل قواعد المعرفة في Amazon Bedrock مع الموصلات المخصصة تقدمًا كبيرًا في مجال الذكاء الاصطناعي. من خلال تمكين المؤسسات من دمج تدفقات البيانات في الوقت الفعلي بسلاسة في تطبيقات الذكاء الاصطناعي الخاصة بهم، تفتح هذه التقنية ثروة من الفرص الجديدة للابتكار ونمو الأعمال. مع استمرار تطور الذكاء الاصطناعي، ستصبح القدرة على الاستفادة من البيانات في الوقت الفعلي ذات أهمية متزايدة. تم وضع قواعد المعرفة في Amazon Bedrock لتكون عاملاً تمكينيًا رئيسيًا لهذا الاتجاه، وتمكين المؤسسات من بناء حلول ذكاء اصطناعي أكثر ديناميكية واستجابة وذكاءً من أي وقت مضى.