بینش‌های بی‌درنگ: انتقال داده از Kafka به Bedrock

چشم‌انداز هوش مصنوعی به سرعت در حال تحول است و Retrieval Augmented Generation (RAG) به عنوان یک تکنیک محوری ظهور کرده است. RAG سیستم‌های هوش مصنوعی را قادر می‌سازد تا با ادغام یکپارچه قابلیت‌های مدل‌های هوش مصنوعی مولد با منابع داده خارجی، پاسخ‌های آگاهانه‌تر و مرتبط با زمینه ارائه دهند. این رویکرد از محدودیت‌های تکیه صرفاً بر پایگاه دانش از پیش موجود یک مدل فراتر می‌رود. در این مقاله، ما به پتانسیل تحول‌آفرین اتصال‌دهنده‌های داده سفارشی در پایگاه‌های دانش Amazon Bedrock می‌پردازیم و نشان می‌دهیم که چگونه آن‌ها ایجاد جریان‌های کاری RAG را ساده می‌کنند که از داده‌های ورودی سفارشی استفاده می‌کنند. این عملکرد به پایگاه‌های دانش Amazon Bedrock اجازه می‌دهد تا داده‌های جریانی را دریافت کنند و به توسعه‌دهندگان اجازه می‌دهد تا به طور پویا اطلاعات را در پایگاه‌های دانش خود از طریق فراخوانی مستقیم API اضافه، به‌روزرسانی یا حذف کنند.

برنامه‌های بی‌شماری را در نظر بگیرید که در آن دریافت داده بی‌درنگ بسیار مهم است: تجزیه و تحلیل الگوهای کلیک، پردازش تراکنش‌های کارت اعتباری، تفسیر داده‌ها از حسگرهای اینترنت اشیا (IoT)، انجام تجزیه و تحلیل گزارش و نظارت بر قیمت کالاها. در چنین سناریوهایی، هم داده‌های فعلی و هم روندهای تاریخی نقش حیاتی در تصمیم‌گیری آگاهانه ایفا می‌کنند. به‌طور سنتی، گنجاندن چنین ورودی‌های داده حیاتی مستلزم آماده‌سازی داده‌ها در یک منبع داده پشتیبانی‌شده و سپس آغاز یا زمان‌بندی یک کار همگام‌سازی داده بود. مدت زمان این فرآیند بسته به کیفیت و حجم داده متفاوت بود. با این حال، با اتصال‌دهنده‌های داده سفارشی، سازمان‌ها می‌توانند به سرعت اسناد خاص را از منابع داده سفارشی بدون نیاز به همگام‌سازی کامل دریافت کرده و داده‌های جریانی را بدون تکیه بر ذخیره‌سازی واسطه دریافت کنند. این رویکرد تاخیرها را به حداقل می‌رساند و سربار ذخیره‌سازی را حذف می‌کند و منجر به دسترسی سریع‌تر به داده‌ها، کاهش تأخیر و بهبود عملکرد برنامه می‌شود.

با دریافت جریانی از طریق اتصال‌دهنده‌های سفارشی، پایگاه‌های دانش Amazon Bedrock می‌توانند داده‌های جریانی را بدون نیاز به منابع داده میانی پردازش کنند. این امر به داده‌ها اجازه می‌دهد تا تقریباً در زمان واقعی در دسترس قرار گیرند. این قابلیت به طور خودکار داده‌های ورودی را با استفاده از مدل Amazon Bedrock انتخاب شده، به قطعات تقسیم و تبدیل می‌کند و همه چیز را در پایگاه داده برداری پشتیبان ذخیره می‌کند. این فرآیند ساده شده برای پایگاه‌های داده جدید و موجود اعمال می‌شود و به شما امکان می‌دهد بدون بار ساماندهی قطعه‌بندی داده‌ها، تولید جاسازی یا تهیه و نمایه سازی فروشگاه برداری، بر ساخت برنامه‌های هوش مصنوعی تمرکز کنید. علاوه بر این، توانایی دریافت اسناد خاص از منابع داده سفارشی، تأخیر را کاهش می‌دهد و هزینه‌های عملیاتی را با حذف الزامات ذخیره‌سازی میانی کاهش می‌دهد.

Amazon Bedrock: پایه‌ای برای هوش مصنوعی مولد

Amazon Bedrock یک سرویس کاملاً مدیریت‌شده است که مجموعه‌ای متنوع از مدل‌های پایه با کارایی بالا (FM) را از شرکت‌های پیشرو هوش مصنوعی مانند Anthropic، Cohere، Meta، Stability AI و Amazon ارائه می‌دهد که از طریق یک API واحد قابل دسترسی هستند. این سرویس جامع طیف گسترده‌ای از قابلیت‌ها را فراهم می‌کند که به شما امکان می‌دهد برنامه‌های هوش مصنوعی مولد را با امنیت قوی، حریم خصوصی و ویژگی‌های هوش مصنوعی مسئولانه توسعه دهید. با Amazon Bedrock، می‌توانید FMهای سطح بالا را برای مورد استفاده خاص خود کشف و ارزیابی کنید، آن‌ها را به طور خصوصی با داده‌های خود با استفاده از تکنیک‌هایی مانند تنظیم دقیق و RAG سفارشی کنید و عوامل هوشمندی بسازید که بتوانند وظایف را با استفاده از سیستم‌های سازمانی و منابع داده شما اجرا کنند.

پایگاه‌های دانش Amazon Bedrock: تقویت هوش مصنوعی با دانش

پایگاه‌های دانش Amazon Bedrock سازمان‌ها را قادر می‌سازند تا خطوط لوله RAG کاملاً مدیریت‌شده بسازند که پاسخ‌های هوش مصنوعی را با اطلاعات متنی برگرفته از منابع داده خصوصی غنی می‌کنند. این منجر به تعاملات مرتبط‌تر، دقیق‌تر و شخصی‌تر می‌شود. با استفاده از پایگاه‌های دانش Amazon Bedrock، می‌توانید برنامه‌هایی ایجاد کنید که توسط زمینه به دست آمده از پرس و جو از یک پایگاه دانش تقویت می‌شوند. این امر با حذف پیچیدگی‌های ساخت خطوط لوله و ارائه یک راه حل RAG خارج از جعبه، زمان ورود به بازار را تسریع می‌کند. این امر زمان توسعه برای برنامه‌های شما را کاهش می‌دهد.

اتصال‌دهنده‌های سفارشی: کلید دریافت جریانی یکپارچه

پایگاه‌های دانش Amazon Bedrock از اتصال‌دهنده‌های سفارشی و دریافت داده‌های جریانی پشتیبانی می‌کند. این به شما امکان می‌دهد تا داده‌ها را در پایگاه دانش خود از طریق فراخوانی مستقیم API اضافه، به‌روزرسانی و حذف کنید و انعطاف‌پذیری و کنترل بی‌سابقه‌ای را ارائه دهید.

ساخت یک تحلیلگر قیمت سهام هوش مصنوعی مولد با RAG: مروری بر راه حل

در این مقاله، ما یک معماری RAG را با استفاده از پایگاه‌های دانش Amazon Bedrock، اتصال‌دهنده‌های سفارشی و موضوعات ایجاد شده با Amazon Managed Streaming for Apache Kafka (Amazon MSK) نشان می‌دهیم تا کاربران را قادر سازیم تا روندهای قیمت سهام را تجزیه و تحلیل کنند. Amazon MSK یک سرویس داده جریانی است که مدیریت زیرساخت و عملیات Apache Kafka را ساده می‌کند و اجرای برنامه‌های Apache Kafka را در Amazon Web Services (AWS) آسان می‌کند. این راه حل تجزیه و تحلیل بی‌درنگ بازخورد مشتری را از طریق جاسازی برداری و مدل‌های زبانی بزرگ (LLM) امکان‌پذیر می‌کند.

اجزای معماری

این معماری از دو جزء اصلی تشکیل شده است:

• جریان کار پردازش داده‌های جریانی:

  1. یک فایل .csv حاوی داده‌های قیمت سهام در یک موضوع MSK آپلود می‌شود که ورودی جریانی را شبیه‌سازی می‌کند.
  2. این امر یک تابع AWS Lambda را فعال می‌کند.
  3. این تابع داده‌های مصرف شده را در یک پایگاه دانش دریافت می‌کند.
  4. پایگاه دانش از یک مدل جاسازی برای تبدیل داده‌ها به یک شاخص برداری استفاده می‌کند.
  5. شاخص برداری در یک پایگاه داده برداری در داخل پایگاه دانش ذخیره می‌شود.

• اجرای زمان اجرا در طول پرس و جوهای کاربر:

  1. کاربران پرس و جوهایی را در مورد قیمت سهام ارسال می‌کنند.
  2. مدل پایه از پایگاه دانش برای یافتن پاسخ‌های مرتبط استفاده می‌کند.
  3. پایگاه دانش اسناد مربوطه را برمی‌گرداند.
  4. کاربر بر اساس این اسناد پاسخی دریافت می‌کند.

طراحی پیاده‌سازی: یک راهنمای گام به گام

پیاده‌سازی شامل مراحل کلیدی زیر است:

1. تنظیم منبع داده: یک موضوع MSK را برای جریان ورودی قیمت سهام پیکربندی کنید.
2. تنظیم پایگاه‌های دانش Amazon Bedrock: یک پایگاه دانش در Amazon Bedrock با استفاده از گزینه ایجاد سریع یک فروشگاه برداری جدید ایجاد کنید، که به طور خودکار فروشگاه برداری را تهیه و تنظیم می‌کند.
3. مصرف و دریافت داده: هر زمان که داده‌ها در موضوع MSK وارد می‌شوند، یک تابع Lambda را فعال کنید تا شاخص‌های سهام، قیمت‌ها و اطلاعات مهر زمانی را استخراج کند و به اتصال‌دهنده سفارشی برای پایگاه‌های دانش Amazon Bedrock وارد کند.
4. آزمایش پایگاه دانش: تجزیه و تحلیل بازخورد مشتری را با استفاده از پایگاه دانش ارزیابی کنید.

راهنمای راه حل: ساخت ابزار تجزیه و تحلیل سهام خود

برای ساخت یک ابزار تجزیه و تحلیل سهام هوش مصنوعی مولد با استفاده از پایگاه‌های دانش Amazon Bedrock و اتصال‌دهنده‌های سفارشی، دستورالعمل‌های موجود در بخش‌های زیر را دنبال کنید.

پیکربندی معماری: استقرار قالب CloudFormation

برای پیاده‌سازی این معماری، قالب AWS CloudFormation را از این مخزن GitHub در حساب AWS خود مستقر کنید. این قالب اجزای زیر را مستقر می‌کند:

1. ابر خصوصی مجازی (VPC)، زیرشبکه‌ها، گروه‌های امنیتی و نقش‌های AWS Identity and Access Management (IAM).
2. یک خوشه MSK میزبانی یک موضوع ورودی Apache Kafka.
3. یک تابع Lambda برای مصرف داده‌های موضوع Apache Kafka.
4. یک نوت‌بوک Amazon SageMaker Studio برای تنظیم و فعال‌سازی.

ایجاد یک موضوع Apache Kafka: تنظیم جریان داده

در خوشه MSK از پیش ایجاد شده، کارگزارها قبلاً مستقر شده و آماده استفاده هستند. مرحله بعدی اتصال به خوشه MSK و ایجاد موضوع جریان آزمایشی با استفاده از یک نمونه ترمینال SageMaker Studio است. دستورالعمل‌های دقیق را در ایجاد یک موضوع در خوشه Amazon MSK دنبال کنید.

مراحل کلی عبارتند از:

1. آخرین کلاینت Apache Kafka را دانلود و نصب کنید.
2. به نمونه کارگزار خوشه MSK متصل شوید.
3. موضوع جریان آزمایشی را در نمونه کارگزار ایجاد کنید.

ایجاد یک پایگاه دانش در Amazon Bedrock: اتصال به داده‌های خود

برای ایجاد یک پایگاه دانش در Amazon Bedrock، این مراحل را دنبال کنید:

1. در کنسول Amazon Bedrock، در صفحه ناوبری سمت چپ در زیر ابزارهای سازنده، پایگاه‌های دانش را انتخاب کنید.
2. برای شروع ایجاد پایگاه دانش، در منوی کشویی ایجاد، پایگاه دانش با فروشگاه برداری را انتخاب کنید، همانطور که در تصویر زیر نشان داده شده است.
3. در پنجره ارائه جزئیات پایگاه دانش، BedrockStreamIngestKnowledgeBase را به عنوان نام پایگاه دانش وارد کنید.
4. در زیر مجوزهای IAM، گزینه پیش فرض ایجاد و استفاده از یک نقش سرویس جدید را انتخاب کنید و (اختیاری) یک نام نقش سرویس ارائه دهید، همانطور که در تصویر زیر نشان داده شده است.
5. در پنجره انتخاب منبع داده، سفارشی را به عنوان منبع داده ای که مجموعه داده شما در آن ذخیره شده است، انتخاب کنید
6. بعدی را انتخاب کنید، همانطور که در تصویر زیر نشان داده شده است
7. در پنجره پیکربندی منبع داده، BedrockStreamIngestKBCustomDS را به عنوان نام منبع داده وارد کنید.
8. در زیر استراتژی تجزیه، تجزیه‌گر پیش‌فرض Amazon Bedrock را انتخاب کنید و برای استراتژی قطعه‌بندی، قطعه‌بندی پیش‌فرض را انتخاب کنید. بعدی را انتخاب کنید، همانطور که در تصویر زیر نشان داده شده است.
9. در پنجره انتخاب مدل جاسازی و پیکربندی فروشگاه برداری، برای مدل جاسازی، Titan Text Embeddings v2 را انتخاب کنید. برای نوع جاسازی، جاسازی برداری ممیز شناور را انتخاب کنید. برای ابعاد بردار، 1024 را انتخاب کنید، همانطور که در تصویر زیر نشان داده شده است. اطمینان حاصل کنید که دسترسی به FM انتخاب شده را در Amazon Bedrock درخواست کرده و دریافت کرده اید. برای کسب اطلاعات بیشتر، به اضافه یا حذف دسترسی به مدل‌های پایه Amazon Bedrock مراجعه کنید.
10. در پنجره پایگاه داده برداری، ایجاد سریع یک فروشگاه برداری جدید را انتخاب کنید و گزینه جدید Amazon OpenSearch Serverless را به عنوان فروشگاه برداری انتخاب کنید.
11. در صفحه بعدی، انتخاب‌های خود را بررسی کنید. برای نهایی کردن تنظیمات، ایجاد را انتخاب کنید.
12. در عرض چند دقیقه، کنسول پایگاه دانش تازه ایجاد شده شما را نمایش می دهد.

پیکربندی مصرف کننده AWS Lambda Apache Kafka: فعال کردن دریافت داده

اکنون، تابع Lambda مصرف کننده را طوری پیکربندی کنید که به محض دریافت داده توسط موضوع ورودی Apache Kafka با استفاده از فراخوانی API فعال شود.

1. شناسه پایگاه دانش Amazon Bedrock و شناسه منبع داده سفارشی آن را به عنوان متغیرهای محیطی در داخل تابع Lambda پیکربندی کنید. هنگامی که از نوت بوک نمونه استفاده می کنید، نام و شناسه های توابع ارجاع شده به طور خودکار پر می شوند.

غواصی عمیق: آشکار کردن قدرت پایگاه‌های دانش Amazon Bedrock با اتصال‌دهنده‌های سفارشی برای دریافت داده بی‌درنگ

همگرایی هوش مصنوعی مولد و جریان‌های داده بی‌درنگ، فرصت‌های بی‌سابقه‌ای را برای کسب‌وکارها برای به دست آوردن بینش‌های عمیق‌تر، خودکارسازی فرآیندهای حیاتی و ارائه تجربیات شخصی‌شده باز می‌کند. پایگاه‌های دانش Amazon Bedrock، همراه با اتصال‌دهنده‌های سفارشی، در خط مقدم این انقلاب قرار دارند و سازمان‌ها را قادر می‌سازند تا به طور یکپارچه داده‌های جریانی را از منابع متنوع مانند Apache Kafka در برنامه‌های مجهز به هوش مصنوعی خود ادغام کنند.

این قابلیت از محدودیت‌های روش‌های دریافت داده سنتی فراتر می‌رود، که اغلب شامل مراحل پیچیده آماده‌سازی، تبدیل و همگام‌سازی است. با اتصال‌دهنده‌های سفارشی، داده‌ها می‌توانند مستقیماً در زمان واقعی در پایگاه دانش دریافت شوند، تاخیر را از بین ببرند و مدل‌های هوش مصنوعی را قادر سازند تا به طور پویا به شرایط در حال تغییر واکنش نشان دهند.

موارد استفاده در سراسر صنایع

مزایای این رویکرد دوربرد است و برای طیف گسترده‌ای از صنایع قابل اجرا است.

• خدمات مالی: بانک‌ها و شرکت‌های سرمایه‌گذاری می‌توانند از داده‌های بازار بی‌درنگ و جریان‌های تراکنش مشتری برای شناسایی تقلب، شخصی‌سازی توصیه‌های سرمایه‌گذاری و خودکارسازی استراتژی‌های معاملاتی استفاده کنند. سیستمی را تصور کنید که توسط هوش مصنوعی تغذیه می‌شود و تراکنش‌های کارت اعتباری را در زمان واقعی تجزیه و تحلیل می‌کند، فعالیت مشکوک را علامت‌گذاری می‌کند و از خریدهای متقلبانه قبل از وقوع آن‌ها جلوگیری می‌کند.
• خرده‌فروشی: کسب‌وکارهای تجارت الکترونیک می‌توانند داده‌های کلیک و فیدهای رسانه‌های اجتماعی را تجزیه و تحلیل کنند تا رفتار مشتری را درک کنند، توصیه‌های محصول را شخصی‌سازی کنند و استراتژی‌های قیمت‌گذاری را بهینه‌سازی کنند. این امکان تنظیمات پویا برای کمپین‌های بازاریابی و مدیریت موجودی بر اساس تقاضای بی‌درنگ را فراهم می‌کند.
• تولید: تولیدکنندگان می‌توانند از داده‌های حسگر IoT از تجهیزات کارخانه برای پیش‌بینی نیازهای نگهداری، بهینه‌سازی فرآیندهای تولید و بهبود کیفیت محصول استفاده کنند. به عنوان مثال، یک سیستم هوش مصنوعی می‌تواند داده‌های ارتعاش از یک ماشین را تجزیه و تحلیل کند تا خرابی‌های احتمالی را قبل از اینکه منجر به خرابی پرهزینه شود، شناسایی کند.
• مراقبت‌های بهداشتی: بیمارستان‌ها می‌توانند جریان‌های داده بیمار را تجزیه و تحلیل کنند تا علائم اولیه بیماری را تشخیص دهند، برنامه‌های درمانی را شخصی‌سازی کنند و نتایج بیمار را بهبود بخشند. نظارت بی‌درنگ علائم حیاتی می‌تواند کارکنان پزشکی را از تغییرات بحرانی در وضعیت بیمار آگاه کند و امکان مداخله سریع‌تر و بهبود مراقبت را فراهم کند.

مزایای کلیدی: فراتر از داده بی‌درنگ

مزایای استفاده از پایگاه‌های دانش Amazon Bedrock با اتصال‌دهنده‌های سفارشی فراتر از صرفاً دریافت داده‌ها در زمان واقعی است.

• کاهش تأخیر: با از بین بردن نیاز به ذخیره‌سازی میانی و فرآیندهای همگام‌سازی، سازمان‌ها می‌توانند به طور قابل توجهی زمان لازم برای در دسترس قرار دادن داده‌ها برای مدل‌های هوش مصنوعی را کاهش دهند. این منجر به زمان پاسخگویی سریع‌تر و برنامه‌های پویا تر می‌شود.
• کاهش هزینه‌های عملیاتی: اتصال‌دهنده‌های سفارشی با از بین بردن نیاز به مدیریت و نگهداری خطوط لوله داده پیچیده، هزینه‌های عملیاتی را کاهش می‌دهند. این امر منابع ارزشمندی را آزاد می‌کند که می‌توان در سایر زمینه‌های کسب‌وکار سرمایه‌گذاری کرد.
• بهبود کیفیت داده: با دریافت داده‌ها مستقیماً از منبع، سازمان‌ها می‌توانند اطمینان حاصل کنند که مدل‌های هوش مصنوعی آن‌ها با دقیق‌ترین و به‌روزترین اطلاعات کار می‌کنند. این منجر به بینش‌های بهتر و نتایج قابل اعتمادتر می‌شود.
• افزایش انعطاف‌پذیری: اتصال‌دهنده‌های سفارشی به سازمان‌ها اجازه می‌دهند تا به طیف گسترده‌ای از منابع داده متصل شوند، صرف نظر از قالب یا مکان آن‌ها. این انعطاف‌پذیری را برای استفاده از تمام دارایی‌های داده خود، صرف نظر از محل ذخیره آن‌ها، فراهم می‌کند.
• توسعه ساده‌شده: پایگاه‌های دانش Amazon Bedrock با انتزاع پیچیدگی‌های دریافت و مدیریت داده‌ها، تجربه توسعه ساده‌شده‌ای را ارائه می‌دهند. این به توسعه‌دهندگان اجازه می‌دهد تا بر ساخت برنامه‌های هوش مصنوعی که ارزش تجاری واقعی ارائه می‌دهند، تمرکز کنند.

غواصی عمیق‌تر: اتصال‌دهنده‌های سفارشی زیر کاپوت

برای قدردانی کامل از قدرت اتصال‌دهنده‌های سفارشی، مهم است که نحوه کار آن‌ها را درک کنید. یک اتصال‌دهنده سفارشی اساساً یک قطعه کد است که به پایگاه‌های دانش Amazon Bedrock اجازه می‌دهد تا به یک منبع داده خاص متصل شوند. این کد مسئول استخراج داده‌ها از منبع، تبدیل آن به قالبی که با پایگاه دانش سازگار باشد و دریافت آن در سیستم است.

• یکپارچه‌سازی API: اتصال‌دهنده‌های سفارشی معمولاً از طریق API با منابع داده تعامل دارند. این APIها راهی استاندارد برای دسترسی به داده‌ها و انجام عملیات ارائه می‌دهند.
• تبدیل داده: تبدیل داده یک گام حیاتی در این فرآیند است. اتصال‌دهنده‌های سفارشی اغلب نیاز دارند تا داده‌ها را از قالب بومی خود به قالبی که با پایگاه دانش سازگار است، تبدیل کنند. این ممکن است شامل تبدیل انواع داده، پاک‌سازی داده‌ها و غنی‌سازی داده‌ها با اطلاعات اضافی باشد.
• دریافت جریانی: کلید دریافت داده بی‌درنگ، توانایی جریان مداوم داده‌ها است. اتصال‌دهنده‌های سفارشی اغلب از APIهای جریانی برای دریافت داده‌ها در حین تولید استفاده می‌کنند و امکان به‌روزرسانی تقریباً بی‌درنگ پایگاه دانش را فراهم می‌کنند.
• امنیت: امنیت یک نگرانی اساسی هنگام اتصال به منابع داده است. اتصال‌دهنده‌های سفارشی باید با در نظر گرفتن امنیت طراحی شوند و اطمینان حاصل کنند که داده‌ها هم در حین انتقال و هم در حالت استراحت محافظت می‌شوند.

نتیجه‌گیری: پذیرش آینده هوش مصنوعی با داده بی‌درنگ

پایگاه‌های دانش Amazon Bedrock با اتصال‌دهنده‌های سفارشی نشان دهنده پیشرفت قابل توجهی در زمینه هوش مصنوعی است. این فناوری با توانمندسازی سازمان‌ها برای ادغام یکپارچه جریان‌های داده بی‌درنگ در برنامه‌های هوش مصنوعی خود، ثروت جدیدی از فرصت‌ها را برای نوآوری و رشد کسب‌وکار باز می‌کند. با ادامه تکامل هوش مصنوعی، توانایی استفاده از داده‌های بی‌درنگ به طور فزاینده‌ای حیاتی خواهد شد. پایگاه‌های دانش Amazon Bedrock به عنوان یک عامل کلیدی در این روند قرار گرفته‌اند و سازمان‌ها را قادر می‌سازند تا راه‌حل‌های هوش مصنوعی بسازند که پویاتر، پاسخگوتر و هوشمندتر از همیشه هستند.