মাল্টিমোডাল RAG অ্যাপ তৈরি: Amazon Bedrock ব্যবহার

আজকাল, বিভিন্ন সংস্থাকে প্রচুর পরিমাণে অসংগঠিত ডেটা সামলাতে হয়, যা বিভিন্ন ফরম্যাটে বিদ্যমান, যেমন ডকুমেন্ট, ছবি, অডিও ফাইল এবং ভিডিও ফাইল। পূর্বে, এই বিভিন্ন ফরম্যাটের ডেটা থেকে অর্থপূর্ণ অন্তর্দৃষ্টি বের করতে জটিল প্রক্রিয়াকরণ এবং প্রচুর ডেভেলপমেন্টের প্রয়োজন হত। কিন্তু, জেনারেটিভ এআই প্রযুক্তি এই ক্ষেত্রে বিপ্লব ঘটাচ্ছে, যা স্বয়ংক্রিয়ভাবে এই বিভিন্ন ডকুমেন্ট ফরম্যাটের ডেটা প্রক্রিয়াকরণ, বিশ্লেষণ এবং নিষ্কাশন করার জন্য শক্তিশালী ক্ষমতা প্রদান করে, যা ম্যানুয়াল কাজ উল্লেখযোগ্যভাবে হ্রাস করে, একই সাথে নির্ভুলতা এবং স্কেলেবিলিটি উন্নত করে।

Amazon Bedrock Data Automation এবং Amazon Bedrock Knowledge Bases-এর সাহায্যে, আপনি এখন সহজেই শক্তিশালী মাল্টিমোডাল RAG অ্যাপ্লিকেশন তৈরি করতে পারেন। এই দুটি একসঙ্গে সংস্থাকে তাদের মাল্টিমোডাল কনটেন্টের তথ্য কার্যকরভাবে প্রক্রিয়াকরণ, সংগঠিত এবং পুনরুদ্ধার করতে সক্ষম করে, যা তাদের অসংগঠিত ডেটা পরিচালনার পদ্ধতিকে পরিবর্তন করে।

এই নিবন্ধটি আপনাকে একটি সম্পূর্ণ স্ট্যাক অ্যাপ্লিকেশন তৈরি করতে গাইড করবে, যা মাল্টিমোডাল কনটেন্ট প্রক্রিয়াকরণের জন্য Amazon Bedrock Data Automation ব্যবহার করে, Amazon Bedrock Knowledge Bases-এ নিষ্কাশিত তথ্য সঞ্চয় করে এবং RAG-ভিত্তিক প্রশ্নোত্তর ইন্টারফেসের মাধ্যমে স্বাভাবিক ভাষার প্রশ্নের সুবিধা দেয়।

বাস্তব ব্যবহারের উদাহরণ

Amazon Bedrock Data Automation এবং Amazon Bedrock Knowledge Bases-এর সংহতকরণ বিভিন্ন শিল্পে প্রচুর পরিমাণে অসংগঠিত ডেটা প্রক্রিয়াকরণের জন্য একটি শক্তিশালী সমাধান প্রদান করে, যেমন:

• স্বাস্থ্যসেবা খাতে, সংস্থাগুলোকে প্রচুর পরিমাণে রোগীর রেকর্ড প্রক্রিয়াকরণ করতে হয়, যার মধ্যে রয়েছে মেডিকেল ফর্ম, ডায়াগনস্টিক ছবি এবং পরামর্শের অডিও রেকর্ডিং। Amazon Bedrock Data Automation স্বয়ংক্রিয়ভাবে এই তথ্য নিষ্কাশন এবং গঠন করতে পারে, যেখানে Amazon Bedrock Knowledge Bases স্বাস্থ্যকর্মীদের স্বাভাবিক ভাষায় প্রশ্ন করতে দেয়, যেমন "রোগীর সর্বশেষ রক্তচাপ কত ছিল?" অথবা "ডায়াবেটিস রোগীদের চিকিৎসার ইতিহাস দেখান"।
• আর্থিক প্রতিষ্ঠানগুলো প্রতিদিন হাজার হাজার ডকুমেন্ট প্রক্রিয়াকরণ করে, যেমন ঋণের আবেদন থেকে শুরু করে আর্থিক বিবরণী পর্যন্ত। Amazon Bedrock Data Automation মূল আর্থিক সূচক এবং সম্মতি বিষয়ক তথ্য নিষ্কাশন করতে পারে, যেখানে Amazon Bedrock Knowledge Bases বিশ্লেষকদের প্রশ্ন করতে দেয়, যেমন "সর্বশেষ ত্রৈমাসিক প্রতিবেদনে কী কী ঝুঁকির কারণ উল্লেখ করা হয়েছে?" অথবা "উচ্চ ক্রেডিট স্কোরযুক্ত সমস্ত ঋণের আবেদন দেখান"।
• আইন firmগুলোকে প্রচুর পরিমাণে মামলার ডকুমেন্ট প্রক্রিয়াকরণ করতে হয়, যার মধ্যে আদালতের নথি, প্রমাণের ছবি এবং সাক্ষীর সাক্ষ্য অন্তর্ভুক্ত। Amazon Bedrock Data Automation এই বিভিন্ন উৎস থেকে তথ্য প্রক্রিয়াকরণ করতে পারে, যেখানে Amazon Bedrock Knowledge Bases আইনজীবীদের জিজ্ঞাসা করতে দেয় "15 মার্চ তারিখের ঘটনা সম্পর্কে কী প্রমাণ পেশ করা হয়েছে?" অথবা "বিবাদীর উল্লেখ আছে এমন সকল সাক্ষীর বিবৃতি খুঁজে বের করুন"।
• গণমাধ্যম সংস্থাগুলো এই একত্রীকরণ ব্যবহার করে বুদ্ধিমান প্রাসঙ্গিক বিজ্ঞাপন স্থাপন করতে পারে। Amazon Bedrock Data Automation ভিডিও কনটেন্ট, ক্যাপশন এবং অডিও প্রক্রিয়াকরণ করে দৃশ্যের প্রেক্ষাপট, কথোপকথন এবং মানসিক অবস্থা বুঝতে পারে, একই সাথে বিজ্ঞাপনের সম্পদ এবং প্রচারণার প্রয়োজনীয়তা বিশ্লেষণ করে। তারপর, Amazon Bedrock Knowledge Bases জটিল প্রশ্নের অনুমতি দেয়, যাতে বিজ্ঞাপনকে উপযুক্ত কনটেন্টের মুহূর্তের সাথে মেলানো যায়, যেমন "ক্রীড়া সরঞ্জামের বিজ্ঞাপন সহ ইতিবাচক বহিরাঙ্গন কার্যকলাপের দৃশ্য খুঁজুন" অথবা "পর্যটন নিয়ে আলোচনার বিজ্ঞাপন অংশগুলো সনাক্ত করুন"। এই বুদ্ধিমান প্রাসঙ্গিক মিল ব্র্যান্ডের নিরাপত্তা বজায় রাখার সাথে সাথে আরও প্রাসঙ্গিক এবং কার্যকর বিজ্ঞাপন সরবরাহ করে।

এই উদাহরণগুলো দেখায় যে কীভাবে Amazon Bedrock Data Automation-এর নিষ্কাশন ক্ষমতা এবং Amazon Bedrock Knowledge Bases-এর স্বাভাবিক ভাষার প্রশ্ন করার ক্ষমতা একত্রিত হয়ে সংস্থাগুলোর অসংগঠিত ডেটার সাথে যোগাযোগের পদ্ধতিকে পরিবর্তন করে।

সমাধানের সংক্ষিপ্ত বিবরণ

এই সামগ্রিক সমাধানটি মাল্টিমোডাল কনটেন্ট (ডকুমেন্ট, ছবি, অডিও ফাইল এবং ভিডিও ফাইল) প্রক্রিয়াকরণ এবং বিশ্লেষণের ক্ষেত্রে Amazon Bedrock-এর উন্নত ক্ষমতা প্রদর্শন করে। এটি তিনটি মূল উপাদানের মাধ্যমে অর্জিত হয়: Amazon Bedrock Data Automation, Amazon Bedrock Knowledge Bases এবং Amazon Bedrock-এর মাধ্যমে উপলব্ধ মৌলিক মডেল। ব্যবহারকারীরা স্বয়ংক্রিয় প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য অডিও ফাইল, ছবি, ভিডিও বা PDF সহ বিভিন্ন ধরণের কনটেন্ট আপলোড করতে পারেন।

আপনি যখন কনটেন্ট আপলোড করেন, তখন Amazon Bedrock Data Automation মূল্যবান অন্তর্দৃষ্টি বের করার জন্য স্ট্যান্ডার্ড বা কাস্টম ব্লুপ্রিন্ট ব্যবহার করে এটি প্রক্রিয়াকরণ করে। নিষ্কাশিত তথ্য JSON ফরম্যাটে Amazon Simple Storage Service (Amazon S3) স্টোরেজ বালতিতে সংরক্ষণ করা হয়, যেখানে Amazon EventBridge-এর মাধ্যমে কাজের স্থিতি ট্র্যাক করা হয় Amazon DynamoDB-তে সংরক্ষণ করা হয়। এই সমাধানটি জ্ঞানের ভিত্তির সাথে সামঞ্জস্যপূর্ণ ডকুমেন্ট তৈরি করার জন্য নিষ্কাশিত JSON-এর কাস্টম পার্সিং চালায়, যা পরে Amazon Bedrock Knowledge Bases-এ সংরক্ষণ এবং ইনডেক্স করা হয়।

একটি স্বজ্ঞাত ইউজার ইন্টারফেসের মাধ্যমে, এই সমাধানটি আপলোড করা কনটেন্ট এবং এর থেকে নিষ্কাশিত তথ্য উভয়ই প্রদর্শন করে। ব্যবহারকারীরা পুনরুদ্ধার বৃদ্ধি জেনারেশন (RAG) ভিত্তিক প্রশ্নোত্তর সিস্টেমের সাথে প্রক্রিয়াকৃত ডেটার সাথে যোগাযোগ করতে পারেন, যা Amazon Bedrock মৌলিক মডেল দ্বারা সমর্থিত। এই সমন্বিত পদ্ধতি সংস্থাগুলোকে বিভিন্ন কনটেন্ট ফরম্যাট থেকে তথ্য কার্যকরভাবে প্রক্রিয়াকরণ, বিশ্লেষণ এবং অর্জনে সক্ষম করে, একই সাথে AWS Cloud Development Kit (AWS CDK) ব্যবহার করে স্থাপন করা একটি শক্তিশালী এবং স্কেলযোগ্য অবকাঠামো ব্যবহার করে।

আর্কিটেকচার

নিচের আর্কিটেকচার ডায়াগ্রামটি সমাধানের প্রক্রিয়াটি ব্যাখ্যা করে:

1. ব্যবহারকারী Amazon Cognito এর মাধ্যমে প্রমাণীকরণ করে ফ্রন্টএন্ড অ্যাপ্লিকেশনের সাথে যোগাযোগ করে।
2. API অনুরোধগুলো Amazon API Gateway এবং AWS Lambda ফাংশন দ্বারা প্রক্রিয়াকৃত হয়।
3. প্রক্রিয়াকরণের জন্য ফাইলগুলো S3 স্টোরেজ বালতিতে আপলোড করা হয়।
4. Amazon Bedrock Data Automation ফাইলগুলো প্রক্রিয়াকরণ করে এবং তথ্য নিষ্কাশিত করে।
5. EventBridge কাজের স্থিতি পরিচালনা করে এবং পোস্ট-প্রসেসিং ট্রিগার করে।
6. কাজের স্থিতি DynamoDB-তে সংরক্ষণ করা হয় এবং প্রক্রিয়াকৃত কনটেন্ট Amazon S3-এ সংরক্ষণ করা হয়।
7. Lambda ফাংশন প্রক্রিয়াকৃত কনটেন্ট পার্স করে এবং Amazon Bedrock Knowledge Bases-এ ইনডেক্স করে।
8. RAG-ভিত্তিক প্রশ্নোত্তর সিস্টেম ব্যবহারকারীর প্রশ্নের উত্তর দেওয়ার জন্য Amazon Bedrock মৌলিক মডেল ব্যবহার করে।

পূর্বশর্ত

ব্যাকএন্ড

ব্যাকএন্ডের জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলো থাকা দরকার:

• একটি AWS অ্যাকাউন্ট।
• Python 3.11 বা তার বেশি সংস্করণ।
• Docker।
• GitHub (যদি কোড সংগ্রহস্থল ব্যবহার করেন)।
• AWS CDK। আরও বিস্তারিত তথ্যের জন্য এবং পূর্বশর্তের জন্য, দেখুন AWS CDK শুরু করা।
• Amazon Bedrock-এ মৌলিক মডেলগুলোতে অ্যাক্সেস সক্রিয় করুন:
  • Anthropic এর Claude 3.5 Sonnet v2.0
  • Amazon Nova Pro v1.0
  • Anthropic এর Claude 3.7 Sonnet v1.0

ফ্রন্টএন্ড

ফ্রন্টএন্ডের জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলো থাকা দরকার:

• Node/npm: v18.12.1
• একটি স্থাপনার ব্যাকএন্ড।
• কমপক্ষে একজন ব্যবহারকারীকে সংশ্লিষ্ট Amazon Cognito ব্যবহারকারী পুলে যুক্ত করা হয়েছে (প্রমাণীকরণের জন্য API কলগুলোর জন্য প্রয়োজনীয়)।

আপনার প্রয়োজনীয় সবকিছু আমাদের GitHub সংগ্রহস্থলে ওপেন সোর্স কোড হিসেবে উপলব্ধ।

স্থাপনার গাইড

এই উদাহরণ অ্যাপ্লিকেশন কোডবেসটি নিম্নলিখিত মূল ফোল্ডারগুলোতে সংগঠিত:

samples/bedrock-bda-media-solution