मल्टीमॉडल RAG ऐप्स बनाना: Amazon Bedrock का उपयोग

आज, संगठनों को बड़ी मात्रा में असंरचित डेटा से निपटने की आवश्यकता है, जो दस्तावेज़ों, छवियों, ऑडियो फ़ाइलों और वीडियो फ़ाइलों सहित विभिन्न प्रारूपों में मौजूद है। अतीत में, इन विभिन्न स्वरूपों के डेटा से सार्थक अंतर्दृष्टि निकालने के लिए जटिल प्रसंस्करण प्रवाह और पर्याप्त विकास प्रयासों की आवश्यकता होती थी। हालाँकि, जेनरेटिव आर्टिफिशियल इंटेलिजेंस तकनीक इस क्षेत्र में क्रांति ला रही है, यह शक्तिशाली क्षमताएं प्रदान करती है जो इन विभिन्न दस्तावेज़ प्रारूपों से डेटा को स्वचालित रूप से संसाधित, विश्लेषण और निकालने की अनुमति देती है, जिससे मैन्युअल प्रयास में काफी कमी आती है, जबकि सटीकता और मापनीयता में सुधार होता है।

Amazon Bedrock Data Automation और Amazon Bedrock Knowledge Bases के साथ, अब आप आसानी से शक्तिशाली मल्टीमॉडल RAG एप्लिकेशन बना सकते हैं। साथ में, वे संगठनों को अपनी मल्टीमॉडल सामग्री से जानकारी को प्रभावी ढंग से संसाधित, व्यवस्थित और पुनर्प्राप्त करने की अनुमति देते हैं, जिससे उनके असंरचित डेटा को प्रबंधित और उपयोग करने के तरीके में बदलाव आता है।

यह आलेख आपको एक पूर्ण-स्टैक एप्लिकेशन बनाने के लिए मार्गदर्शन करेगा, जो मल्टीमॉडल सामग्री को संसाधित करने के लिए Amazon Bedrock Data Automation का उपयोग करता है, निकाली गई जानकारी को Amazon Bedrock Knowledge Bases में संग्रहीत करता है, और RAG- आधारित प्रश्न उत्तर इंटरफ़ेस के माध्यम से प्राकृतिक भाषा प्रश्नों को सक्षम करता है।

वास्तविक दुनिया के उपयोग के मामले

Amazon Bedrock Data Automation और Amazon Bedrock Knowledge Bases का एकीकरण विभिन्न उद्योगों में बड़ी मात्रा में असंरचित डेटा को संभालने के लिए एक शक्तिशाली समाधान प्रदान करता है, उदाहरण के लिए:

• स्वास्थ्य सेवा क्षेत्र में, संगठनों को रोगी रिकॉर्ड की बड़ी मात्रा को संसाधित करने की आवश्यकता होती है, जिसमें चिकित्सा प्रपत्र, नैदानिक ​​चित्र और परामर्श रिकॉर्डिंग शामिल हैं। Amazon Bedrock Data Automation इन सूचनाओं को स्वचालित रूप से निकाल और संरचित कर सकता है, जबकि Amazon Bedrock Knowledge Bases स्वास्थ्य पेशेवरों को प्राकृतिक भाषा प्रश्नों का उपयोग करने की अनुमति देता है, जैसे “रोगी का अंतिम रक्तचाप पठन क्या था?” या “मधुमेह रोगियों के लिए उपचार इतिहास दिखाएं।”
• वित्तीय संस्थान हर दिन हजारों दस्तावेज़ों को संसाधित करते हैं, ऋण आवेदनों से लेकर वित्तीय विवरणों तक। Amazon Bedrock Data Automation महत्वपूर्ण वित्तीय मेट्रिक्स और अनुपालन जानकारी निकाल सकता है, जबकि Amazon Bedrock Knowledge Bases विश्लेषकों को निम्नलिखित प्रश्न पूछने की अनुमति देता है: “नवीनतम त्रैमासिक रिपोर्ट में किन जोखिम कारकों का उल्लेख किया गया है?” या “उच्च क्रेडिट स्कोर वाले सभी ऋण आवेदन दिखाएं।”
• कानून फर्मों को बड़ी संख्या में केस फ़ाइलों को संसाधित करने की आवश्यकता होती है, जिसमें अदालती दस्तावेज़, सबूत तस्वीरें और गवाह बयान शामिल हैं। Amazon Bedrock Data Automation इन विभिन्न स्रोतों को संभाल सकता है, जबकि Amazon Bedrock Knowledge Bases वकीलों को “15 मार्च की घटना के बारे में क्या सबूत पेश किए गए थे?” जैसे प्रश्न पूछने की अनुमति देता है, या “प्रतिवादी का उल्लेख करने वाले सभी गवाहों के बयान खोजें।”
• मीडिया कंपनियां इस एकीकरण का उपयोग बुद्धिमान प्रासंगिक विज्ञापन के लिए कर सकती हैं। Amazon Bedrock Data Automation दृश्य संदर्भ, संवाद और भावनाओं को समझने के लिए वीडियो सामग्री, उपशीर्षक और ऑडियो को संसाधित करता है, जबकि विज्ञापन संपत्तियों और विज्ञापन अभियान आवश्यकताओं का विश्लेषण करता है। फिर, Amazon Bedrock Knowledge Bases विज्ञापनों को उपयुक्त सामग्री क्षणों से मिलाने के लिए जटिल प्रश्नों की अनुमति देता है, जैसे “खेल उपकरण के विज्ञापन वाले सकारात्मक बाहरी दृश्यों को ढूंढें” या “पर्यटन पर चर्चा करने वाले यात्रा विज्ञापन खंडों की पहचान करें।” यह बुद्धिमान प्रासंगिक मिलान अधिक प्रासंगिक और प्रभावी विज्ञापन प्रदान करता है, जबकि ब्रांड सुरक्षा बनाए रखता है।

ये उदाहरण दिखाते हैं कि कैसे Amazon Bedrock Data Automation की निष्कर्षण क्षमताएं Amazon Bedrock Knowledge Bases की प्राकृतिक भाषा प्रश्नों के साथ मिलकर संगठनों के असंरचित डेटा के साथ बातचीत करने के तरीके को बदल सकती हैं।

समाधान अवलोकन

यह व्यापक समाधान मल्टीमॉडल सामग्री (दस्तावेज़, छवि, ऑडियो फ़ाइलें और वीडियो फ़ाइलें) को संसाधित करने और विश्लेषण करने में Amazon Bedrock की उन्नत क्षमताओं को प्रदर्शित करता है, यह तीन प्रमुख घटकों के माध्यम से प्राप्त किया जाता है: Amazon Bedrock Data Automation, Amazon Bedrock Knowledge Bases, और Amazon Bedrock के माध्यम से पेश किए गए आधार मॉडल। उपयोगकर्ता स्वचालित प्रसंस्करण और विश्लेषण के लिए ऑडियो फ़ाइलों, छवियों, वीडियो या पीडीएफ़ सहित विभिन्न प्रकार की सामग्री अपलोड कर सकते हैं।

जब आप सामग्री अपलोड करते हैं, तो Amazon Bedrock Data Automation मूल्यवान अंतर्दृष्टि निकालने के लिए मानक या कस्टम ब्लूप्रिंट का उपयोग करके इसे संसाधित करता है। निकाली गई जानकारी को JSON प्रारूप में Amazon Simple Storage Service (Amazon S3) बकेट में संग्रहीत किया जाता है, जबकि नौकरी की स्थिति को Amazon EventBridge के माध्यम से ट्रैक किया जाता है और Amazon DynamoDB में सहेजा जाता है। यह समाधान निष्कर्षण JSON का कस्टम पार्सिंग करता है ताकि नॉलेज बेस-संगत दस्तावेज़ बनाए जा सकें, जिसे फिर Amazon Bedrock Knowledge Bases में संग्रहीत और अनुक्रमित किया जाता है।

एक सहज उपयोगकर्ता इंटरफ़ेस के माध्यम से, यह समाधान अपलोड की गई सामग्री और उसकी निकाली गई जानकारी दोनों को प्रदर्शित करता है। उपयोगकर्ता पुनर्प्राप्ति-संवर्धित पीढ़ी (RAG) आधारित प्रश्न उत्तर प्रणाली के माध्यम से संसाधित डेटा के साथ इंटरैक्ट कर सकते हैं, जिसे Amazon Bedrock आधार मॉडल द्वारा संचालित किया जाता है। यह एकीकृत दृष्टिकोण संगठनों को AWS Cloud Development Kit (AWS CDK) के साथ तैनात एक मजबूत और मापनीय बुनियादी ढांचे का उपयोग करते हुए विभिन्न सामग्री प्रारूपों से जानकारी को प्रभावी ढंग से संसाधित, विश्लेषण और प्राप्त करने की अनुमति देता है।

वास्तुकला

निम्नलिखित आर्किटेक्चर आरेख समाधान के प्रवाह को दर्शाता है:

1. उपयोगकर्ता Amazon Cognito के माध्यम से प्रमाणित, फ्रंट-एंड एप्लिकेशन के साथ इंटरैक्ट करते हैं।
2. API अनुरोधों को Amazon API Gateway और AWS Lambda फ़ंक्शन द्वारा संसाधित किया जाता है।
3. प्रसंस्करण के लिए S3 बकेट में फ़ाइलें अपलोड की जाती हैं।
4. Amazon Bedrock Data Automation फ़ाइलों को संसाधित करता है और जानकारी निकालता है।
5. EventBridge नौकरी की स्थिति का प्रबंधन करता है और बाद के प्रसंस्करण को ट्रिगर करता है।
6. नौकरी की स्थिति DynamoDB में संग्रहीत की जाती है, और संसाधित सामग्री Amazon S3 में संग्रहीत की जाती है।
7. Lambda फ़ंक्शन संसाधित सामग्री को पार्स करता है और Amazon Bedrock Knowledge Bases में अनुक्रमित करता है।
8. RAG- आधारित प्रश्न उत्तर प्रणाली उपयोगकर्ता प्रश्नों का उत्तर देने के लिए Amazon Bedrock आधार मॉडल का उपयोग करती है।

पूर्वापेक्षाएँ

बैकएंड

बैकएंड के लिए, आपके पास निम्नलिखित पूर्वापेक्षाएँ होनी चाहिए:

• एक AWS खाता।
• Python 3.11 या उच्चतर।
• Docker।
• GitHub (यदि कोड रिपॉजिटरी का उपयोग कर रहे हैं)।
• AWS CDK। अधिक विवरण और पूर्वापेक्षाओं के लिए, कृपया AWS CDK गेटिंग स्टार्टेड देखें।
• Amazon Bedrock में आधार मॉडल तक पहुंच सक्षम करें:
  • Anthropic का Claude 3.5 Sonnet v2.0
  • Amazon Nova Pro v1.0
  • Anthropic का Claude 3.7 Sonnet v1.0

फ्रंटएंड

फ्रंटएंड के लिए, आपके पास निम्नलिखित पूर्वापेक्षाएँ होनी चाहिए:

• Node/npm: v18.12.1
• तैनात बैकएंड।
• कम से कम एक उपयोगकर्ता को संबंधित Amazon Cognito उपयोगकर्ता पूल में जोड़ा गया है (प्रमाणीकरण API कॉल के लिए आवश्यक)।

आपको वह सब कुछ चाहिए जो हमारे GitHub रिपॉजिटरी में ओपन-सोर्स कोड के रूप में उपलब्ध है।

तैनाती मार्गदर्शिका

यह उदाहरण एप्लिकेशन कोडबेस को निम्नलिखित प्रमुख फ़ोल्डरों में व्यवस्थित किया गया है:

samples/bedrock-bda-media-solution