मल्टीमॉडल RAG ॲप: Amazon Bedrock चा वापर

आजकाल, अनेक संस्थांना मोठ्या प्रमाणात संरichter नसलेल्या डेटाशी सामना करावा लागतो, जो विविध स्वरूपात असतो- कागदपत्रे, प्रतिमा, ऑडिओ आणि व्हिडिओ फाइल्स. पूर्वी, या विविध स्वरूपातील डेटा मधून अर्थपूर्ण माहिती काढण्यासाठी क्लिष्ट प्रक्रिया आणि मोठ्या प्रमाणात डेव्हलपमेंटचे प्रयत्न करावे लागत होते. पण, जनरेटिव्ह आर्टिफिशियल इंटेलिजन्स (Generative Artificial Intelligence) तंत्रज्ञानाने हे क्षेत्र पूर्णपणे बदलून टाकले आहे. हे तंत्रज्ञान विविध स्वरूपातील डेटाला स्वयंचलितपणे प्रोसेस (process) करते, त्याचे विश्लेषण करते आणि त्यातून माहिती काढते. त्यामुळे मानवी हस्तक्षेप कमी होतो आणि अचूकता वाढते.

Amazon Bedrock Data Automation आणि Amazon Bedrock Knowledge Bases च्या मदतीने, तुम्ही आता शक्तिशाली मल्टीमॉडल RAG ॲप्लिकेशन्स (Multimodal RAG applications) सहजपणे तयार करू शकता. हे दोन्ही मिळून संस्थांना त्यांच्या मल्टीमॉडल कंटेंटमधील माहिती प्रभावीपणे प्रोसेस, आयोजित आणि पुनर्प्राप्त करण्यास मदत करतात, ज्यामुळे त्यांच्या असंरrichter डेटा व्यवस्थापनाच्या पद्धतीत बदल होतो.

या लेखात, आम्ही तुम्हाला एक संपूर्ण ॲप्लिकेशन (full-stack application) तयार करण्याच्या प्रक्रियेतून मार्गदर्शन करू. हे ॲप्लिकेशन Amazon Bedrock Data Automation वापरून मल्टीमॉडल कंटेंट प्रोसेस करते, काढलेली माहिती Amazon Bedrock Knowledge Bases मध्ये साठवते आणि RAG-आधारित प्रश्नोत्तरांच्या माध्यमातून नैसर्गिक भाषेतील क्वेरी (natural language queries) विचारण्याची सोय देते.

प्रत्यक्ष उपयोजनाची उदाहरणे

Amazon Bedrock Data Automation आणि Amazon Bedrock Knowledge Bases चे एकत्रीकरण विविध उद्योगांमधील मोठ्या प्रमाणात असंरichter डेटा हाताळण्यासाठी शक्तिशाली उपाय प्रदान करते. काही उदाहरणे खालीलप्रमाणे:

• आरोग्य सेवा क्षेत्रात: संस्थांना रुग्णांच्या नोंदी, वैद्यकीय फॉर्म, इमेजिंग आणि सल्लामसलत रेकॉर्डिंग (consultation recordings) यासारख्या माहितीचा मोठा डेटा हाताळावा लागतो. Amazon Bedrock Data Automation या माहितीला आपोआप काढू शकते आणि संरichter करू शकते, तर Amazon Bedrock Knowledge Bases आरोग्य कर्मचाऱ्यांना नैसर्गिक भाषेत प्रश्न विचारण्याची परवानगी देते, जसे की “रुग्णाचे शेवटचे ब्लड प्रेशर (blood pressure) रीडिंग काय होते?” किंवा “मधुमेह असलेल्या रुग्णांचा उपचार इतिहास दाखवा.”
• वित्तीय संस्था: वित्तीय संस्था दररोज हजारो कागदपत्रे प्रोसेस करतात, ज्यात कर्ज अर्ज (loan applications) आणि आर्थिक विवरणांचा (financial statements) समावेश असतो. Amazon Bedrock Data Automation महत्त्वाचे आर्थिक आकडे आणि नियमां complied ची माहिती काढू शकते, तर Amazon Bedrock Knowledge Bases विश्लेषकांना प्रश्न विचारण्याची परवानगी देते, जसे की “नवीनतम तिमाही अहवालात (quarterly report) कोणते धोके नमूद केले आहेत?” किंवा “उच्च क्रेडिट स्कोअर (credit score) असलेले सर्व कर्ज अर्ज दाखवा.”
• कायदेशीर कंपन्या: कायदेशीर कंपन्यांना कोर्टातील कागदपत्रे, पुराव्याचे फोटो आणि साक्षीदारांचे जबाब (witness testimony) यासारख्या मोठ्या प्रमाणात केस (case) संबंधित कागदपत्रांशी सामना करावा लागतो. Amazon Bedrock Data Automation या विविध स्रोतांकडून माहिती काढू शकते, तर Amazon Bedrock Knowledge Bases वकीलांना प्रश्न विचारण्याची परवानगी देते, जसे की “15 मार्चच्या घटनेबद्दल कोणता पुरावा सादर केला गेला?” किंवा “प्रतिवादीचा (defendant) उल्लेख असलेले सर्व साक्षीदारांचे जबाब शोधा.”
• माध्यम संस्था: ही integration contextuel जाहिरात देण्यासाठी वापरू शकतात. Amazon Bedrock Data Automation व्हिडिओ सामग्री, सबटायटल्स (subtitles) आणि ऑडिओ (audio) प्रोसेस करून सीनचा संदर्भ, संवाद आणि भावना समजून घेते, तसेच जाहिरात मालमत्ता (advertising assets) आणि जाहिरात campaign requirements चे विश्लेषण करते. मग, Amazon Bedrock Knowledge Bases जाहिराती योग्य content moments जुळवण्यासाठी क्लिष्ट क्वेरी करण्याची परवानगी देते, जसे की “खेळ उपकरणांच्या जाहिराती असलेले सकारात्मक outdoor activity सीन्स (scenes) शोधा” किंवा “पर्यटनावर चर्चा करणारे travel advertisement चे भाग ओळखा.” ही contextuel जुळवाजुळव अधिक relevant आणि प्रभावी जाहिरात delivery सुनिश्चित करते, त्याच वेळी ब्रँड सुरक्षा (brand safety) राखते.

ही उदाहरणे दर्शवतात की Amazon BedrockData Automation ची माहिती काढण्याची क्षमता आणि Amazon Bedrock Knowledge Bases च्या नैसर्गिक भाषेतील क्वेरी एकत्र येऊन संस्था त्यांच्या संरichter नसलेल्या डेटाशी कसा संवाद साधू शकतात.

उपाय योजनेचा आढावा

हा उपाय Amazon Bedrock च्या मल्टीमॉडल कंटेंट (कागदपत्रे, प्रतिमा, ऑडिओ आणि व्हिडिओ फाइल्स) प्रोसेस (process) आणि विश्लेषण करण्याच्या प्रगत क्षमतांचे प्रदर्शन करतो. हे तीन मुख्य घटकांच्या माध्यमातून साध्य केले जाते: Amazon Bedrock Data Automation, Amazon Bedrock Knowledge Bases आणि Amazon Bedrock द्वारे प्रदान केलेले मूलभूत मॉडेल (foundation models). वापरकर्ते विविध प्रकारचे कंटेंट अपलोड करू शकतात, ज्यात ऑडिओ फाइल्स, प्रतिमा, व्हिडिओ किंवा PDF चा समावेश आहे, जे स्वयंचलितपणे प्रोसेस आणि विश्लेषण केले जातात.

जेव्हा तुम्ही कंटेंट अपलोड करता, तेव्हा Amazon Bedrock Data Automation त्यातून मौल्यवान माहिती काढण्यासाठी standard किंवा customized ब्लूप्रिंट्स (blueprints) वापरते. काढलेली माहिती JSON स्वरूपात Amazon Simple Storage Service (Amazon S3) buckets मध्ये साठवली जाते, तर जॉब स्टेटस (job status) Amazon EventBridge द्वारे track केला जातो आणि Amazon DynamoDB मध्ये जतन केला जातो. हा उपाय काढलेल्या JSON चे customized विश्लेषण करतो, जेणेकरून Knowledge Base सोबत compatible डॉक्युमेंट्स (documents) तयार करता येतील, आणि नंतर ते Amazon Bedrock Knowledge Bases मध्ये साठवले जातात आणि index केले जातात.

उपाय योजनेच्या सोप्या user interface द्वारे, अपलोड केलेले कंटेंट आणि त्यातून काढलेली माहिती एकाच वेळी दिसते. वापरकर्ते retrieval augmented generation (RAG) आधारित प्रश्न-उत्तर प्रणालीद्वारे प्रोसेस केलेल्या डेटाशी संवाद साधू शकतात, जी Amazon Bedrock foundation models द्वारे समर्थित आहे. हा एकात्मिक दृष्टिकोन संस्थांना विविध content formats मधून प्रभावीपणे माहिती प्रोसेस (process) करण्यास, विश्लेषण करण्यास आणि माहिती मिळवण्यास मदत करतो, तसेच AWS Cloud Development Kit (AWS CDK) वापरून तैनात केलेल्या मजबूत आणि scalable पायाभूत सुविधांचा वापर करतो.

आर्किटेक्चर (Architecture)

खालील आर्किटेक्चर आकृती (architecture diagram) उपाय योजनेची प्रक्रिया दर्शवते:

1. वापरकर्ते Amazon Cognito द्वारे authenticated फ्रंटएन्ड ऍप्लिकेशनशी संवाद साधतात (interact).
2. API विनंत्या (requests) Amazon API Gateway आणि AWS Lambda function द्वारे process केल्या जातात.
3. फाइल्स प्रोसेस करण्यासाठी S3 bucket मध्ये अपलोड केल्या जातात.
4. Amazon Bedrock Data Automation फाइल्स process करते आणि माहिती काढते.
5. EventBridge जॉब स्टेटस (job status) व्यवस्थापित करते आणि पोस्ट-प्रोसेसिंग (post-processing) सुरू करते.
6. जॉब स्टेटस DynamoDB मध्ये साठवला जातो आणि प्रोसेस केलेले कंटेंट Amazon S3 मध्ये साठवले जाते.
7. Lambda function प्रोसेस केलेल्या कंटेंटचे विश्लेषण करते आणि Amazon Bedrock Knowledge Bases मध्ये index करते.
8. RAG-आधारित प्रश्नोत्तर प्रणाली (question answering system) वापरकर्त्यांच्या प्रश्नांची उत्तरे देण्यासाठी Amazon Bedrock foundation models चा वापर करते.

पूर्व आवश्यकता

बॅकएंड (Backend)

बॅकएंडसाठी, तुमच्याकडे खालील पूर्व आवश्यकता असणे आवश्यक आहे:

• एक AWS खाते.
• Python 3.11 किंवा त्यावरील.
• Docker.
• GitHub (जर कोड रिपॉझिटरी वापरत असाल तर).
• AWS CDK. अधिक माहिती आणि पूर्व आवश्यकतांसाठी, AWS CDK getting started मार्गदर्शक पहा.
• Amazon Bedrock मध्ये foundation models चा ऍक्सेस (access) enable करा:
  • Anthropic चे Claude 3.5 Sonnet v2.0
  • Amazon Nova Pro v1.0
  • Anthropic चे Claude 3.7 Sonnet v1.0

फ्रंटएंड (Frontend)

फ्रंटएंडसाठी, तुमच्याकडे खालील पूर्व आवश्यकता असणे आवश्यक आहे:

• Node/npm: v18.12.1
• तैनात केलेले बॅकएंड
• किमान एक वापरकर्ता संबंधित Amazon Cognito user pool मध्ये जोडलेला असावा (authentication API कॉल्ससाठी आवश्यक).

तुम्हाला आवश्यक असलेले सर्व काही आमच्या GitHub repository मध्ये ओपन-सोर्स कोडच्या रूपात उपलब्ध आहे.

deployment मार्गदर्शक

हे उदाहरण ऍप्लिकेशन (example application) कोडबेस (codebase) खालील महत्वाच्या फोल्डर्समध्ये आयोजित केलेला आहे:

samples/bedrock-bda-media-solution