பலதரப்பட்ட RAG பயன்பாட்டிற்கான Amazon Bedrock

இன்றைய காலகட்டத்தில், பல்வேறு அமைப்புகள் தங்கள் தரவுத் தேவைகளைப் பூர்த்தி செய்ய பலதரப்பட்ட தரவுகளை கையாள வேண்டியுள்ளது. இந்தத் தரவுகள் ஆவணங்கள், படங்கள், ஆடியோ மற்றும் வீடியோ கோப்புகள் எனப் பல்வேறு வடிவங்களில் காணப்படுகின்றன. இந்தத் தரவுகளில் இருந்து தகவல்களைப் பிரித்தெடுப்பது என்பது சிக்கலான செயல்முறையாகவும், அதிகப்படியான மேம்பாட்டுப் பணிகளையும் உள்ளடக்கியதாக இருந்தது. ஆனால், தற்போது ஜெனரேட்டிவ் செயற்கை நுண்ணறிவுத் தொழில்நுட்பம் (Generative Artificial Intelligence) இந்தத் துறையில் ஒரு புரட்சியை ஏற்படுத்தியுள்ளது. இது பலதரப்பட்ட ஆவண வடிவங்களில் இருந்து தரவுகளை தானாகவே பிரித்தெடுத்து, தகவல்களைப் பகுப்பாய்வு செய்து, மனித உழைப்பைக் குறைத்து துல்லியத்தையும், அளவிடக்கூடிய திறனையும் மேம்படுத்துகிறது.

Amazon Bedrock Data Automation மற்றும் Amazon Bedrock Knowledge Bases உதவியுடன், இப்போது நீங்கள் பலதரப்பட்ட RAG பயன்பாடுகளை எளிதாக உருவாக்கலாம். இவை இரண்டும் இணைந்து, நிறுவனங்கள் தங்கள் பலதரப்பட்ட உள்ளடக்கத்தில் இருக்கும் தகவல்களைச் திறம்பட கையாளவும், ஒழுங்கமைக்கவும், மீட்டெடுக்கவும் உதவுகின்றன. இதன் மூலம், நிறுவனங்கள் தங்கள் தரவுகளை நிர்வகிக்கும் முறையையும், பயன்படுத்தும் முறையையும் மாற்றியமைக்க முடியும்.

இந்தக் கட்டுரையில், Amazon Bedrock Data Automation பயன்படுத்தி பலதரப்பட்ட உள்ளடக்கத்தை எவ்வாறு கையாள்வது, பிரித்தெடுக்கப்பட்ட தகவல்களை Amazon Bedrock Knowledge Basesஇல் சேமிப்பது, RAG அடிப்படையிலான கேள்வி பதில் இடைமுகத்தின் மூலம் இயற்கை மொழி கேள்விகளை எவ்வாறு உருவாக்குவது என்பது குறித்து ஒரு முழுமையான பயன்பாட்டை உருவாக்குவது பற்றிப் பார்க்கலாம்.

பயன்பாட்டு நிகழ்வுகள்

Amazon Bedrock Data Automation மற்றும் Amazon Bedrock Knowledge Bases ஒருங்கிணைப்பு, பல்வேறு துறைகளில் உள்ள பெரிய அளவிலான கட்டமைப்பற்ற தரவுகளைக் கையாளுவதற்குச் சிறந்த தீர்வாக உள்ளது. சில உதாரணங்கள் கீழே:

• சுகாதாரத் துறையில்: மருத்துவமனைகள் மற்றும் சுகாதார நிறுவனங்கள் நோயாளிகளின் மருத்துவக் குறிப்புகள், நோயறிதல் படங்கள் மற்றும் ஆலோசனைகளின் ஆடியோ பதிவுகள் போன்ற பலதரப்பட்ட தரவுகளைச் சேகரிக்க வேண்டியுள்ளது. Amazon Bedrock Data Automation இந்தத் தகவல்களை தானாகவே பிரித்தெடுத்து ஒழுங்கமைக்கிறது. மேலும், Amazon Bedrock Knowledge Bases மருத்துவர்களுக்கு “நோயாளியின் கடைசி இரத்த அழுத்த அளவு என்ன?” அல்லது “சர்க்கரை நோய் உள்ளவர்களின் சிகிச்சை வரலாற்றைக் காட்டு” போன்ற இயற்கை மொழி கேள்விகளைப் பயன்படுத்த அனுமதிக்கிறது. இதன் மூலம் தேவையான தகவல்களை எளிதாகப் பெற முடியும்.

• நிதி நிறுவனங்களில்: வங்கிகள் மற்றும் நிதி நிறுவனங்கள் ஒவ்வொரு நாளும் கடன் விண்ணப்பங்கள் முதல் நிதி அறிக்கைகள் வரை ஆயிரக்கணக்கான ஆவணங்களைக் கையாள்கின்றன. Amazon Bedrock Data Automation முக்கிய நிதி குறிகாட்டிகள் மற்றும் ஒழுங்குமுறை தகவல்களைப் பிரித்தெடுக்க உதவுகிறது. Amazon Bedrock Knowledge Bases பகுப்பாய்வாளர்கள் “சமீபத்திய காலாண்டு அறிக்கையில் என்னென்ன ஆபத்து காரணிகள் குறிப்பிடப்பட்டுள்ளன?” அல்லது “உயர் கடன் மதிப்பீடு கொண்ட அனைத்து கடன் விண்ணப்பங்களையும் காட்டு” போன்ற கேள்விகளைக் கேட்க அனுமதிக்கிறது.

• சட்ட நிறுவனங்களில்: வழக்கறிஞர் அலுவலகங்கள் நீதிமன்ற ஆவணங்கள், ஆதார புகைப்படங்கள் மற்றும் சாட்சிகளின் வாக்குமூலங்கள் உட்பட ஏராளமான வழக்குகளைக் கையாள வேண்டியுள்ளது. Amazon Bedrock Data Automation இந்த வெவ்வேறு ஆதாரங்களில் உள்ள தகவல்களைப் பிரித்தெடுக்க உதவுகிறது. மேலும், Amazon Bedrock Knowledge Bases வழக்கறிஞர்கள் “மார்ச் 15ம் தேதி நடந்த சம்பவத்தைப் பற்றி என்ன ஆதாரம் சமர்ப்பிக்கப்பட்டுள்ளது?” அல்லது “எதிரியைப் பற்றி சாட்சிகள் அளித்த வாக்குமூலங்களைக் கண்டுபிடி” போன்ற கேள்விகளைக் கேட்க அனுமதிக்கிறது. இதன் மூலம் விரைவாகத் தேவையான தகவல்களைப் பெற முடியும்.

• ஊடக நிறுவனங்கள்: Amazon Bedrock Data Automation வீடியோ உள்ளடக்கம், வசனங்கள் மற்றும் ஆடியோவைப் பயன்படுத்தி, காட்சியின் சூழல், உரையாடல் மற்றும் உணர்ச்சிகளைப் புரிந்துகொண்டு விளம்பரங்களைச் சிறப்பாக வைக்க உதவுகிறது. விளம்பர சொத்துக்கள் மற்றும் விளம்பர பிரச்சாரத் தேவைகளையும் இது பகுப்பாய்வு செய்கிறது. பின்னர், Amazon Bedrock Knowledge Bases “விளையாட்டு உபகரணங்களை உள்ளடக்கிய வெளிப்புற நடவடிக்கைக் காட்சிகளைக் கண்டுபிடி” அல்லது “சுற்றுலா பற்றி பேசும் விளம்பரப் பகுதிகளை அடையாளம் காணவும்” போன்ற கேள்விகளைப் பயன்படுத்தி விளம்பரங்களைச் சரியான உள்ளடக்கத்துடன் பொருத்த அனுமதிக்கிறது. இந்தத் தொழில்நுட்பம் மிகவும் பொருத்தமான விளம்பரங்களை வழங்குகிறது.

இந்த எடுத்துக்காட்டுகள் Amazon Bedrock Data Automationன் பிரித்தெடுக்கும் திறனும், Amazon Bedrock Knowledge Basesன் இயற்கை மொழி கேள்வி பதில்களும் இணைந்து, நிறுவனங்கள் தங்கள் கட்டமைப்பற்ற தரவுகளுடன் தொடர்பு கொள்ளும் முறையை மாற்றியமைப்பதை காட்டுகிறது.

தீர்வு கண்ணோட்டம்

இந்த முழுமையான தீர்வு, பலதரப்பட்ட உள்ளடக்கத்தை (ஆவணங்கள், படங்கள், ஆடியோ மற்றும் வீடியோ கோப்புகள்) கையாளவும் பகுப்பாய்வு செய்யவும் Amazon Bedrock வழங்கும் மேம்பட்ட திறன்களைக் காட்டுகிறது. இது மூன்று முக்கிய கூறுகளைக் கொண்டுள்ளது: Amazon Bedrock Data Automation, Amazon Bedrock Knowledge Bases மற்றும் Amazon Bedrock வழங்கும் அடிப்படை மாதிரிகள் (Foundation Models). பயனர்கள் ஆடியோ கோப்புகள், படங்கள், வீடியோக்கள் அல்லது PDFகள் உட்பட எந்த வகையான உள்ளடக்கத்தையும் தானாகவே கையாளவும் பகுப்பாய்வு செய்யவும் பதிவேற்றலாம்.

நீங்கள் உள்ளடக்கத்தைப் பதிவேற்றும்போது, Amazon Bedrock Data Automation தரமான அல்லது தனிப்பயன் ப்ளூபிரிண்ட்களைப் பயன்படுத்தி அதைச் செயலாக்குகிறது. பிரித்தெடுக்கப்பட்ட தகவல்கள் JSON வடிவத்தில் Amazon Simple Storage Service (Amazon S3) சேமிப்புக் களத்தில் சேமிக்கப்படும். மேலும் பணிகளின் நிலை Amazon EventBridge மூலம் கண்காணிக்கப்பட்டு Amazon DynamoDBயில் சேமிக்கப்படுகிறது. இந்த தீர்வு, பிரித்தெடுக்கப்பட்ட JSONஐப் பகுப்பாய்வு செய்து, அறிவுத் தளத்திற்கு ஏற்ற ஆவணங்களை உருவாக்கி, Amazon Bedrock Knowledge Basesஇல் சேமித்து அட்டவணைப்படுத்துகிறது.

எளிமையான பயனர் இடைமுகத்தின் மூலம், பதிவேற்றப்பட்ட உள்ளடக்கம் மற்றும் அதிலிருந்து எடுக்கப்பட்ட தகவல்கள் ஆகிய இரண்டையும் இந்த தீர்வு காட்டுகிறது. பயனர்கள் Amazon Bedrock அடிப்படை மாதிரிகள் மூலம் இயக்கப்படும் RAG அடிப்படையிலான கேள்வி பதில் அமைப்பு மூலம் செயலாக்கப்பட்ட தரவுகளுடன் தொடர்பு கொள்ளலாம். இந்த ஒருங்கிணைந்த அணுகுமுறை, நிறுவனங்கள் பல்வேறு உள்ளடக்க வடிவங்களில் இருந்து தகவல்களைச் திறம்படப் பகுப்பாய்வு செய்யவும், AWS Cloud Development Kit (AWS CDK) மூலம் பயன்படுத்தக்கூடிய வலுவான உள்கட்டமைப்பை உருவாக்கவும் உதவுகிறது.

கட்டமைப்பு

பின்வரும் கட்டமைப்பு வரைபடம் தீர்வின் செயல்முறையை விளக்குகிறது:

1. பயனர்கள் Amazon Cognito மூலம் அங்கீகரிக்கப்பட்டு, முன்பக்க பயன்பாட்டுடன் தொடர்பு கொள்கிறார்கள்.
2. API கோரிக்கைகள் Amazon API Gateway மற்றும் AWS Lambda செயல்பாடு மூலம் கையாளப்படுகின்றன.
3. செயலாக்கத்திற்காக S3 சேமிப்பு களத்தில் கோப்புகள் பதிவேற்றப்படுகின்றன.
4. Amazon Bedrock Data Automation கோப்புகளைச் செயல்படுத்தி தகவல்களைப் பிரித்தெடுக்கிறது.
5. EventBridge பணி நிலையை நிர்வகித்து செயலாக்கத்தைத் தூண்டுகிறது.
6. பணி நிலை DynamoDBயில் சேமிக்கப்படுகிறது, மேலும் செயலாக்கப்பட்ட உள்ளடக்கம் Amazon S3இல் சேமிக்கப்படுகிறது.
7. Lambda செயல்பாடு செயலாக்கப்பட்ட உள்ளடக்கத்தைப் பகுப்பாய்வு செய்து Amazon Bedrock Knowledge Basesஇல் அட்டவணைப்படுத்துகிறது.
8. RAG அடிப்படையிலான கேள்வி பதில் அமைப்பு Amazon Bedrock அடிப்படை மாதிரிகளைப் பயன்படுத்தி பயனர் கேள்விக்கு பதிலளிக்கிறது.

தேவையான முன்நிபந்தனைகள்

பின்புலம் (Backend)

பின்புலத்திற்கு, உங்களுக்கு பின்வரும் முன்நிபந்தனைகள் தேவை:

• AWS கணக்கு.
• Python 3.11 அல்லது அதற்கு மேற்பட்ட பதிப்பு.
• Docker.
• GitHub (குறியீடு களஞ்சியத்தைப் பயன்படுத்தினால்).
• AWS CDK. கூடுதல் விவரங்கள் மற்றும் முன்நிபந்தனைகளுக்கு, AWS CDK அறிமுகத்தைப் பார்க்கவும்.
• Amazon Bedrock இல் அடிப்படை மாதிரிகளுக்கான அணுகலை இயக்குதல்:
  • Anthropic’s Claude 3.5 Sonnet v2.0
  • Amazon Nova Pro v1.0
  • Anthropic’s Claude 3.7 Sonnet v1.0

முன்பக்கம் (Frontend)

முன்பக்கத்திற்கு, உங்களுக்கு பின்வரும் முன்நிபந்தனைகள் தேவை:

• Node/npm: v18.12.1
• ஏற்கனவே பயன்படுத்தப்பட்டுள்ள பின்புலம்.
• சம்பந்தப்பட்ட Amazon Cognito பயனர் குளத்தில் குறைந்தது ஒரு பயனராவது சேர்க்கப்பட்டிருக்க வேண்டும் (அங்கீகரிக்கப்பட்ட API அழைப்புகளுக்கு அவசியம்).

உங்களுக்குத் தேவையான அனைத்தும் எங்கள் GitHub களஞ்சியத்தில் திறந்த மூலக் குறியீடாகக் கிடைக்கின்றன.

பயன்படுத்தும் முறை

இந்த மாதிரி பயன்பாட்டுக் குறியீடு பின்வரும் முக்கிய கோப்புறைகளாக ஒழுங்கமைக்கப்பட்டுள்ளது:

samples/bedrock-bda-media-solution