Rancang Aplikasi RAG Multimodal: Bedrock Data Automation

Saat ini, berbagai organisasi harus berurusan dengan sejumlah besar data tidak terstruktur yang ada dalam berbagai format, termasuk dokumen, gambar, file audio, dan file video. Dahulu, mengekstrak wawasan yang bermakna dari data format yang berbeda ini membutuhkan proses pemrosesan yang kompleks dan upaya pengembangan yang signifikan. Namun, teknologi kecerdasan buatan generatif merevolusi bidang ini, menawarkan kemampuan canggih untuk secara otomatis menangani, menganalisis, dan mengekstrak wawasan dari berbagai format dokumen ini, secara signifikan mengurangi upaya manual sekaligus meningkatkan akurasi dan skalabilitas.

Dengan Amazon Bedrock Data Automation dan Amazon Bedrock Knowledge Bases, Anda sekarang dapat dengan mudah membuat aplikasi RAG multimodal yang kuat. Bersama-sama, mereka memungkinkan organisasi untuk secara efektif memproses, mengatur, dan mengambil informasi dari konten multimodal mereka, mengubah cara mereka mengelola dan menggunakan data tidak terstruktur.

Artikel ini akan memandu Anda membangun aplikasi tumpukan penuh yang menggunakan Amazon Bedrock Data Automation untuk memproses konten multimodal, menyimpan informasi yang diekstraksi di Amazon Bedrock Knowledge Bases, dan mengaktifkan pertanyaan bahasa alami melalui antarmuka tanya jawab berbasis RAG.

Kasus Penggunaan Praktis

Integrasi Amazon Bedrock Data Automation dan Amazon Bedrock Knowledge Bases menyediakan solusi yang ampuh untuk menangani sejumlah besar data tidak terstruktur di berbagai industri, seperti:

• Di bidang perawatan kesehatan, organisasi perlu memproses sejumlah besar catatan pasien, termasuk formulir medis, gambar diagnostik, dan rekaman konsultasi. Amazon Bedrock Data Automation dapat secara otomatis mengekstrak dan menyusun informasi ini, sementara Amazon Bedrock Knowledge Bases memungkinkan petugas medis untuk menggunakan pertanyaan bahasa alami, seperti “Berapakah pembacaan tekanan darah terakhir pasien?” atau “Tampilkan riwayat pengobatan diabetes pasien”.
• Lembaga keuangan memproses ribuan dokumen setiap hari, mulai dari aplikasi pinjaman hingga laporan keuangan. Amazon Bedrock Data Automation dapat mengekstrak indikator keuangan utama dan informasi kepatuhan, sementara Amazon Bedrock Knowledge Bases memungkinkan analis untuk mengajukan pertanyaan seperti: “Faktor risiko apa yang disebutkan dalam laporan triwulanan terbaru?” atau “Tampilkan semua aplikasi pinjaman dengan skor kredit tinggi”.
• Kantor hukum perlu menangani banyak sekali file kasus yang berisi dokumen pengadilan, foto bukti, dan kesaksian saksi. Amazon Bedrock Data Automation dapat memproses sumber yang berbeda ini, sementara Amazon Bedrock Knowledge Bases memungkinkan pengacara untuk menanyakan “Bukti apa yang diajukan tentang peristiwa 15 Maret?” atau “Temukan semua pernyataan saksi yang menyebutkan terdakwa”.
• Perusahaan media dapat menggunakan integrasi ini untuk penempatan iklan kontekstual yang cerdas. Amazon Bedrock Data Automation memproses konten video, teks terjemahan, dan audio untuk memahami konteks adegan, dialog, dan emosi, sekaligus menganalisis aset iklan dan persyaratan kampanye iklan. Amazon Bedrock Knowledge Bases kemudian memungkinkan pertanyaan kompleks untuk mencocokkan iklan dengan momen konten yang sesuai, seperti “Temukan adegan aktivitas luar ruangan positif yang menampilkan iklan peralatan olahraga” atau “Identifikasi klip iklan perjalanan yang membahas industri pariwisata”. Pencocokan kontekstual yang cerdas ini memberikan penempatan iklan yang lebih relevan dan efektif, sekaligus menjaga keamanan merek.

Contoh-contoh ini menunjukkan bagaimana kemampuan ekstraksi Amazon Bedrock Data Automation dikombinasikan dengan pertanyaan bahasa alami Amazon Bedrock Knowledge Bases mengubah cara organisasi berinteraksi dengan data tidak terstruktur mereka.

Tinjauan Solusi

Solusi komprehensif ini mendemonstrasikan kemampuan tingkat lanjut Amazon Bedrock dalam memproses dan menganalisis konten multimodal (dokumen, gambar, file audio, dan file video), yang dicapai melalui tiga komponen utama: Amazon Bedrock Data Automation, Amazon Bedrock Knowledge Bases, dan model dasar yang disediakan melalui Amazon Bedrock. Pengguna dapat mengunggah berbagai jenis konten, termasuk file audio, gambar, video, atau PDF, untuk pemrosesan dan analisis otomatis.

Saat Anda mengunggah konten, Amazon Bedrock Data Automation memprosesnya menggunakan cetak biru standar atau khusus untuk mengekstrak wawasan yang berharga. Informasi yang diekstraksi disimpan dalam format JSON di bucket Amazon Simple Storage Service (Amazon S3), sementara status pekerjaan dilacak melalui Amazon EventBridge dan disimpan di Amazon DynamoDB. Solusi ini melakukan penguraian khusus terhadap JSON yang diekstraksi untuk membuat dokumen yang kompatibel dengan basis pengetahuan, yang kemudian disimpan di Amazon Bedrock Knowledge Bases dan diindeks.

Melalui antarmuka pengguna yang intuitif, solusi ini secara bersamaan menampilkan konten yang diunggah dan informasi yang diekstraksi. Pengguna dapat berinteraksi dengan data yang diproses melalui sistem tanya jawab berbasis Retrieval Augmented Generation (RAG), yang didukung oleh model pondasi Amazon Bedrock. Pendekatan terintegrasi ini memungkinkan organisasi untuk secara efektif memproses, menganalisis, dan memperoleh wawasan dari berbagai format konten, sekaligus menggunakan infrastruktur yang kuat dan terukur yang di部署 menggunakan AWS Cloud Development Kit (AWS CDK).

Arsitektur

Diagram arsitektur berikut menggambarkan alur solusi:

1. Pengguna berinteraksi dengan aplikasi frontend, yang mengautentikasi melalui Amazon Cognito.
2. Permintaan API ditangani oleh Amazon API Gateway dan fungsi AWS Lambda.
3. File diunggah ke bucket S3 untuk diproses.
4. Amazon Bedrock Data Automation memproses file dan mengekstrak informasi.
5. EventBridge mengelola status pekerjaan dan memicu pasca-pemrosesan.
6. Status pekerjaan disimpan di DynamoDB, dan konten yang diproses disimpan di Amazon S3.
7. Fungsi Lambda mengurai konten yang diproses dan mengindeksnya di Amazon Bedrock Knowledge Bases.
8. Sistem tanya jawab berbasis RAG menggunakan model dasar Amazon Bedrock untuk menjawab pertanyaan pengguna.

Prasyarat

Backend

Untuk backend, Anda memerlukan prasyarat berikut:

• Akun AWS.
• Python 3.11 atau lebih tinggi.
• Docker.
• GitHub (jika menggunakan repositori kode).
• AWS CDK. Untuk detail dan prasyarat selengkapnya, lihat Memulai AWS CDK.
• Aktifkan akses ke model dasar di Amazon Bedrock:
  • Claude 3.5 Sonnet v2.0 dari Anthropic
  • Amazon Nova Pro v1.0
  • Claude 3.7 Sonnet v1.0 dari Anthropic

Frontend

Untuk frontend, Anda memerlukan prasyarat berikut:

• Node/npm: v18.12.1
• Backend yang telah di-deploy.
• Setidaknya satu pengguna telah ditambahkan ke user pool Amazon Cognito yang sesuai (diperlukan untuk panggilan API yang diautentikasi).

Semua yang Anda butuhkan tersedia dalam bentuk kode sumber terbuka di repositori GitHub kami.

Panduan Penerapan

Basis kode aplikasi contoh ini diatur ke dalam folder-folder kunci berikut:

samples/bedrock-bda-media-solution