Wawasan Real-Time dengan Kafka & Bedrock

Lanskap kecerdasan buatan (artificial intelligence/AI) berkembang pesat, dengan Retrieval Augmented Generation (RAG) muncul sebagai teknik penting. RAG memberdayakan sistem AI untuk memberikan respons yang lebih terinformasi dan relevan secara kontekstual dengan mengintegrasikan kemampuan model AI generatif dengan sumber data eksternal secara mulus. Pendekatan ini melampaui keterbatasan hanya mengandalkan basis pengetahuan model yang sudah ada sebelumnya. Dalam artikel ini, kita akan membahas potensi transformatif konektor data khusus dalam Basis Pengetahuan Amazon Bedrock, yang menunjukkan bagaimana mereka menyederhanakan pembuatan alur kerja RAG yang memanfaatkan data input khusus. Fungsionalitas ini memungkinkan Basis Pengetahuan Amazon Bedrock untuk memasukkan data streaming, memungkinkan pengembang untuk secara dinamis menambah, memperbarui, atau menghapus informasi dalam basis pengetahuan mereka melalui panggilan API langsung.

Pertimbangkan berbagai aplikasi di mana penyerapan data real-time sangat penting: menganalisis pola clickstream, memproses transaksi kartu kredit, menafsirkan data dari sensor Internet of Things (IoT), melakukan analisis log, dan memantau harga komoditas. Dalam skenario seperti itu, data saat ini dan tren historis memainkan peran penting dalam pengambilan keputusan yang tepat. Secara tradisional, memasukkan input data penting seperti itu memerlukan penyiapan data dalam sumber data yang didukung, diikuti dengan memulai atau menjadwalkan pekerjaan sinkronisasi data. Durasi proses ini bervariasi tergantung pada kualitas dan volume data. Namun, dengan konektor data khusus, organisasi dapat dengan cepat memasukkan dokumen tertentu dari sumber data khusus tanpa memerlukan sinkronisasi penuh, dan memasukkan data streaming tanpa bergantung pada penyimpanan perantara. Pendekatan ini meminimalkan penundaan dan menghilangkan overhead penyimpanan, yang mengarah pada akses data yang lebih cepat, pengurangan latensi, dan peningkatan kinerja aplikasi.

Dengan penyerapan streaming melalui konektor khusus, Basis Pengetahuan Amazon Bedrock dapat memproses data streaming tanpa memerlukan sumber data perantara. Hal ini memungkinkan data tersedia dalam waktu hampir nyata. Kemampuan ini secara otomatis disegmentasikan dan mengubah data input menjadi embedding menggunakan model Amazon Bedrock yang dipilih, menyimpan semuanya di database vektor backend. Proses yang disederhanakan ini berlaku untuk database baru dan yang sudah ada, memungkinkan Anda untuk fokus membangun aplikasi AI tanpa beban mengatur pemotongan data, pembuatan embedding, atau penyediaan dan pengindeksan toko vektor. Selain itu, kemampuan untuk memasukkan dokumen tertentu dari sumber data khusus mengurangi latensi dan menurunkan biaya operasional dengan menghilangkan persyaratan penyimpanan perantara.

Amazon Bedrock: Fondasi untuk AI Generatif

Amazon Bedrock adalah layanan terkelola penuh yang menawarkan beragam pilihan model fondasi (FMs) berkinerja tinggi dari perusahaan AI terkemuka seperti Anthropic, Cohere, Meta, Stability AI, dan Amazon, yang dapat diakses melalui API terpadu. Layanan komprehensif ini menyediakan berbagai macam kemampuan yang memungkinkan Anda untuk mengembangkan aplikasi AI generatif dengan fitur keamanan, privasi, dan AI yang bertanggung jawab. Dengan Amazon Bedrock, Anda dapat menjelajahi dan mengevaluasi FM tingkat atas untuk kasus penggunaan spesifik Anda, menyesuaikannya secara pribadi dengan data Anda sendiri menggunakan teknik seperti fine-tuning dan RAG, dan membangun agen cerdas yang dapat menjalankan tugas menggunakan sistem perusahaan dan sumber data Anda.

Basis Pengetahuan Amazon Bedrock: Menambah AI dengan Pengetahuan

Basis Pengetahuan Amazon Bedrock memberdayakan organisasi untuk membangun pipeline RAG terkelola penuh yang memperkaya respons AI dengan informasi kontekstual yang berasal dari sumber data pribadi. Hal ini mengarah pada interaksi yang lebih relevan, akurat, dan personal. Dengan memanfaatkan Basis Pengetahuan Amazon Bedrock, Anda dapat membuat aplikasi yang ditingkatkan oleh konteks yang diperoleh dari query basis pengetahuan. Ini mempercepat waktu pemasaran dengan mengabstraksi kompleksitas pembangunan pipeline dan menyediakan solusi RAG di luar kotak. Ini mengurangi waktu pengembangan untuk aplikasi Anda.

Konektor Khusus: Kunci untuk Penyerapan Streaming yang Mulus

Basis Pengetahuan Amazon Bedrock menyediakan dukungan untuk konektor khusus dan penyerapan data streaming. Ini memungkinkan Anda untuk menambah, memperbarui, dan menghapus data di basis pengetahuan Anda melalui panggilan API langsung, menawarkan fleksibilitas dan kontrol yang belum pernah terjadi sebelumnya.

Membangun Analisis Harga Saham AI Generatif dengan RAG: Ikhtisar Solusi

Dalam artikel ini, kami mendemonstrasikan arsitektur RAG menggunakan Basis Pengetahuan Amazon Bedrock, konektor khusus, dan topik yang dibuat dengan Amazon Managed Streaming untuk Apache Kafka (Amazon MSK) untuk memungkinkan pengguna menganalisis tren harga saham. Amazon MSK adalah layanan data streaming yang menyederhanakan pengelolaan infrastruktur dan operasi Apache Kafka, sehingga memudahkan untuk menjalankan aplikasi Apache Kafka di Amazon Web Services (AWS). Solusi ini memungkinkan analisis umpan balik pelanggan secara real-time melalui penyematan vektor dan model bahasa besar (LLM).

Komponen Arsitektur

Arsitektur terdiri dari dua komponen utama:

• Alur Kerja Data Streaming Praproses:

  1. File .csv yang berisi data harga saham diunggah ke topik MSK, mensimulasikan input streaming.
  2. Ini memicu fungsi AWS Lambda.
  3. Fungsi ini memasukkan data yang dikonsumsi ke basis pengetahuan.
  4. Basis pengetahuan menggunakan model penyematan untuk mengubah data menjadi indeks vektor.
  5. Indeks vektor disimpan dalam database vektor di dalam basis pengetahuan.

• Eksekusi Runtime Selama Query Pengguna:

  1. Pengguna mengirimkan query tentang harga saham.
  2. Model fondasi menggunakan basis pengetahuan untuk menemukan jawaban yang relevan.
  3. Basis pengetahuan mengembalikan dokumen yang relevan.
  4. Pengguna menerima jawaban berdasarkan dokumen ini.

Desain Implementasi: Panduan Langkah demi Langkah

Implementasi melibatkan langkah-langkah kunci berikut:

1. Pengaturan Sumber Data: Konfigurasikan topik MSK untuk mengalirkan harga saham input.
2. Pengaturan Basis Pengetahuan Amazon Bedrock: Buat basis pengetahuan di Amazon Bedrock menggunakan opsi buat cepat penyimpanan vektor baru, yang secara otomatis menyediakan dan mengatur penyimpanan vektor.
3. Konsumsi dan Penyerapan Data: Setiap kali data tiba di topik MSK, picu fungsi Lambda untuk mengekstrak indeks saham, harga, dan informasi stempel waktu dan memasukkan ke konektor khusus untuk Basis Pengetahuan Amazon Bedrock.
4. Uji Basis Pengetahuan: Evaluasi analisis umpan balik pelanggan menggunakan basis pengetahuan.

Panduan Solusi: Membangun Alat Analisis Saham Anda

Ikuti petunjuk di bagian bawah untuk membangun alat analisis saham AI generatif menggunakan Basis Pengetahuan Amazon Bedrock dan konektor khusus.

Mengonfigurasi Arsitektur: Menyebarkan Template CloudFormation

Untuk mengimplementasikan arsitektur ini, sebarkan template AWS CloudFormation dari repositori GitHub ini di akunAWS Anda. Template ini menyebarkan komponen-komponen berikut:

1. Virtual private cloud (VPC), subnet, grup keamanan, dan peran AWS Identity and Access Management (IAM).
2. Klaster MSK yang menghosting topik input Apache Kafka.
3. Fungsi Lambda untuk mengonsumsi data topik Apache Kafka.
4. Notebook Amazon SageMaker Studio untuk penyiapan dan pengaktifan.

Membuat Topik Apache Kafka: Menyiapkan Aliran Data

Di klaster MSK yang telah dibuat sebelumnya, broker sudah disebarkan dan siap digunakan. Langkah selanjutnya adalah menghubungkan ke klaster MSK dan membuat topik aliran uji menggunakan instance terminal SageMaker Studio. Ikuti petunjuk rinci di Buat topik di klaster Amazon MSK.

Langkah-langkah umumnya adalah:

1. Unduh dan instal klien Apache Kafka terbaru.
2. Hubungkan ke instance broker klaster MSK.
3. Buat topik aliran uji pada instance broker.

Membuat Basis Pengetahuan di Amazon Bedrock: Menghubungkan ke Data Anda

Untuk membuat basis pengetahuan di Amazon Bedrock, ikuti langkah-langkah berikut:

1. Di konsol Amazon Bedrock, di halaman navigasi kiri di bawah Alat Pembuat, pilih Basis Pengetahuan.
2. Untuk memulai pembuatan basis pengetahuan, pada menu dropdown Buat, pilih Basis Pengetahuan dengan penyimpanan vektor, seperti yang ditunjukkan pada tangkapan layar berikut.
3. Di panel Berikan detail Basis Pengetahuan, masukkan BedrockStreamIngestKnowledgeBase sebagai Nama Basis Pengetahuan.
4. Di bawah Izin IAM, pilih opsi default, Buat dan gunakan peran layanan baru, dan (opsional) berikan Nama peran layanan, seperti yang ditunjukkan pada tangkapan layar berikut.
5. Pada panel Pilih sumber data, pilih Kustom sebagai sumber data tempat dataset Anda disimpan.
6. Pilih Selanjutnya, seperti yang ditunjukkan pada tangkapan layar berikut.
7. Pada panel Konfigurasikan sumber data, masukkan BedrockStreamIngestKBCustomDS sebagai Nama sumber data.
8. Di bawah Strategi parsing, pilih Parser default Amazon Bedrock dan untuk Strategi chunking, pilih Chunking default. Pilih Selanjutnya, seperti yang ditunjukkan pada tangkapan layar berikut.
9. Pada Pilih model penyematan dan konfigurasikan panel penyimpanan vektor, untuk Model penyematan, pilih Titan Text Embeddings v2. Untuk Tipe penyematan, pilih Penyematan vektor floating-point. Untuk Dimensi vektor, pilih 1024, seperti yang ditunjukkan pada tangkapan layar berikut. Pastikan bahwa Anda telah meminta dan menerima akses ke FM yang dipilih di Amazon Bedrock. Untuk mempelajari lebih lanjut, lihat Tambahkan atau hapus akses ke model fondasi Amazon Bedrock.
10. Pada panel Database vektor, pilih Buat cepat penyimpanan vektor baru dan pilih opsi Amazon OpenSearch Serverless baru sebagai penyimpanan vektor.
11. Pada layar berikutnya, tinjau pilihan Anda. Untuk menyelesaikan penyiapan, pilih Buat.
12. Dalam beberapa menit, konsol akan menampilkan basis pengetahuan yang baru Anda buat.

Mengonfigurasi Konsumen Apache Kafka AWS Lambda: Memicu Penyerapan Data

Sekarang, konfigurasikan fungsi Lambda konsumen untuk dipicu segera setelah topik input Apache Kafka menerima data menggunakan panggilan API.

1. Konfigurasikan ID Basis Pengetahuan Amazon Bedrock yang dibuat secara manual dan ID Sumber Data kustomnya sebagai variabel lingkungan dalam fungsi Lambda. Saat Anda menggunakan notebook sampel, nama dan ID fungsi yang dirujuk akan diisi secara otomatis.

Selami Lebih Dalam: Mengungkap Kekuatan Basis Pengetahuan Amazon Bedrock dengan Konektor Kustom untuk Penyerapan Data Real-Time

Konvergensi AI generatif dan aliran data real-time membuka peluang yang belum pernah terjadi sebelumnya bagi bisnis untuk mendapatkan wawasan yang lebih dalam, mengotomatiskan proses-proses penting, dan memberikan pengalaman yang dipersonalisasi. Basis Pengetahuan Amazon Bedrock, ditambah dengan konektor khusus, berada di garis depan revolusi ini, memungkinkan organisasi untuk mengintegrasikan data streaming secara mulus dari berbagai sumber seperti Apache Kafka ke dalam aplikasi bertenaga AI mereka.

Kemampuan ini melampaui keterbatasan metode penyerapan data tradisional, yang sering kali melibatkan proses penahapan, transformasi, dan sinkronisasi yang kompleks. Dengan konektor khusus, data dapat dimasukkan langsung ke Basis Pengetahuan dalam waktu hampir nyata, menghilangkan latensi dan memberdayakan model AI untuk bereaksi secara dinamis terhadap kondisi yang berubah.

Kasus Penggunaan di Seluruh Industri

Manfaat dari pendekatan ini sangat luas dan berlaku untuk berbagai macam industri.

• Layanan Keuangan: Bank dan perusahaan investasi dapat memanfaatkan data pasar real-time dan aliran transaksi pelanggan untuk mendeteksi penipuan, mempersonalisasi rekomendasi investasi, dan mengotomatiskan strategi perdagangan. Bayangkan sistem bertenaga AI yang menganalisis transaksi kartu kredit secara real-time, menandai aktivitas mencurigakan, dan mencegah pembelian penipuan sebelum terjadi.
• Ritel: Bisnis e-commerce dapat menganalisis data clickstream dan umpan media sosial untuk memahami perilaku pelanggan, mempersonalisasi rekomendasi produk, dan mengoptimalkan strategi harga. Hal ini memungkinkan penyesuaian dinamis terhadap kampanye pemasaran dan manajemen inventaris berdasarkan permintaan real-time.
• Manufaktur: Produsen dapat menggunakan data sensor IoT dari peralatan pabrik untuk memprediksi kebutuhan pemeliharaan, mengoptimalkan proses produksi, dan meningkatkan kualitas produk. Misalnya, sistem AI dapat menganalisis data getaran dari mesin untuk mengidentifikasi potensi kegagalan sebelum menyebabkan waktu henti yang mahal.
• Perawatan Kesehatan: Rumah sakit dapat menganalisis aliran data pasien untuk mendeteksi tanda-tanda awal penyakit, mempersonalisasi rencana perawatan, dan meningkatkan hasil pasien. Pemantauan tanda-tanda vital secara real-time dapat mengingatkan staf medis tentang perubahan kritis dalam kondisi pasien, memungkinkan intervensi yang lebih cepat dan peningkatan perawatan.

Manfaat Utama: Melampaui Data Real-Time

Keuntungan menggunakan Basis Pengetahuan Amazon Bedrock dengan konektor khusus lebih dari sekadar memasukkan data secara real-time.

• Latensi yang Dikurangi: Dengan menghilangkan kebutuhan akan proses penyimpanan dan sinkronisasi perantara, organisasi dapat secara signifikan mengurangi waktu yang dibutuhkan untuk membuat data tersedia untuk model AI. Hal ini mengarah pada waktu respons yang lebih cepat dan aplikasi yang lebih dinamis.
• Biaya Operasional yang Lebih Rendah: Konektor khusus mengurangi biaya operasional dengan menghilangkan kebutuhan untuk mengelola dan memelihara pipeline data yang kompleks. Hal ini membebaskan sumber daya berharga yang dapat diinvestasikan di area bisnis lainnya.
• Peningkatan Kualitas Data: Dengan memasukkan data langsung dari sumbernya, organisasi dapat memastikan bahwa model AI mereka bekerja dengan informasi yang paling akurat dan mutakhir. Hal ini mengarah pada wawasan yang lebih baik dan hasil yang lebih andal.
• Peningkatan Fleksibilitas: Konektor khusus memungkinkan organisasi untuk terhubung ke berbagai sumber data, terlepas dari format atau lokasinya. Ini memberikan fleksibilitas untuk memanfaatkan semua aset data mereka, terlepas dari di mana mereka disimpan.
• Pengembangan yang Disederhanakan: Basis Pengetahuan Amazon Bedrock memberikan pengalaman pengembangan yang disederhanakan dengan mengabstraksi kompleksitas penyerapan dan pengelolaan data. Hal ini memungkinkan pengembang untuk fokus membangun aplikasi AI yang memberikan nilai bisnis nyata.

Selami Lebih Dalam: Konektor Kustom di Bawah Kap

Untuk sepenuhnya menghargai kekuatan konektor khusus, penting untuk memahami cara kerjanya. Konektor khusus pada dasarnya adalah sepotong kode yang memungkinkan Basis Pengetahuan Amazon Bedrock untuk terhubung ke sumber data tertentu. Kode ini bertanggung jawab untuk mengekstrak data dari sumber, mengubahnya menjadi format yang kompatibel dengan Basis Pengetahuan, dan memasukkannya ke dalam sistem.

• Integrasi API: Konektor khusus biasanya berinteraksi dengan sumber data melalui API. API ini menyediakan cara standar untuk mengakses data dan melakukan operasi.
• Transformasi Data: Transformasi data adalah langkah penting dalam proses ini. Konektor khusus sering kali perlu mengubah data dari format aslinya menjadi format yang kompatibel dengan Basis Pengetahuan. Ini mungkin melibatkan pengubahan tipe data, membersihkan data, dan memperkaya data dengan informasi tambahan.
• Penyerapan Streaming: Kunci untuk penyerapan data real-time adalah kemampuan untuk mengalirkan data secara terus menerus. Konektor khusus sering kali menggunakan API streaming untuk menerima data saat dihasilkan, memungkinkan pembaruan hampir real-time ke Basis Pengetahuan.
• Keamanan: Keamanan adalah perhatian utama saat terhubung ke sumber data. Konektor khusus perlu dirancang dengan mempertimbangkan keamanan, memastikan bahwa data dilindungi baik saat transit maupun saat istirahat.

Kesimpulan: Merangkul Masa Depan AI dengan Data Real-Time

Basis Pengetahuan Amazon Bedrock dengan konektor khusus mewakili kemajuan signifikan di bidang AI. Dengan memungkinkan organisasi untuk mengintegrasikan aliran data real-time secara mulus ke dalam aplikasi AI mereka, teknologi ini membuka banyak peluang baru untuk inovasi dan pertumbuhan bisnis. Seiring dengan terus berkembangnya AI, kemampuan untuk memanfaatkan data real-time akan menjadi semakin penting. Basis Pengetahuan Amazon Bedrock diposisikan untuk menjadi enabler kunci dari tren ini, memberdayakan organisasi untuk membangun solusi AI yang lebih dinamis, responsif, dan cerdas dari sebelumnya.