Lanskap kecerdasan buatan (AI) berkembang pesat, dengan Retrieval Augmented Generation (RAG) muncul sebagai teknik penting. RAG memperkasakan sistem AI untuk menyampaikan respons yang lebih bermaklumat dan relevan secara kontekstual dengan menyepadukan dengan lancar keupayaan model AI generatif dengan sumber data luaran. Pendekatan ini melampaui batasan bergantung semata-mata pada pangkalan pengetahuan model yang sedia ada. Dalam artikel ini, kita menyelidiki potensi transformatif penyambung data tersuai dalam Pangkalan Pengetahuan Amazon Bedrock, yang menunjukkan bagaimana ia menyelaraskan penciptaan aliran kerja RAG yang memanfaatkan data input tersuai. Fungsi ini membolehkan Pangkalan Pengetahuan Amazon Bedrock memasukkan data penstriman, membolehkan pembangun menambah, mengemas kini atau memadam maklumat secara dinamik dalam pangkalan pengetahuan mereka melalui panggilan API langsung.
Pertimbangkan pelbagai aplikasi di mana pengambilan data masa nyata adalah kritikal: menganalisis corak aliran klik, memproses transaksi kad kredit, mentafsir data daripada sensor Internet Pelbagai Benda (IoT), menjalankan analisis log dan memantau harga komoditi. Dalam senario sedemikian, kedua-dua data semasa dan arah aliran sejarah memainkan peranan penting dalam membuat keputusan termaklum. Secara tradisinya, memasukkan input data kritikal sedemikian memerlukan pementasan data dalam sumber data yang disokong, diikuti dengan memulakan atau menjadualkan kerja penyegerakan data. Tempoh proses ini berbeza-beza bergantung pada kualiti dan volum data. Walau bagaimanapun, dengan penyambung data tersuai, organisasi boleh memasukkan dokumen tertentu dengan cepat daripada sumber data tersuai tanpa memerlukan penyegerakan penuh, dan memasukkan data penstriman tanpa bergantung pada storan perantaraan. Pendekatan ini meminimumkan kelewatan dan menghapuskan overhed storan, yang membawa kepada akses data yang lebih pantas, mengurangkan kependaman dan meningkatkan prestasi aplikasi.
Dengan pengambilan penstriman melalui penyambung tersuai, Pangkalan Pengetahuan Amazon Bedrock boleh memproses data penstriman tanpa memerlukan sumber data perantaraan. Ini membolehkan data tersedia dalam masa hampir nyata. Keupayaan ini secara automatik membahagikan dan menukar data input kepada pembenaman menggunakan model Amazon Bedrock yang dipilih, menyimpan segala-galanya dalam pangkalan data vektor bahagian belakang. Proses yang diperkemas ini digunakan untuk kedua-dua pangkalan data baharu dan sedia ada, membolehkan anda menumpukan perhatian pada membina aplikasi AI tanpa beban mengaturkan pencungkilan data, penjanaan pembenaman atau penyediaan dan pengindeksan kedai vektor. Tambahan pula, keupayaan untuk memasukkan dokumen tertentu daripada sumber data tersuai mengurangkan kependaman dan menurunkan kos operasi dengan menghapuskan keperluan storan perantaraan.
Amazon Bedrock: Asas untuk AI Generatif
Amazon Bedrock ialah perkhidmatan terurus sepenuhnya yang menawarkan pelbagai pilihan model asas berprestasi tinggi (FM) daripada syarikat AI terkemuka seperti Anthropic, Cohere, Meta, Stability AI dan Amazon, boleh diakses melalui API bersatu. Perkhidmatan komprehensif ini menyediakan pelbagai keupayaan yang membolehkan anda membangunkan aplikasi AI generatif dengan ciri keselamatan, privasi dan AI yang bertanggungjawab yang teguh. Dengan Amazon Bedrock, anda boleh meneroka dan menilai FM peringkat teratas untuk kes penggunaan khusus anda, menyesuaikannya secara peribadi dengan data anda sendiri menggunakan teknik seperti penalaan halus dan RAG, dan membina ejen pintar yang boleh melaksanakan tugas menggunakan sistem dan sumber data perusahaan anda.
Pangkalan Pengetahuan Amazon Bedrock: Menambah AI dengan Pengetahuan
Pangkalan Pengetahuan Amazon Bedrock memperkasakan organisasi untuk membina saluran paip RAG terurus sepenuhnya yang memperkayakan respons AI dengan maklumat kontekstual yang diperoleh daripada sumber data peribadi. Ini membawa kepada interaksi yang lebih relevan, tepat dan diperibadikan. Dengan memanfaatkan Pangkalan Pengetahuan Amazon Bedrock, anda boleh mencipta aplikasi yang dipertingkatkan oleh konteks yang diperoleh daripada menyoal pangkalan pengetahuan. Ia mempercepatkan masa untuk memasarkan dengan mengabstraksikan kerumitan membina saluran paip dan menyediakan penyelesaian RAG di luar kotak. Ini mengurangkan masa pembangunan untuk aplikasi anda.
Penyambung Tersuai: Kunci untuk Pengambilan Penstriman Lancar
Pangkalan Pengetahuan Amazon Bedrock menyediakan sokongan untuk penyambung tersuai dan pengambilan data penstriman. Ini membolehkan anda menambah, mengemas kini dan memadam data dalam pangkalan pengetahuan anda melalui panggilan API langsung, yang menawarkan fleksibiliti dan kawalan yang belum pernah terjadi sebelumnya.
Membina Penganalisis Harga Saham AI Generatif dengan RAG: Gambaran Keseluruhan Penyelesaian
Dalam artikel ini, kami menunjukkan seni bina RAG menggunakan Pangkalan Pengetahuan Amazon Bedrock, penyambung tersuai dan topik yang dicipta dengan Amazon Managed Streaming untuk Apache Kafka (Amazon MSK) untuk membolehkan pengguna menganalisis arah aliran harga saham. Amazon MSK ialah perkhidmatan data penstriman yang memudahkan pengurusan infrastruktur dan operasi Apache Kafka, menjadikannya mudah untuk menjalankan aplikasi Apache Kafka pada Amazon Web Services (AWS). Penyelesaian ini membolehkan analisis masa nyata maklum balas pelanggan melalui pembenaman vektor dan model bahasa besar (LLM).
Komponen Seni Bina
Seni bina terdiri daripada dua komponen utama:
Aliran Kerja Data Penstriman Praproses:
- Fail .csv yang mengandungi data harga saham dimuat naik ke topik MSK, mensimulasikan input penstriman.
- Ini mencetuskan fungsi AWS Lambda.
- Fungsi ini memasukkan data yang digunakan ke dalam pangkalan pengetahuan.
- Pangkalan pengetahuan menggunakan model pembenaman untuk mengubah data menjadi indeks vektor.
- Indeks vektor disimpan dalam pangkalan data vektor dalam pangkalan pengetahuan.
Pelaksanaan Masa Jalan Semasa Pertanyaan Pengguna:
- Pengguna menyerahkan pertanyaan tentang harga saham.
- Model asas menggunakan pangkalan pengetahuan untuk mencari jawapan yang berkaitan.
- Pangkalan pengetahuan mengembalikan dokumen yang berkaitan.
- Pengguna menerima jawapan berdasarkan dokumen ini.
Reka Bentuk Pelaksanaan: Panduan Langkah demi Langkah
Pelaksanaan melibatkan langkah-langkah utama berikut:
- Persediaan Sumber Data: Konfigurasikan topik MSK untuk menstrim harga saham input.
- Persediaan Pangkalan Pengetahuan Amazon Bedrock: Cipta pangkalan pengetahuan dalam Amazon Bedrock menggunakan pilihan buat pantas kedai vektor baharu, yang secara automatik memperuntukkan dan menyediakan kedai vektor.
- Penggunaan dan Pengambilan Data: Apabila data tiba dalam topik MSK, cetuskan fungsi Lambda untuk mengekstrak indeks saham, harga dan maklumat cap masa dan suapan ke penyambung tersuai untuk Pangkalan Pengetahuan Amazon Bedrock.
- Uji Pangkalan Pengetahuan: Nilaikan analisis maklum balas pelanggan menggunakan pangkalan pengetahuan.
Panduan Penyelesaian: Membina Alat Analisis Stok Anda
Ikuti arahan dalam bahagian di bawah untuk membina alat analisis stok AI generatif menggunakan Pangkalan Pengetahuan Amazon Bedrock dan penyambung tersuai.
Mengkonfigurasi Seni Bina: Menggunakan Templat CloudFormation
Untuk melaksanakan seni bina ini, gunakan templat AWS CloudFormation daripada repositori GitHub ini dalam akaun AWS anda. Templat ini menggunakan komponen berikut:
- Awan persendirian maya (VPC), subnet, kumpulan keselamatan dan peranan AWS Identity and Access Management (IAM).
- Kluster MSK yang menganjurkan topik input Apache Kafka.
- Fungsi Lambda untuk menggunakan data topik Apache Kafka.
- Buku nota Amazon SageMaker Studio untuk persediaan dan pengaktifan.
Mencipta Topik Apache Kafka: Menyediakan Strim Data
Dalam kluster MSK yang dipracipta, broker sudah digunakan dan sedia untuk digunakan. Langkah seterusnya ialah menyambung ke kluster MSK dan mencipta topik strim ujian menggunakan contoh terminal SageMaker Studio. Ikuti arahan terperinci di Cipta topik dalam kluster Amazon MSK.
Langkah-langkah umum ialah:
- Muat turun dan pasang klien Apache Kafka terkini.
- Sambung ke contoh broker kluster MSK.
- Cipta topik strim ujian pada contoh broker.
Mencipta Pangkalan Pengetahuan dalam Amazon Bedrock: Menyambung ke Data Anda
Untuk mencipta pangkalan pengetahuan dalam Amazon Bedrock, ikuti langkah-langkah ini:
- Pada konsol Amazon Bedrock, di halaman navigasi kiri di bawah Alat pembina, pilih Pangkalan Pengetahuan.
- Untuk memulakan penciptaan pangkalan pengetahuan, pada menu juntai bawah Cipta, pilih Pangkalan Pengetahuan dengan kedai vektor, seperti yang ditunjukkan dalam tangkapan skrin berikut.
- Dalam anak tetingkap Sediakan butiran Pangkalan Pengetahuan, masukkan
BedrockStreamIngestKnowledgeBasesebagai Nama Pangkalan Pengetahuan. - Di bawah Kebenaran IAM, pilih pilihan lalai, Cipta dan gunakan peranan perkhidmatan baharu dan (pilihan) berikan Nama peranan perkhidmatan, seperti yang ditunjukkan dalam tangkapan skrin berikut.
- Pada anak tetingkap Pilih sumber data, pilih Tersuai sebagai sumber data tempat set data anda disimpan
- Pilih Seterusnya, seperti yang ditunjukkan dalam tangkapan skrin berikut
- Pada anak tetingkap Konfigurasikan sumber data, masukkan
BedrockStreamIngestKBCustomDSsebagai Nama sumber data. - Di bawah Strategi penghuraian, pilih Penghurai lalai Amazon Bedrock dan untuk Strategi penghuraian, pilih Pecahan lalai. Pilih Seterusnya, seperti yang ditunjukkan dalam tangkapan skrin berikut.
- Pada Pilih model pembenaman dan konfigurasikan anak tetingkap kedai vektor, untuk Model pembenaman, pilih Titan Text Embeddings v2. Untuk Jenis pembenaman, pilih Pembenaman vektor titik terapung. Untuk Dimensi vektor, pilih 1024, seperti yang ditunjukkan dalam tangkapan skrin berikut. Pastikan anda telah meminta dan menerima akses kepada FM yang dipilih dalam Amazon Bedrock. Untuk mengetahui lebih lanjut, rujuk Tambah atau alih keluar akses kepada model asas Amazon Bedrock.
- Pada anak tetingkap Pangkalan data vektor, pilih Cipta pantas kedai vektor baharu dan pilih pilihan baharu Amazon OpenSearch Tanpa Pelayan sebagai kedai vektor.
- Pada skrin seterusnya, semak pilihan anda. Untuk memuktamadkan persediaan, pilih Cipta.
- Dalam masa beberapa minit, konsol akan memaparkan pangkalan pengetahuan anda yang baru dicipta.
Mengkonfigurasi Pengguna Apache Kafka AWS Lambda: Mencetuskan Pengambilan Data
Sekarang, konfigurasikan fungsi Lambda pengguna untuk mencetuskan sebaik sahaja topik Apache Kafka input menerima data menggunakan panggilan API.
- Konfigurasikan ID Pangkalan Pengetahuan Amazon Bedrock yang dicipta secara manual dan ID Sumber Data tersuainya sebagai pemboleh ubah persekitaran dalam fungsi Lambda. Apabila anda menggunakan buku nota sampel, nama dan ID fungsi yang dirujuk akan diisi secara automatik.
Selaman Dalam: Mendedahkan Kuasa Pangkalan Pengetahuan Amazon Bedrock dengan Penyambung Tersuai untuk Pengambilan Data Masa Nyata
Penumpuan AI generatif dan strim data masa nyata membuka peluang yang belum pernah terjadi sebelumnya untuk perniagaan mendapatkan cerapan yang lebih mendalam, mengautomasikan proses kritikal dan menyampaikan pengalaman yang diperibadikan. Pangkalan Pengetahuan Amazon Bedrock, ditambah dengan penyambung tersuai, berada di barisan hadapan revolusi ini, membolehkan organisasi menyepadukan dengan lancar data penstriman daripada pelbagai sumber seperti Apache Kafka ke dalam aplikasi berkuasa AI mereka.
Keupayaan ini melampaui batasan kaedah pengambilan data tradisional, yang sering melibatkan proses pementasan, transformasi dan penyegerakan yang kompleks. Dengan penyambung tersuai, data boleh dimasukkan terus ke dalam Pangkalan Pengetahuan dalam masa hampir nyata, menghapuskan kependaman dan memperkasakan model AI untuk bertindak balas secara dinamik terhadap keadaan yang berubah-ubah.
Kes Penggunaan Merentas Industri
Faedah pendekatan ini adalah meluas dan terpakai kepada pelbagai industri.
- Perkhidmatan Kewangan: Bank dan firma pelaburan boleh memanfaatkan data pasaran masa nyata dan strim transaksi pelanggan untuk mengesan penipuan, memperibadikan syor pelaburan dan mengautomasikan strategi dagangan. Bayangkan sistem berkuasa AI yang menganalisis transaksi kad kredit dalam masa nyata, menandakan aktiviti yang mencurigakan dan mencegah pembelian palsu sebelum ia berlaku.
- Runcit: Perniagaan e-dagang boleh menganalisis data aliran klik dan suapan media sosial untuk memahami tingkah laku pelanggan, memperibadikan syor produk dan mengoptimumkan strategi harga. Ini membolehkan pelarasan dinamik kepada kempen pemasaran dan pengurusan inventori berdasarkan permintaan masa nyata.
- Pembuatan: Pengilang boleh menggunakan data sensor IoT daripada peralatan kilang untuk meramalkan keperluan penyelenggaraan, mengoptimumkan proses pengeluaran dan meningkatkan kualiti produk. Contohnya, sistem AI boleh menganalisis data getaran daripada mesin untuk mengenal pasti potensi kegagalan sebelum ia membawa kepada masa henti yang mahal.
- Penjagaan Kesihatan: Hospital boleh menganalisis strim data pesakit untuk mengesan tanda-tanda awal penyakit, memperibadikan pelan rawatan dan meningkatkan hasil pesakit. Pemantauan masa nyata tanda vital boleh memberi amaran kepada kakitangan perubatan tentang perubahan kritikal dalam keadaan pesakit, membolehkan intervensi yang lebih pantas dan penjagaan yang lebih baik.
Faedah Utama: Melangkaui Data Masa Nyata
Kelebihan menggunakan Pangkalan Pengetahuan Amazon Bedrock dengan penyambung tersuai melangkaui hanya memasukkan data dalam masa nyata.
- Kependaman Dikurangkan: Dengan menghapuskan keperluan untuk storan perantaraan dan proses penyegerakan, organisasi boleh mengurangkan dengan ketara masa yang diperlukan untuk menyediakan data kepada model AI. Ini membawa kepada masa tindak balas yang lebih pantas dan aplikasi yang lebih dinamik.
- Kos Operasi Lebih Rendah: Penyambung tersuai mengurangkan kos operasi dengan menghapuskan keperluan untuk mengurus dan menyelenggara saluran paip data yang kompleks. Ini membebaskan sumber yang berharga yang boleh dilaburkan dalam bidang perniagaan yang lain.
- Kualiti Data yang Dipertingkatkan: Dengan memasukkan data terus daripada sumber, organisasi boleh memastikan bahawa model AI mereka berfungsi dengan maklumat yang paling tepat dan terkini. Ini membawa kepada cerapan yang lebih baik dan hasil yang lebih dipercayai.
- Fleksibiliti yang Ditingkatkan: Penyambung tersuai membolehkan organisasi menyambung kepada pelbagai sumber data, tanpa mengira format atau lokasi mereka. Ini memberikan fleksibiliti untuk memanfaatkan semua aset data mereka, tanpa mengira tempat ia disimpan.
- Pembangunan Dipermudahkan: Pangkalan Pengetahuan Amazon Bedrock menyediakan pengalaman pembangunan yang dipermudahkan dengan mengabstraksikan kerumitan pengambilan dan pengurusan data. Ini membolehkan pembangun menumpukan perhatian pada membina aplikasi AI yang memberikan nilai perniagaan sebenar.
Selaman Lebih Dalam: Penyambung Tersuai Di Bawah Tudung
Untuk menghargai sepenuhnya kuasa penyambung tersuai, adalah penting untuk memahami cara ia berfungsi. Penyambung tersuai pada dasarnya ialah sekeping kod yang membolehkan Pangkalan Pengetahuan Amazon Bedrock menyambung ke sumber data tertentu. Kod ini bertanggungjawab untuk mengekstrak data daripada sumber, mengubahnya menjadi format yang serasi dengan Pangkalan Pengetahuan dan memasukkannya ke dalam sistem.
- Penyepaduan API: Penyambung tersuai biasanya berinteraksi dengan sumber data melalui API. API ini menyediakan cara yang diseragamkan untuk mengakses data dan melakukan operasi.
- Transformasi Data: Transformasi data ialah langkah kritikal dalam proses. Penyambung tersuai sering perlu mengubah data daripada format aslinya kepada format yang serasi dengan Pangkalan Pengetahuan. Ini mungkin melibatkan penukaran jenis data, membersihkan data dan memperkaya data dengan maklumat tambahan.
- Pengambilan Penstriman: Kunci kepada pengambilan data masa nyata ialah keupayaan untuk menstrim data secara berterusan. Penyambung tersuai sering menggunakan API penstriman untuk menerima data apabila ia dijana, membenarkan kemas kini hampir masa nyata kepada Pangkalan Pengetahuan.
- Keselamatan: Keselamatan ialah kebimbangan utama apabila menyambung ke sumber data. Penyambung tersuai perlu direka bentuk dengan mengambil kira keselamatan, memastikan data dilindungi semasa transit dan rehat.
Kesimpulan: Menerima Masa Depan AI dengan Data Masa Nyata
Pangkalan Pengetahuan Amazon Bedrock dengan penyambung tersuai mewakili kemajuan yang ketara dalam bidang AI. Dengan membolehkan organisasi menyepadukan dengan lancar strim data masa nyata ke dalam aplikasi AI mereka, teknologi ini membuka banyak peluang baharu untuk inovasi dan pertumbuhan perniagaan. Memandangkan AI terus berkembang, keupayaan untuk memanfaatkan data masa nyata akan menjadi semakin kritikal. Pangkalan Pengetahuan Amazon Bedrock berada pada kedudukan untuk menjadi pemboleh utama arah aliran ini, memperkasakan organisasi untuk membina penyelesaian AI yang lebih dinamik, responsif dan pintar berbanding sebelum ini.