Echtzeit-Einblicke mit Bedrock Knowledge Bases | de

Echtzeit-Einblicke freisetzen: Streaming-Daten von Kafka zu Amazon Bedrock Knowledge Bases über benutzerdefinierte Konnektoren

Die Landschaft der künstlichen Intelligenz entwickelt sich rasant, wobei Retrieval Augmented Generation (RAG) als zentrale Technik hervortritt. RAG ermöglicht es KI-Systemen, fundiertere und kontextbezogen relevantere Antworten zu liefern, indem es die Fähigkeiten generativer KI-Modelle nahtlos mit externen Datenquellen integriert. Dieser Ansatz überwindet die Einschränkungen, sich ausschließlich auf die vorhandene Wissensbasis eines Modells zu verlassen. In diesem Artikel befassen wir uns mit dem transformativen Potenzial benutzerdefinierter Datenkonnektoren innerhalb von Amazon Bedrock Knowledge Bases und zeigen, wie sie die Erstellung von RAG-Workflows optimieren, die benutzerdefinierte Eingabedaten nutzen. Diese Funktionalität ermöglicht es Amazon Bedrock Knowledge Bases, Streaming-Daten aufzunehmen, sodass Entwickler Informationen innerhalb ihrer Wissensbasen durch direkte API-Aufrufe dynamisch hinzufügen, aktualisieren oder löschen können.

Betrachten Sie die unzähligen Anwendungen, bei denen die Aufnahme von Echtzeitdaten von entscheidender Bedeutung ist: Analyse von Clickstream-Mustern, Verarbeitung von Kreditkartentransaktionen, Interpretation von Daten von Internet of Things (IoT)-Sensoren, Durchführung von Protokollanalysen und Überwachung von Rohstoffpreisen. In solchen Szenarien spielen sowohl aktuelle Daten als auch historische Trends eine entscheidende Rolle bei fundierten Entscheidungen. Traditionell erforderte die Einbeziehung solch kritischer Dateneingaben, dass die Daten in einer unterstützten Datenquelle bereitgestellt und anschließend ein Datensynchronisierungsauftrag initiiert oder geplant wurde. Die Dauer dieses Prozesses variierte je nach Qualität und Volumen der Daten. Mit benutzerdefinierten Datenkonnektoren können Unternehmen jedoch schnell bestimmte Dokumente aus benutzerdefinierten Datenquellen aufnehmen, ohne dass eine vollständige Synchronisierung erforderlich ist, und Streaming-Daten aufnehmen, ohne auf Zwischenspeicher angewiesen zu sein. Dieser Ansatz minimiert Verzögerungen und eliminiert Speicher-Overhead, was zu einem schnelleren Datenzugriff, reduzierter Latenz und verbesserter Anwendungsleistung führt.

Mit der Streaming-Aufnahme über benutzerdefinierte Konnektoren können Amazon Bedrock Knowledge Bases Streaming-Daten verarbeiten, ohne dass zwischengeschaltete Datenquellen erforderlich sind. Dadurch werden die Daten nahezu in Echtzeit verfügbar. Diese Funktion segmentiert und konvertiert Eingabedaten automatisch mithilfe des ausgewählten Amazon Bedrock-Modells in Einbettungen und speichert alles in der Backend-Vektordatenbank. Dieser optimierte Prozess gilt sowohl für neue als auch für bestehende Datenbanken, sodass Sie sich auf die Entwicklung von KI-Anwendungen konzentrieren können, ohne sich mit der Orchestrierung von Datenaufteilung, Einbettungsgenerierung oder Vektorspeicherbereitstellung und -indizierung belasten zu müssen. Darüber hinaus reduziert die Möglichkeit, bestimmte Dokumente aus benutzerdefinierten Datenquellen aufzunehmen, die Latenz und senkt die Betriebskosten, indem Zwischenspeicheranforderungen entfallen.

Amazon Bedrock: Eine Grundlage für generative KI

Amazon Bedrock ist ein vollständig verwalteter Dienst, der eine vielfältige Auswahl an hochleistungsfähigen Basismodellen (FMs) von führenden KI-Unternehmen wie Anthropic, Cohere, Meta, Stability AI und Amazon bietet, die über eine einheitliche API zugänglich sind. Dieser umfassende Service bietet eine breite Palette von Funktionen, mit denen Sie generative KI-Anwendungen mit robuster Sicherheit, Datenschutz und verantwortungsvollen KI-Funktionen entwickeln können. Mit Amazon Bedrock können Sie erstklassige FMs für Ihren spezifischen Anwendungsfall untersuchen und bewerten, sie mit Ihren eigenen Daten mithilfe von Techniken wie Feinabstimmung und RAG privat anpassen und intelligente Agenten erstellen, die Aufgaben mithilfe Ihrer Unternehmenssysteme und Datenquellen ausführen können.

Amazon Bedrock Knowledge Bases: KI mit Wissen erweitern

Amazon Bedrock Knowledge Bases ermöglichen es Organisationen, vollständig verwaltete RAG-Pipelines zu erstellen, die KI-Antworten mit Kontextinformationen anreichern, die aus privaten Datenquellen stammen. Dies führt zu relevanteren, genaueren und personalisierten Interaktionen. Durch die Nutzung von Amazon Bedrock Knowledge Bases können Sie Anwendungen erstellen, die durch den Kontext verbessert werden, der durch das Abfragen einer Wissensbasis gewonnen wird. Es beschleunigt die Markteinführungszeit, indem es die Komplexität der Erstellung von Pipelines abstrahiert und eine sofort einsatzbereite RAG-Lösung bereitstellt. Dies reduziert die Entwicklungszeit für Ihre Anwendungen.

Benutzerdefinierte Konnektoren: Der Schlüssel zur nahtlosen Streaming-Aufnahme

Amazon Bedrock Knowledge Bases bietet Unterstützung für benutzerdefinierte Konnektoren und Streaming-Datenaufnahme. Auf diese Weise können Sie Daten in Ihrer Wissensbasis durch direkte API-Aufrufe hinzufügen, aktualisieren und löschen, was beispiellose Flexibilität und Kontrolle bietet.

Erstellen eines generativen KI-Aktienkursanalysators mit RAG: Ein Lösungsüberblick

In diesem Artikel demonstrieren wir eine RAG-Architektur unter Verwendung von Amazon Bedrock Knowledge Bases, benutzerdefinierten Konnektoren und Themen, die mit Amazon Managed Streaming for Apache Kafka (Amazon MSK) erstellt wurden, um Benutzern die Analyse von Aktienkurstrends zu ermöglichen. Amazon MSK ist ein Streaming-Datendienst, der die Verwaltung der Apache Kafka-Infrastruktur und -Operationen vereinfacht und es einfach macht, Apache Kafka-Anwendungen auf Amazon Web Services (AWS) auszuführen. Die Lösung ermöglicht die Echtzeitanalyse von Kundenfeedback über Vektoreinbettungen und große Sprachmodelle (LLMs).

Architektonische Komponenten

Die Architektur besteht aus zwei Hauptkomponenten:

Workflow zur Vorverarbeitung von Streaming-Daten:
1. Eine .csv-Datei mit Aktienkursdaten wird in ein MSK-Thema hochgeladen, um Streaming-Eingaben zu simulieren.
2. Dies löst eine AWS Lambda-Funktion aus.
3. Die Funktion nimmt die verbrauchten Daten in eine Wissensbasis auf.
4. Die Wissensbasis verwendet ein Einbettungsmodell, um die Daten in einen Vektorindex umzuwandeln.
5. Der Vektorindex wird in einer Vektordatenbank innerhalb der Wissensbasis gespeichert.
Laufzeitausführung während Benutzerabfragen:
1. Benutzer senden Abfragen zu Aktienkursen.
2. Das Basismodell verwendet die Wissensbasis, um relevante Antworten zu finden.
3. Die Wissensbasis gibt die relevanten Dokumente zurück.
4. Der Benutzer erhält eine Antwort basierend auf diesen Dokumenten.

Implementierungsdesign: Eine Schritt-für-Schritt-Anleitung

Die Implementierung umfasst die folgenden wichtigen Schritte:

Datenquellen-Setup: Konfigurieren Sie ein MSK-Thema, um Aktienkurse als Eingabe zu streamen.
Amazon Bedrock Knowledge Bases Setup: Erstellen Sie eine Wissensbasis in Amazon Bedrock unter Verwendung der Option zum schnellen Erstellen eines neuen Vektorspeichers, die den Vektorspeicher automatisch bereitstellt und einrichtet.
Datenverbrauch und -aufnahme: Immer wenn Daten im MSK-Thema eintreffen, lösen Sie eine Lambda-Funktion aus, um Aktienindizes, Preise und Zeitstempelinformationen zu extrahieren und in den benutzerdefinierten Konnektor für Amazon Bedrock Knowledge Bases einzuspeisen.
Testen der Wissensbasis: Bewerten Sie die Kundenfeedbackanalyse mithilfe der Wissensbasis.

Lösungswegweiser: Erstellen Sie Ihr Aktienanalysetool

Befolgen Sie die Anweisungen in den folgenden Abschnitten, um ein generatives KI-Aktienanalysetool mithilfe von Amazon Bedrock Knowledge Bases und benutzerdefinierten Konnektoren zu erstellen.

Konfigurieren der Architektur: Bereitstellen der CloudFormation-Vorlage

Um diese Architektur zu implementieren, stellen Sie die AWS CloudFormation-Vorlage aus diesem GitHub-Repository in Ihrem AWS-Konto bereit. Diese Vorlage stellt die folgenden Komponenten bereit:

Virtuelle private Clouds (VPCs), Subnetze, Sicherheitsgruppen und AWS Identity and Access Management (IAM)-Rollen.
Ein MSK-Cluster, der ein Apache Kafka-Eingabethema hostet.
Eine Lambda-Funktion zum Verarbeiten von Apache Kafka-Themendaten.
Ein Amazon SageMaker Studio-Notebook für Einrichtung und Aktivierung.

Erstellen eines Apache Kafka-Themas: Einrichten des Datenstroms

Im vorkonfigurierten MSK-Cluster sind die Broker bereits bereitgestellt und einsatzbereit. Der nächste Schritt besteht darin, sich mit dem MSK-Cluster zu verbinden und das Test-Stream-Thema mithilfe einer SageMaker Studio-Terminalinstanz zu erstellen. Befolgen Sie die detaillierten Anweisungen unter Erstellen eines Themas im Amazon MSK-Cluster.

Die allgemeinen Schritte sind:

Laden Sie den neuesten Apache Kafka-Client herunter und installieren Sie ihn.
Verbinden Sie sich mit der MSK-Cluster-Brokerinstanz.
Erstellen Sie das Test-Stream-Thema auf der Brokerinstanz.

Erstellen einer Wissensbasis in Amazon Bedrock: Verbinden mit Ihren Daten

Um eine Wissensbasis in Amazon Bedrock zu erstellen, führen Sie die folgenden Schritte aus:

Wählen Sie in der Amazon Bedrock-Konsole im linken Navigationsbereich unter Builder-Tools die Option Knowledge Bases.
Um die Erstellung der Wissensbasis zu starten, wählen Sie im Dropdown-Menü Erstellen die Option Wissensbasis mit Vektorspeicher, wie im folgenden Screenshot gezeigt.
Geben Sie im Bereich Details zur Wissensbasis angeben BedrockStreamIngestKnowledgeBase als Name der Wissensbasis ein.
Wählen Sie unter IAM-Berechtigungen die Standardoption Neue Servicerolle erstellen und verwenden und geben Sie (optional) einen Servicerollennamen an, wie im folgenden Screenshot gezeigt.
Wählen Sie im Bereich Datenquelle auswählen die Option Benutzerdefiniert als Datenquelle aus, in der Ihr Datensatz gespeichert ist.
Wählen Sie Weiter, wie im folgenden Screenshot gezeigt.
Geben Sie im Bereich Datenquelle konfigurieren BedrockStreamIngestKBCustomDS als Name der Datenquelle ein.
Wählen Sie unter Parsing-Strategie die Option Amazon Bedrock-Standardparser und für Chunking-Strategie die Option Standard-Chunking. Wählen Sie Weiter, wie im folgenden Screenshot gezeigt.
Wählen Sie im Bereich Einbettungsmodell auswählen und Vektorspeicher konfigurieren für Einbettungsmodell die Option Titan Text Embeddings v2. Wählen Sie für Einbettungstyp die Option Gleitkomma-Vektoreinbettungen. Wählen Sie für Vektordimensionen die Option 1024, wie im folgenden Screenshot gezeigt. Stellen Sie sicher, dass Sie den Zugriff auf das ausgewählte FM in Amazon Bedrock beantragt und erhalten haben. Weitere Informationen finden Sie unter Hinzufügen oder Entfernen des Zugriffs auf Amazon Bedrock Foundation Models.
Wählen Sie im Bereich Vektordatenbank die Option Schnell einen neuen Vektorspeicher erstellen und wählen Sie die neue Option Amazon OpenSearch Serverless als Vektorspeicher aus.
Überprüfen Sie auf dem nächsten Bildschirm Ihre Auswahl. Um die Einrichtung abzuschließen, wählen Sie Erstellen.
Innerhalb weniger Minuten zeigt die Konsole Ihre neu erstellte Wissensbasis an.

Konfigurieren des AWS Lambda Apache Kafka Consumer: Auslösen der Datenaufnahme

Konfigurieren Sie nun die Consumer-Lambda-Funktion so, dass sie ausgelöst wird, sobald das Apache Kafka-Eingabethema Daten per API-Aufruf empfängt.

Konfigurieren Sie die manuell erstellte Amazon Bedrock Knowledge Base-ID und ihre benutzerdefinierte Datenquellen-ID als Umgebungsvariablen innerhalb der Lambda-Funktion. Wenn Sie das Beispiel-Notebook verwenden, werden die referenzierten Funktionsnamen und IDs automatisch ausgefüllt.

Tiefes Eintauchen: Enthüllung der Leistungsfähigkeit von Amazon Bedrock Knowledge Bases mit benutzerdefinierten Konnektoren für die Echtzeit-Datenaufnahme

Die Konvergenz von generativer KI und Echtzeit-Datenströmen eröffnet Unternehmen beispiellose Möglichkeiten, tiefere Einblicke zu gewinnen, kritische Prozesse zu automatisieren und personalisierte Erlebnisse zu bieten. Amazon Bedrock Knowledge Bases ist zusammen mit benutzerdefinierten Konnektoren Vorreiter dieser Revolution und ermöglicht es Unternehmen, Streaming-Daten aus verschiedenen Quellen wie Apache Kafka nahtlos in ihre KI-gestützten Anwendungen zu integrieren.

Diese Funktion überwindet die Einschränkungen herkömmlicher Datenaufnahmemethoden, die oft komplexe Bereitstellungs-, Transformations- und Synchronisierungsprozesse umfassen. Mit benutzerdefinierten Konnektoren können Daten nahezu in Echtzeit direkt in die Wissensbasis aufgenommen werden, wodurch die Latenz eliminiert und KI-Modelle in die Lage versetzt werden, dynamisch auf sich ändernde Bedingungen zu reagieren.

Anwendungsfälle in verschiedenen Branchen

Die Vorteile dieses Ansatzes sind weitreichend und auf eine Vielzahl von Branchen anwendbar.

Finanzdienstleistungen: Banken und Investmentfirmen können Echtzeit-Marktdaten und KundenTransaktionsströme nutzen, um Betrug zu erkennen, Anlageempfehlungen zu personalisieren und Handelsstrategien zu automatisieren. Stellen Sie sich ein KI-gestütztes System vor, das Kreditkartentransaktionen in Echtzeit analysiert, verdächtige Aktivitäten kennzeichnet und betrügerische Käufe verhindert, bevor sie auftreten.
Einzelhandel: E-Commerce-Unternehmen können Clickstream-Daten und Social-Media-Feeds analysieren, um das Kundenverhalten zu verstehen, Produktempfehlungen zu personalisieren und Preisstrategien zu optimieren. Dies ermöglicht dynamische Anpassungen von Marketingkampagnen und Bestandsmanagement basierend auf der Echtzeitnachfrage.
Fertigung: Hersteller können IoT-Sensordaten von Fabrikausrüstungen verwenden, um Wartungsanforderungen vorherzusagen, Produktionsprozesse zu optimieren und die Produktqualität zu verbessern. Beispielsweise kann ein KI-System Vibrationsdaten von einer Maschine analysieren, um potenzielle Ausfälle zu erkennen, bevor sie zu kostspieligen Ausfallzeiten führen.
Gesundheitswesen: Krankenhäuser können PatientenDatenströme analysieren, um frühe Anzeichen von Krankheiten zu erkennen, Behandlungspläne zu personalisieren und die Patientenergebnisse zu verbessern. Die Echtzeitüberwachung von Vitalfunktionen kann medizinisches Personal auf kritische Veränderungen im Zustand eines Patienten aufmerksam machen und so ein schnelleres Eingreifen und eine verbesserte Versorgung ermöglichen.

Hauptvorteile: Über die Echtzeitdaten hinaus

Die Vorteile der Verwendung von Amazon Bedrock Knowledge Bases mit benutzerdefinierten Konnektoren gehen über die einfache Aufnahme von Daten in Echtzeit hinaus.

Reduzierte Latenz: Durch die Eliminierung der Notwendigkeit für Zwischenspeicher- und Synchronisierungsprozesse können Unternehmen die Zeit, die benötigt wird, um Daten für KI-Modelle verfügbar zu machen, erheblich reduzieren. Dies führt zu schnelleren Reaktionszeiten und dynamischeren Anwendungen.
Niedrigere Betriebskosten: Benutzerdefinierte Konnektoren reduzieren die Betriebskosten, indem sie die Notwendigkeit eliminieren, komplexe Datenpipelines zu verwalten und zu warten. Dies setzt wertvolle Ressourcen frei, die in andere Bereiche des Unternehmens investiert werden können.
Verbesserte Datenqualität: Durch die Aufnahme von Daten direkt aus der Quelle können Unternehmen sicherstellen, dass ihre KI-Modelle mit den genauesten und aktuellsten Informationen arbeiten. Dies führt zu besseren Einblicken und zuverlässigeren Ergebnissen.
Erhöhte Flexibilität: Benutzerdefinierte Konnektoren ermöglichen es Unternehmen, sich mit einer Vielzahl von Datenquellen zu verbinden, unabhängig von deren Format oder Standort. Dies bietet die Flexibilität, alle ihre Datenressourcen zu nutzen, unabhängig davon, wo sie gespeichert sind.
Vereinfachte Entwicklung: Amazon Bedrock Knowledge Bases bieten eine vereinfachte Entwicklungserfahrung, indem sie die Komplexität der Datenaufnahme und -verwaltung abstrahieren. Dies ermöglicht es Entwicklern, sich auf die Erstellung von KI-Anwendungen zu konzentrieren, die einen echten Geschäftswert liefern.

Tieferer Einblick: Benutzerdefinierte Konnektoren unter der Haube

Um die Leistungsfähigkeit benutzerdefinierter Konnektoren voll auszuschöpfen, ist es wichtig zu verstehen, wie sie funktionieren. Ein benutzerdefinierter Konnektor ist im Wesentlichen ein Codeabschnitt, der es Amazon Bedrock Knowledge Bases ermöglicht, sich mit einer bestimmten Datenquelle zu verbinden. Dieser Code ist verantwortlich für das Extrahieren von Daten aus der Quelle, das Transformieren in ein Format, das mit der Wissensbasis kompatibel ist, und das Aufnehmen in das System.

API-Integration: Benutzerdefinierte Konnektoren interagieren typischerweise über APIs mit Datenquellen. Diese APIs bieten eine standardisierte Möglichkeit, auf Daten zuzugreifen und Operationen durchzuführen.
Datentransformation: Die Datentransformation ist ein kritischer Schritt im Prozess. Benutzerdefinierte Konnektoren müssen Daten oft von ihrem nativen Format in ein Format transformieren, das mit der Wissensbasis kompatibel ist. Dies kann das Konvertieren von Datentypen, das Bereinigen von Daten und das Anreichern von Daten mit zusätzlichen Informationen umfassen.
Streaming-Aufnahme: Der Schlüssel zur Echtzeit-Datenaufnahme ist die Fähigkeit, Daten kontinuierlich zu streamen. Benutzerdefinierte Konnektoren verwenden oft Streaming-APIs, um Daten zu empfangen, sobald sie generiert werden, was nahezu Echtzeit-Updates der Wissensbasis ermöglicht.
Sicherheit: Sicherheit ist ein vorrangiges Anliegen beim Verbinden mit Datenquellen. Benutzerdefinierte Konnektoren müssen unter Berücksichtigung der Sicherheit entworfen werden, um sicherzustellen, dass Daten sowohl während der Übertragung als auch im Ruhezustand geschützt sind.

Fazit: Die Zukunft der KI mit Echtzeitdaten annehmen

Amazon Bedrock Knowledge Bases mit benutzerdefinierten Konnektoren stellt einen bedeutenden Fortschritt im Bereich der KI dar. Indem diese Technologie es Unternehmen ermöglicht, Echtzeit-Datenströme nahtlos in ihre KI-Anwendungen zu integrieren, eröffnet sie eine Fülle neuer Möglichkeiten für Innovation und Geschäftswachstum. Da sich KI ständig weiterentwickelt, wird die Fähigkeit, Echtzeitdaten zu nutzen, immer wichtiger. Amazon Bedrock Knowledge Bases ist positioniert, ein wichtiger Enabler dieses Trends zu sein und Unternehmen in die Lage zu versetzen, KI-Lösungen zu entwickeln, die dynamischer, reaktionsfähiger und intelligenter sind als je zuvor.

aktualisiert am 2025-04-20

# LLM # RAG # Amazon