실시간 인사이트: Kafka에서 Bedrock으로 스트리밍 데이터 전송

실시간 인사이트 공개: 사용자 지정 커넥터를 통해 Kafka에서 Amazon Bedrock Knowledge Bases로 스트리밍 데이터 전송

인공 지능의 환경은 빠르게 진화하고 있으며, 검색 증강 생성(RAG)이 중요한 기술로 떠오르고 있습니다. RAG는 생성적 AI 모델의 기능을 외부 데이터 소스와 원활하게 통합하여 AI 시스템이 보다 정보에 입각하고 상황에 맞는 응답을 제공할 수 있도록 지원합니다. 이 접근 방식은 모델의 기존 지식 기반에만 의존하는 제한을 초월합니다. 이 기사에서는 Amazon Bedrock Knowledge Bases 내에서 사용자 지정 데이터 커넥터의 혁신적인 잠재력에 대해 자세히 살펴보고 사용자 지정 입력 데이터를 활용하는 RAG 워크플로우의 생성을 간소화하는 방법을 보여줍니다. 이 기능을 통해 Amazon Bedrock Knowledge Bases는 스트리밍 데이터를 수집하여 개발자가 직접 API 호출을 통해 지식 기반 내에서 정보를 동적으로 추가, 업데이트 또는 삭제할 수 있습니다.

클릭스트림 패턴 분석, 신용 카드 거래 처리, 사물 인터넷(IoT) 센서의 데이터 해석, 로그 분석 수행, 상품 가격 모니터링 등 실시간 데이터 수집이 중요한 수많은 애플리케이션을 고려해 보세요. 이러한 시나리오에서는 현재 데이터와 과거 추세 모두 정보에 입각한 의사 결정에 중요한 역할을 합니다. 기존에는 이러한 중요한 데이터 입력을 통합하려면 지원되는 데이터 소스에 데이터를 스테이징한 다음 데이터 동기화 작업을 시작하거나 예약해야 했습니다. 이 프로세스의 기간은 데이터의 품질과 양에 따라 달라집니다. 그러나 사용자 지정 데이터 커넥터를 사용하면 조직은 전체 동기화 없이 사용자 지정 데이터 소스에서 특정 문서를 신속하게 수집하고 중간 저장소에 의존하지 않고 스트리밍 데이터를 수집할 수 있습니다. 이 접근 방식은 지연을 최소화하고 스토리지 오버헤드를 제거하여 데이터 액세스 속도를 높이고 대기 시간을 줄이며 애플리케이션 성능을 향상시킵니다.

사용자 지정 커넥터를 통한 스트리밍 수집을 통해 Amazon Bedrock Knowledge Bases는 중간 데이터 소스 없이 스트리밍 데이터를 처리할 수 있습니다. 이를 통해 데이터는 거의 실시간으로 사용할 수 있게 됩니다. 이 기능은 선택한 Amazon Bedrock 모델을 사용하여 입력 데이터를 자동으로 분할하고 임베딩으로 변환하여 모든 것을 백엔드 벡터 데이터베이스에 저장합니다. 이 간소화된 프로세스는 신규 및 기존 데이터베이스 모두에 적용되므로 데이터 청킹, 임베딩 생성 또는 벡터 저장소 프로비저닝 및 인덱싱을 조정하는 부담 없이 AI 애플리케이션 구축에 집중할 수 있습니다. 또한 사용자 지정 데이터 소스에서 특정 문서를 수집하는 기능은 중간 스토리지 요구 사항을 제거하여 대기 시간을 줄이고 운영 비용을 낮춥니다.

Amazon Bedrock: 생성적 AI의 기반

Amazon Bedrock은 Anthropic, Cohere, Meta, Stability AI 및 Amazon과 같은 주요 AI 회사의 다양한 고성능 파운데이션 모델(FM)을 통합 API를 통해 제공하는 완전 관리형 서비스입니다. 이 포괄적인 서비스는 강력한 보안, 개인 정보 보호 및 책임감 있는 AI 기능을 통해 생성적 AI 애플리케이션을 개발할 수 있도록 지원하는 광범위한 기능을 제공합니다. Amazon Bedrock을 사용하면 특정 사용 사례에 맞는 최고 수준의 FM을 탐색하고 평가하고, 미세 조정 및 RAG와 같은 기술을 사용하여 자신의 데이터로 비공개로 사용자 정의하고, 엔터프라이즈 시스템 및 데이터 소스를 사용하여 작업을 실행할 수 있는 지능형 에이전트를 구성할 수 있습니다.

Amazon Bedrock Knowledge Bases: 지식으로 AI 강화

Amazon Bedrock Knowledge Bases는 조직이 개인 데이터 소스에서 파생된 컨텍스트 정보로 AI 응답을 풍부하게 하는 완전 관리형 RAG 파이프라인을 구축할 수 있도록 지원합니다. 이는 보다 관련성이 높고 정확하며 개인화된 상호 작용으로 이어집니다. Amazon Bedrock Knowledge Bases를 활용하면 지식 기반을 쿼리하여 얻은 컨텍스트로 향상된 애플리케이션을 만들 수 있습니다. 파이프라인 구축의 복잡성을 추상화하고 즉시 사용 가능한 RAG 솔루션을 제공하여 시장 출시 시간을 가속화합니다. 이렇게 하면 애플리케이션 개발 시간이 단축됩니다.

사용자 지정 커넥터: 원활한 스트리밍 수집의 핵심

Amazon Bedrock Knowledge Bases는 사용자 지정 커넥터 및 스트리밍 데이터 수집을 지원합니다. 이를 통해 직접 API 호출을 통해 지식 기반에서 데이터를 추가, 업데이트 및 삭제할 수 있어 전례 없는 유연성과 제어 기능을 제공합니다.

RAG를 사용한 생성적 AI 주가 분석기 구축: 솔루션 개요

이 기사에서는 Amazon Bedrock Knowledge Bases, 사용자 지정 커넥터 및 Amazon Managed Streaming for Apache Kafka(Amazon MSK)로 생성된 주제를 사용하여 RAG 아키텍처를 데모하여 사용자가 주가 추세를 분석할 수 있도록 합니다. Amazon MSK는 Apache Kafka 인프라 및 운영 관리를 간소화하여 Amazon Web Services(AWS)에서 Apache Kafka 애플리케이션을 쉽게 실행할 수 있도록 지원하는 스트리밍 데이터 서비스입니다. 이 솔루션을 사용하면 벡터 임베딩 및 대규모 언어 모델(LLM)을 통해 고객 피드백을 실시간으로 분석할 수 있습니다.

아키텍처 구성 요소

아키텍처는 다음의 두 가지 주요 구성 요소로 구성됩니다.

• 스트리밍 데이터 전처리 워크플로우:

  1. 주가 데이터가 포함된 .csv 파일이 스트리밍 입력을 시뮬레이션하는 MSK 주제에 업로드됩니다.
  2. 그러면 AWS Lambda 함수가 트리거됩니다.
  3. 이 함수는 사용된 데이터를 지식 기반으로 수집합니다.
  4. 지식 기반은 임베딩 모델을 사용하여 데이터를 벡터 인덱스로 변환합니다.
  5. 벡터 인덱스는 지식 기반 내의 벡터 데이터베이스에 저장됩니다.

• 사용자 쿼리 중 런타임 실행:

  1. 사용자는 주가에 대한 쿼리를 제출합니다.
  2. 파운데이션 모델은 지식 기반을 사용하여 관련 답변을 찾습니다.
  3. 지식 기반은 관련 문서를 반환합니다.
  4. 사용자는 이러한 문서를 기반으로 답변을 받습니다.

구현 설계: 단계별 가이드

구현에는 다음과 같은 주요 단계가 포함됩니다.

1. 데이터 소스 설정: 입력 주가를 스트리밍하기 위해 MSK 주제를 구성합니다.
2. Amazon Bedrock Knowledge Bases 설정: 벡터 저장소를 자동으로 프로비저닝하고 설정하는 빠른 벡터 저장소 새로 만들기 옵션을 사용하여 Amazon Bedrock에 지식 기반을 만듭니다.
3. 데이터 소비 및 수집: 데이터가 MSK 주제에 도착할 때마다 Lambda 함수를 트리거하여 주가 지수, 가격 및 타임스탬프 정보를 추출하고 Amazon Bedrock Knowledge Bases의 사용자 지정 커넥터로 공급합니다.
4. 지식 기반 테스트: 지식 기반을 사용하여 고객 피드백 분석을 평가합니다.

솔루션 연습: 주가 분석 도구 구축

아래 섹션의 지침에 따라 Amazon Bedrock Knowledge Bases 및 사용자 지정 커넥터를 사용하여 생성적 AI 주가 분석 도구를 구축하십시오.

아키텍처 구성: CloudFormation 템플릿 배포

이 아키텍처를 구현하려면 AWS 계정에서 이 GitHub 리포지토리에서 AWS CloudFormation 템플릿을 배포합니다. 이 템플릿은 다음 구성 요소를 배포합니다.

1. 가상 프라이빗 클라우드(VPC), 서브넷, 보안 그룹 및 AWS Identity and Access Management(IAM) 역할.
2. Apache Kafka 입력 주제를 호스팅하는 MSK 클러스터.
3. Apache Kafka 주제 데이터를 사용하는 Lambda 함수.
4. 설정 및 활성화를 위한 Amazon SageMaker Studio 노트북.

Apache Kafka 주제 만들기: 데이터 스트림 설정

미리 생성된 MSK 클러스터에서 브로커가 이미 배포되어 사용할 준비가 되었습니다. 다음 단계는 SageMaker Studio 터미널 인스턴스를 사용하여 MSK 클러스터에 연결하고 테스트 스트림 주제를 만드는 것입니다. Amazon MSK 클러스터에서 주제 만들기의 자세한 지침을 따르십시오.

일반적인 단계는 다음과 같습니다.

1. 최신 Apache Kafka 클라이언트를 다운로드하여 설치합니다.
2. MSK 클러스터 브로커 인스턴스에 연결합니다.
3. 브로커 인스턴스에 테스트 스트림 주제를 만듭니다.

Amazon Bedrock에 지식 기반 만들기: 데이터에 연결

Amazon Bedrock에 지식 기반을 만들려면 다음 단계를 따르십시오.

1. Amazon Bedrock 콘솔의 왼쪽 탐색 페이지에서 빌더 도구 아래에서 지식 기반을 선택합니다.
2. 지식 기반 생성을 시작하려면 만들기 드롭다운 메뉴에서 다음 스크린샷과 같이 벡터 저장소가 있는 지식 기반을 선택합니다.
3. 지식 기반 세부 정보 제공 창에서 지식 기반 이름으로 BedrockStreamIngestKnowledgeBase를 입력합니다.
4. IAM 권한에서 기본 옵션인 새 서비스 역할 만들기 및 사용을 선택하고 (선택 사항) 다음 스크린샷과 같이 서비스 역할 이름을 제공합니다.
5. 데이터 소스 선택 창에서 데이터 세트가 저장된 데이터 소스로 사용자 지정을 선택합니다.
6. 다음 스크린샷과 같이 다음을 선택합니다.
7. 데이터 소스 구성 창에서 데이터 소스 이름으로 BedrockStreamIngestKBCustomDS를 입력합니다.
8. 구문 분석 전략에서 Amazon Bedrock 기본 파서를 선택하고 청킹 전략에서 기본 청킹을 선택합니다. 다음 스크린샷과 같이 다음을 선택합니다.
9. 임베딩 모델 선택 및 벡터 저장소 구성 창에서 임베딩 모델로 Titan Text Embeddings v2를 선택합니다. 임베딩 유형에서 부동 소수점 벡터 임베딩을 선택합니다. 다음 스크린샷과 같이 벡터 차원에서 1024를 선택합니다. Amazon Bedrock에서 선택한 FM에 대한 액세스를 요청하고 받았는지 확인합니다. 자세한 내용은 Amazon Bedrock 파운데이션 모델에 대한 액세스 추가 또는 제거를 참조하십시오.
10. 벡터 데이터베이스 창에서 새 벡터 저장소 빠르게 만들기를 선택하고 벡터 저장소로 새 Amazon OpenSearch Serverless 옵션을 선택합니다.
11. 다음 화면에서 선택 사항을 검토합니다. 설정을 완료하려면 만들기를 선택합니다.
12. 몇 분 안에 콘솔에 새로 만든 지식 기반이 표시됩니다.

AWS Lambda Apache Kafka 소비자 구성: 데이터 수집 트리거

이제 API 호출을 사용하여 입력 Apache Kafka 주제가 데이터를 받는 즉시 트리거되도록 소비자 Lambda 함수를 구성합니다.

1. Lambda 함수 내에서 환경 변수로 수동으로 생성된 Amazon Bedrock Knowledge Base ID와 해당 사용자 지정 데이터 소스 ID를 구성합니다. 샘플 노트북을 사용하면 참조된 함수 이름과 ID가 자동으로 채워집니다.

심층 분석: 실시간 데이터 수집을 위한 사용자 지정 커넥터가 있는 Amazon Bedrock Knowledge Bases의 기능 공개

생성적 AI와 실시간 데이터 스트림의 융합은 기업이 더 심층적인 통찰력을 얻고 중요한 프로세스를 자동화하며 개인화된 경험을 제공할 수 있는 전례 없는 기회를 열어주고 있습니다. 사용자 지정 커넥터와 결합된 Amazon Bedrock Knowledge Bases는 이 혁명의 최전선에 있으며 조직이 Apache Kafka와 같은 다양한 소스의 스트리밍 데이터를 AI 기반 애플리케이션에 원활하게 통합할 수 있도록 지원합니다.

이 기능은 복잡한 스테이징, 변환 및 동기화 프로세스를 수반하는 기존 데이터 수집 방법의 제한을 초월합니다. 사용자 지정 커넥터를 사용하면 데이터를 거의 실시간으로 Knowledge Base에 직접 수집할 수 있으므로 대기 시간을 없애고 AI 모델이 변화하는 조건에 동적으로 반응할 수 있도록 지원합니다.

산업 전반의 사용 사례

이 접근 방식의 이점은 광범위하며 광범위한 산업에 적용할 수 있습니다.

• 금융 서비스: 은행 및 투자 회사는 실시간 시장 데이터 및 고객 거래 스트림을 활용하여 사기를 탐지하고, 개인화된 투자 추천을 제공하고, 거래 전략을 자동화할 수 있습니다. 신용 카드 거래를 실시간으로 분석하고 의심스러운 활동을 감지하여 사기성 구매가 발생하기 전에 방지하는 AI 기반 시스템을 상상해 보세요.
• 소매: 전자 상거래 기업은 클릭스트림 데이터와 소셜 미디어 피드를 분석하여 고객 행동을 이해하고, 제품 추천을 개인화하고, 가격 책정 전략을 최적화할 수 있습니다. 이를 통해 실시간 수요에 따라 마케팅 캠페인과 재고 관리를 동적으로 조정할 수 있습니다.
• 제조: 제조업체는 공장 장비의 IoT 센서 데이터를 사용하여 유지 관리 요구 사항을 예측하고, 생산 프로세스를 최적화하고, 제품 품질을 개선할 수 있습니다. 예를 들어 AI 시스템은 기계의 진동 데이터를 분석하여 비용이 많이 드는 가동 중지 시간으로 이어지기 전에 잠재적인 고장을 식별할 수 있습니다.
• 의료: 병원은 환자 데이터 스트림을 분석하여 질병의 초기 징후를 탐지하고, 치료 계획을 개인화하고, 환자 결과를 개선할 수 있습니다. 활력 징후의 실시간 모니터링은 환자 상태의 중요한 변화에 대해 의료진에게 경고하여 보다 빠른 개입과 개선된 치료를 가능하게 합니다.

주요 이점: 실시간 데이터를 넘어

사용자 지정 커넥터를 사용하여 Amazon Bedrock Knowledge Bases를 사용하면 단순히 실시간으로 데이터를 수집하는 것 이상의 이점이 있습니다.

• 대기 시간 감소: 중간 스토리지 및 동기화 프로세스의 필요성을 없앰으로써 조직은 AI 모델에서 데이터를 사용할 수 있도록 하는 데 걸리는 시간을 크게 줄일 수 있습니다. 이는 응답 시간 단축과 보다 동적인 애플리케이션으로 이어집니다.
• 운영 비용 절감: 사용자 지정 커넥터는 복잡한 데이터 파이프라인을 관리하고 유지 관리할 필요성을 없애 운영 비용을 줄입니다. 이를 통해 비즈니스의 다른 영역에 투자할 수 있는 귀중한 리소스를 확보할 수 있습니다.
• 데이터 품질 향상: 데이터 소스에서 직접 데이터를 수집함으로써 조직은 AI 모델이 가장 정확하고 최신 정보로 작동하는지 확인할 수 있습니다. 이는 더 나은 통찰력과 더 신뢰할 수 있는 결과로 이어집니다.
• 유연성 향상: 사용자 지정 커넥터를 사용하면 형식이나 위치에 관계없이 광범위한 데이터 소스에 연결할 수 있습니다. 이는 저장된 위치에 관계없이 모든 데이터 자산을 활용할 수 있는 유연성을 제공합니다.
• 간소화된 개발: Amazon Bedrock Knowledge Bases는 데이터 수집 및 관리의 복잡성을 추상화하여 간소화된 개발 환경을 제공합니다. 이를 통해 개발자는 실제 비즈니스 가치를 제공하는 AI 애플리케이션 구축에 집중할 수 있습니다.

심층 분석: 사용자 지정 커넥터 내부

사용자 지정 커넥터의 기능을 완전히 이해하려면 작동 방식을 이해하는 것이 중요합니다. 사용자 지정 커넥터는 기본적으로 Amazon Bedrock Knowledge Bases가 특정 데이터 소스에 연결할 수 있도록 하는 코드 조각입니다. 이 코드는 소스에서 데이터를 추출하고, Knowledge Base와 호환되는 형식으로 변환하고, 시스템에 수집하는 역할을 합니다.

• API 통합: 사용자 지정 커넥터는 일반적으로 API를 통해 데이터 소스와 상호 작용합니다. 이러한 API는 데이터에 액세스하고 작업을 수행하는 표준화된 방법을 제공합니다.
• 데이터 변환: 데이터 변환은 프로세스의 중요한 단계입니다. 사용자 지정 커넥터는 종종 데이터를 기본 형식에서 Knowledge Base와 호환되는 형식으로 변환해야 합니다. 여기에는 데이터 유형 변환, 데이터 정리 및 추가 정보로 데이터 보강이 포함될 수 있습니다.
• 스트리밍 수집: 실시간 데이터 수집의 핵심은 데이터를 지속적으로 스트리밍하는 기능입니다. 사용자 지정 커넥터는 종종 스트리밍 API를 사용하여 데이터가 생성될 때 데이터를 수신하여 Knowledge Base를 거의 실시간으로 업데이트할 수 있습니다.
• 보안: 데이터 소스에 연결할 때 보안은 가장 중요한 문제입니다. 사용자 지정 커넥터는 전송 중 및 저장 시 데이터가 보호되도록 보안을 염두에 두고 설계해야 합니다.

결론: 실시간 데이터로 AI의 미래 수용

사용자 지정 커넥터가 있는 Amazon Bedrock Knowledge Bases는 AI 분야의 중요한 진전을 나타냅니다. 조직이 실시간 데이터 스트림을 AI 애플리케이션에 원활하게 통합할 수 있도록 지원함으로써 이 기술은 혁신과 비즈니스 성장을 위한 풍부한 새로운 기회를 열어줍니다. AI가 계속 진화함에 따라 실시간 데이터를 활용하는 기능은 점점 더 중요해질 것입니다. Amazon Bedrock Knowledge Bases는 이러한 추세의 핵심 동인이 될 위치에 있으며 조직이 이전보다 더 동적이고 반응성이 뛰어나며 지능적인 AI 솔루션을 구축할 수 있도록 지원합니다.