Amazon Bedrock과 Claude를 이용한 문서 분석 간소화
Amazon Bedrock은 주요 AI 제공업체의 고성능 파운데이션 모델(FM)에 액세스하고 활용하기 위한 통합 API를 제공합니다. 이 완전 관리형 서비스는 보안, 개인 정보 보호 및 책임감 있는 AI 사용을 강조하면서 생성형 AI 애플리케이션 개발을 단순화합니다. 특히 Anthropic의 Claude 3 Sonnet은 동급 최고의 다른 모델보다 뛰어난 비전 기능을 자랑합니다. Claude 3 Sonnet의 주요 강점은 품질이 좋지 않은 이미지에서도 텍스트를 정확하게 transcribed하는 능력입니다. 이 기능은 이미지, 그래픽 또는 일러스트레이션에 텍스트만으로는 얻을 수 없는 중요한 통찰력이 포함되어 있을 수 있는 소매, 물류 및 금융 서비스와 같은 분야에 큰 영향을 미칩니다. 최신 Anthropic Claude 모델은 사진, 차트, 그래프 및 기술 다이어그램을 포함한 다양한 시각적 형식을 이해하는 데 탁월한 능력을 보여줍니다. 이러한 다재다능함은 문서에서 더 깊은 통찰력 추출, 웹 기반 사용자 인터페이스 및 광범위한 제품 설명서 처리, 이미지 카탈로그 메타데이터 생성 등 다양한 애플리케이션을 가능하게 합니다.
이 논의에서는 이러한 다중 모드 생성형 AI 모델을 기술 문서 관리를 최적화하는 데 실제로 적용하는 방법을 살펴봅니다. 소스 자료에서 핵심 정보를 체계적으로 추출하고 구조화함으로써 이러한 모델은 검색 가능한 지식 기반 생성을 용이하게 합니다. 이 지식 기반을 통해 사용자는 자신의 작업과 관련된 특정 데이터, 공식 및 시각화를 신속하게 찾을 수 있습니다. 문서 콘텐츠가 꼼꼼하게 정리되어 연구원과 엔지니어는 고급 검색 기능을 사용하여 특정 문의에 가장 적합한 정보를 정확히 찾아낼 수 있습니다. 이를 통해 연구 개발 워크플로우가 크게 가속화되어 전문가가 방대한 양의 구조화되지 않은 데이터를 수동으로 훑어보는 힘든 작업에서 벗어날 수 있습니다.
이 솔루션은 과학 및 엔지니어링 커뮤니티가 직면한 고유한 문제를 해결하는 데 있어 다중 모드 생성형 AI의 변혁적 잠재력을 강조합니다. 기술 문서의 색인 생성 및 태깅을 자동화함으로써 이러한 강력한 모델은 보다 효율적인 지식 관리에 기여하고 다양한 산업 분야에서 혁신을 촉진합니다.
포괄적인 솔루션을 위한 지원 서비스 활용
Amazon Bedrock의 Anthropic’s Claude와 함께 이 솔루션은 다음과 같은 몇 가지 다른 주요 서비스를 통합합니다.
Amazon SageMaker JupyterLab: 노트북, 코드 및 데이터를 위해 맞춤화된 웹 기반 대화형 개발 환경(IDE)입니다. SageMaker JupyterLab 애플리케이션은 유연하고 광범위한 인터페이스를 제공하여 머신 러닝(ML) 워크플로우의 구성 및 배열을 용이하게 합니다. 이 솔루션 내에서 JupyterLab은 공식 및 차트 처리를 담당하는 코드를 실행하는 플랫폼 역할을 합니다.
Amazon Simple Storage Service (Amazon S3): Amazon S3는 사실상 모든 양의 데이터를 안전하게 저장하고 보호하도록 설계된 강력한 객체 스토리지 서비스를 제공합니다. 이 컨텍스트에서 Amazon S3는 이 솔루션의 기반이 되는 샘플 문서를 저장하는 데 사용됩니다.
AWS Lambda: AWS Lambda는 데이터 수정, 애플리케이션 상태 변경 또는 사용자 작업과 같은 사전 정의된 트리거에 응답하여 코드를 실행하는 컴퓨팅 서비스입니다. Amazon S3 및 Amazon Simple Notification Service (Amazon SNS)와 같은 서비스가 Lambda 함수를 직접 트리거할 수 있는 기능을 통해 다양한 실시간 서버리스 데이터 처리 시스템을 만들 수 있습니다.
문서 처리를 위한 단계별 워크플로우
솔루션의 워크플로우는 다음과 같이 구성됩니다.
문서 분할: 초기 단계에서는 PDF 문서를 개별 페이지로 나누고 PNG 파일로 저장합니다. 이렇게 하면 후속 페이지별 처리가 용이해집니다.
페이지별 분석: 각 페이지에 대해 일련의 작업이 수행됩니다.
- 텍스트 추출: 페이지의 원본 텍스트 내용이 추출됩니다.
- 공식 렌더링: 공식은 LaTeX 형식으로 렌더링되어 정확한 표현을 보장합니다.
- 공식 설명 (의미): 각 공식의 의미와 맥락을 포착하는 의미론적 설명이 생성됩니다.
- 공식 설명: 각 공식의 목적과 기능을 명확히 하는 자세한 설명이 제공됩니다.
- 그래프 설명 (의미): 각 그래프의 주요 특징과 데이터 표현을 설명하는 의미론적 설명이 생성됩니다.
- 그래프 해석: 각 그래프가 전달하는 추세, 패턴 및 통찰력을 설명하는 해석이 제공됩니다.
- 페이지 메타데이터 생성: 콘텐츠에 대한 관련 정보를 포함하는 페이지별 메타데이터가 생성됩니다.
문서 수준 메타데이터 생성: 전체 문서에 대한 메타데이터가 생성되어 내용에 대한 포괄적인 개요를 제공합니다.
데이터 저장: 추출된 콘텐츠와 메타데이터는 영구 저장을 위해 Amazon S3에 업로드됩니다.
지식 기반 생성: 효율적인 검색 및 검색을 가능하게 하는 처리된 데이터를 활용하여 Amazon Bedrock 지식 기반이 생성됩니다.
데모를 위해 arXiv 연구 논문 활용
설명된 기능을 보여주기 위해 arXiv의 예제 연구 논문이 사용됩니다. arXiv는 널리 알려진 무료 배포 서비스이자 오픈 액세스 아카이브로, 물리학, 수학, 컴퓨터 과학, 정량 생물학, 정량 금융, 통계, 전기 공학 및 시스템 과학, 경제학을 포함한 다양한 분야에 걸쳐 거의 240만 개의 학술 논문을 호스팅합니다.
Anthropic’s Claude를 사용한 공식 및 메타데이터 추출
이미지 문서가 준비되면 Amazon Bedrock Converse API를 통해 액세스되는 Anthropic’s Claude를 사용하여 공식 및 메타데이터를 추출합니다. 또한 Amazon Bedrock Converse API를 활용하여 추출된 공식에 대한 쉬운 언어 설명을 생성할 수 있습니다. 공식 및 메타데이터 추출 기능과 대화형 AI의 결합은 이미지 문서에 포함된 정보를 처리하고 이해하기 위한 전체적인 솔루션을 제공합니다.
그래프 해석 및 요약 생성
다중 모드 생성형 AI 모델의 또 다른 중요한 기능은 그래프를 해석하고 해당 요약 및 메타데이터를 생성하는 능력입니다. 다음은 모델과의 간단한 자연어 상호 작용을 통해 차트 및 그래프에 대한 메타데이터를 얻을 수 있는 방법을 보여줍니다.
향상된 검색 가능성을 위한 메타데이터 생성
자연어 처리를 활용하여 연구 논문에 대한 메타데이터를 생성하여 검색 가능성을 크게 향상시킬 수 있습니다. 이 메타데이터는 논문의 주요 측면을 포괄하여 관련 정보를 더 쉽게 찾고 검색할 수 있도록 합니다.
질의응답을 위한 Amazon Bedrock 지식 기반 생성
추출된 공식, 분석된 차트 및 포괄적인 메타데이터를 포함하여 데이터가 꼼꼼하게 준비되면 Amazon Bedrock 지식 기반이 생성됩니다. 이 지식 기반은 정보를 검색 가능한 리소스로 변환하여 질의응답 기능을 가능하게 합니다. 이를 통해 처리된 문서에 포함된 지식에 효율적으로 액세스할 수 있습니다. 이 프로세스는 강력하고 포괄적인 지식 기반을 보장하기 위해 여러 번 반복됩니다.
대상 정보 검색을 위한 지식 기반 쿼리
지식 기반을 쿼리하여 샘플 문서 내의 추출된 공식 및 그래프 메타데이터에서 특정 정보를 검색할 수 있습니다. 쿼리를 받으면 시스템은 데이터 소스에서 관련 텍스트 청크를 검색합니다. 그런 다음 검색된 청크를 기반으로 응답이 생성되어 답변이 소스 자료에 직접 기반하도록 합니다. 중요한 것은 응답이 관련 소스를 인용하여 투명성과 추적 가능성을 제공한다는 것입니다.
통찰력 가속화 및 정보에 입각한 의사 결정
복잡한 과학 문서에서 통찰력을 추출하는 과정은 전통적으로 힘든 작업이었습니다. 그러나 다중 모드 생성형 AI의 출현으로 이 영역이 근본적으로 바뀌었습니다. Anthropic’s Claude의 고급 자연어 이해 및 시각적 인식 기능을 활용하여 이제 차트에서 공식과 데이터를 정확하게 추출하여 통찰력을 가속화하고 정보에 입각한 의사 결정을 내릴 수 있습니다.
이 기술은 과학 문헌을 다루는 연구원, 데이터 과학자 및 개발자가 생산성과 정확성을 크게 향상시킬 수 있도록 지원합니다. Amazon Bedrock에서 Anthropic’s Claude를 워크플로우에 통합함으로써 복잡한 문서를 대규모로 처리할 수 있으므로 귀중한 시간과 리소스를 확보하여 더 높은 수준의 작업에 집중하고 데이터에서 가치 있는 통찰력을 발견할 수 있습니다. 문서 분석의 지루한 측면을 자동화하는 기능을 통해 전문가는 작업의 보다 전략적이고 창의적인 측면에 집중할 수 있으므로 궁극적으로 혁신을 주도하고 발견 속도를 가속화할 수 있습니다.