AgentQL은 웹 스크래핑에 대한 새로운 접근 방식을 제시하여 사용자가 원하는 정보의 구조를 정확하게 정의하여 구조화되지 않은 형식의 웹사이트에서 데이터를 추출할 수 있도록 합니다. 이를 통해 동적 콘텐츠 또는 자주 변경되는 레이아웃을 특징으로 하는 웹사이트에서도 일관되고 구조화된 데이터 검색이 가능합니다.
이 종합 가이드에서는 Claude Desktop 내에서 AgentQL MCP 서버를 구현하는 과정을 안내합니다. Claude의 통합 시각화 도구를 활용하여 추출된 데이터를 탐색합니다. 우리의 특정 예제는 AI 서적에 대한 Amazon 검색 결과 페이지를 스크래핑하여 가격, 평점 및 리뷰 수와 같은 주요 세부 정보를 추출하는 것을 포함합니다.
1단계: 종속성 설정
구현을 시작하기 전에 필요한 모든 종속성이 설치되고 구성되었는지 확인해야 합니다. 여기에는 Node.js, Claude Desktop을 설정하고 AgentQL API 키를 얻는 것이 포함됩니다.
Node.js
Node.js는 웹 브라우저 외부에서 JavaScript 코드를 실행할 수 있도록 하는 JavaScript 런타임 환경입니다. Node.js에 번들로 제공되는 패키지 실행기인 npx를 사용하여 AgentQL 서버를 실행하는 데 필요합니다.
Node.js를 설치하려면 다음 단계를 따르십시오.
- 공식 Node.js 웹사이트 방문: nodejs.org.
- 최신 LTS(Long Term Support) 버전의 Node.js를 다운로드합니다.
- 설치 프로그램을 실행합니다.
- 라이선스 계약에 동의하고 설치 마법사를 진행합니다.
- 모든 설정을 기본값으로 두고 설치를 완료합니다.
설치 후 터미널 또는 명령 프롬프트를 열고 다음 명령을 실행하여 Node.js 및 npm(Node Package Manager)이 올바르게 설치되었는지 확인합니다.