AgentQL رویکردی نوین به وب‌اسکرپینگ ارائه می‌کند، به کاربران این امکان را می‌دهد تا داده‌ها را از وب‌سایت‌هایی با قالب‌های بدون ساختار استخراج کنند و با دقت ساختار اطلاعات مورد نظر را تعریف کنند. این منجر به بازیابی داده‌های سازگار و ساختاریافته می‌شود، حتی از وب‌سایت‌هایی که دارای محتوای پویا یا طرح‌بندی‌های مکرراً در حال تغییر هستند.
در این راهنمای جامع، فرآیند پیاده‌سازی یک سرور AgentQL MCP در Claude Desktop را بررسی خواهیم کرد. ما از ابزارهای تجسم یکپارچه Claude برای بررسی داده‌های استخراج‌شده استفاده خواهیم کرد. مثال خاص ما شامل اسکرپینگ یک صفحه نتایج جستجوی آمازون برای کتاب‌های هوش مصنوعی است که جزئیات کلیدی مانند قیمت، رتبه‌بندی و تعداد نظرات را استخراج می‌کند.
مرحله 1: تنظیم وابستگی‌ها
قبل از پرداختن به پیاده‌سازی، باید اطمینان حاصل کنیم که تمام وابستگی‌های لازم نصب و پیکربندی شده‌اند. این شامل راه‌اندازی Node.js، Claude Desktop و دریافت کلید API AgentQL است.
Node.js
Node.js یک محیط زمان اجرای جاوا اسکریپت است که به ما امکان می‌دهد کد جاوا اسکریپت را خارج از یک مرورگر وب اجرا کنیم. برای اجرای سرور AgentQL با استفاده از npx، یک اجراکننده بسته که به همراه Node.js ارائه می‌شود، لازم است.
برای نصب Node.js، مراحل زیر را دنبال کنید:
- از وب‌سایت رسمی Node.js دیدن کنید: nodejs.org.
- آخرین نسخه LTS (پشتیبانی بلند مدت) Node.js را دانلود کنید.
- نصب کننده را اجرا کنید.
- توافقنامه مجوز را بپذیرید و از طریق جادوگر نصب پیش بروید.
- تمام تنظیمات را به صورت پیش فرض بگذارید و نصب را کامل کنید.
پس از نصب، تأیید کنید که Node.js و npm (مدیریت بسته Node) به درستی نصب شده‌اند، با باز کردن ترمینال یا خط فرمان خود و اجرای دستورات زیر: