🚀 هل تبحث عن طريقة أسرع وأبسط لتجميع البيانات على نطاق واسع (بخمسة أسطر فقط من التعليمات البرمجية)؟ اطّلع على نسختنا المحسّنة على ScrapeGraphAI.com! 🚀

🕷️ ScrapeGraphAI: أنت تجمع مرة واحدة فقط

ScrapeGraphAI هي مكتبة تجميع بيانات الويب بلغة بايثون تستخدم نماذج اللغات الكبيرة (LLM) ومنطق الرسوم البيانية المباشر لإنشاء خطوط تجميع للمواقع الإلكترونية والمستندات المحلية (XML و HTML و JSON و Markdown وغيرها).

فقط حدّد المعلومات التي تريد استخراجها، وستقوم المكتبة بذلك نيابةً عنك!

🚀 التكاملات

توفّر ScrapeGraphAI تكاملًا سلسًا مع الأطر والأدوات الشائعة لتعزيز قدراتك في تجميع البيانات. سواء كنت تبني باستخدام Python أو Node.js، أو تستخدم أطر عمل LLM، أو تعمل مع منصات بدون كود، فلدينا ما يناسبك من خلال خيارات التكامل الشاملة لدينا..

يمكنك العثور على مزيد من المعلومات عبر الرابط التالي.

التكاملات:

واجهة برمجة التطبيقات (API): التوثيق
حزم SDK: Python، Node
أطر عمل LLM: Langchain، Llama Index، Crew.ai، Agno، CamelAI
أطر العمل منخفضة الكود: Pipedream، Bubble، Zapier، n8n، Dify، Toolhouse
خادم MCP: الرابط

🚀 التثبيت السريع

الصفحة المرجعية لـ Scrapegraph-ai متاحة على الصفحة الرسمية لـ PyPI: pypi.

pip install scrapegraphai

# IMPORTANT (for fetching websites content)
playwright install

ملاحظة: يُنصح بتثبيت المكتبة في بيئة افتراضية لتجنّب التعارض مع المكتبات الأخرى 🐱

💻 الاستخدام

توجد خطوط تجميع قياسية متعددة يمكن استخدامها لاستخراج المعلومات من موقع ويب (أو ملف محلي).

الأكثر شيوعًا هو SmartScraperGraph، الذي يستخرج المعلومات من صفحة واحدة بناءً على مطالبة المستخدم وعنوان URL للمصدر.

from scrapegraphai.graphs import SmartScraperGraph

# Define the configuration for the scraping pipeline
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Run the pipeline
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

[!NOTE] بالنسبة إلى OpenAI والنماذج الأخرى، كل ما عليك فعله هو تغيير إعدادات llm!
graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

سيكون الناتج قاموسًا (dictionary) بالشكل التالي:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

توجد خطوط تجميع أخرى يمكن استخدامها لاستخراج المعلومات من صفحات متعددة، أو إنشاء نصوص برمجية بلغة Python، أو حتى إنشاء ملفات صوتية.

اسم خط التجميع	الوصف
SmartScraperGraph	أداة تجميع لصفحة واحدة لا تحتاج سوى إلى مطالبة مستخدم ومصدر إدخال.
SearchGraph	أداة تجميع متعددة الصفحات تستخرج المعلومات من أفضل n من نتائج البحث في محرك بحث.
SpeechGraph	أداة تجميع لصفحة واحدة تستخرج المعلومات من موقع ويب وتُنشئ ملفًا صوتيًا.
ScriptCreatorGraph	أداة تجميع لصفحة واحدة تستخرج المعلومات من موقع ويب وتُنشئ نصًا برمجيًا بلغة Python.
SmartScraperMultiGraph	أداة تجميع متعددة الصفحات تستخرج المعلومات من عدة صفحات بناءً على مطالبة واحدة وقائمة مصادر.
ScriptCreatorMultiGraph	أداة تجميع متعددة الصفحات تُنشئ نصًا برمجيًا بلغة Python لاستخراج المعلومات من صفحات ومصادر متعددة.

لكل من هذه الرسوم البيانية توجد نسخة متعددة (multi). وهي تتيح إجراء استدعاءات نموذج LLM بالتوازي.

Scrapegraph-ai v2.1.7