🚀 Suchen Sie nach einer noch schnelleren und einfacheren Methode zum Scraping in großem Maßstab (nur 5 Zeilen Code)? Schauen Sie sich unsere erweiterte Version auf ScrapeGraphAI.com an! 🚀

🕷️ ScrapeGraphAI: Du scrapst nur einmal

English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português | Italiano

ScrapeGraphAI ist eine Web-Scraping-Python-Bibliothek, die LLM und direkte Graphlogik verwendet, um Scraping-Pipelines für Websites und lokale Dokumente (XML, HTML, JSON, Markdown usw.) zu erstellen. Sage einfach, welche Informationen du extrahieren möchtest, und die Bibliothek erledigt das für dich!

🚀 Integrationen

ScrapeGraphAI bietet eine nahtlose Integration mit gängigen Frameworks und Tools, um deine Scraping-Fähigkeiten zu erweitern. Egal, ob du mit Python oder Node.js entwickelst, LLM-Frameworks verwendest oder mit No-Code-Plattformen arbeitest – wir haben mit unseren umfassenden Integrationsmöglichkeiten alles für dich abgedeckt.

Du findest weitere Informationen unter folgendem Link

Integrationen:

• API: Dokumentation
• SDKs: Python, Node
• LLM-Frameworks: Langchain, Llama Index, Crew.ai, Agno, CamelAI
• Low-Code-Frameworks: Pipedream, Bubble, Zapier, n8n, Dify, Toolhouse
• MCP-Server: Link

🚀 Schnelle Installation

Die Referenzseite für Scrapegraph-ai ist auf der offiziellen PyPI-Seite verfügbar: pypi.

pip install scrapegraphai

# IMPORTANT (for fetching websites content)
playwright install

Hinweis: Es wird empfohlen, die Bibliothek in einer virtuellen Umgebung zu installieren, um Konflikte mit anderen Bibliotheken zu vermeiden 🐱

💻 Verwendung

Es gibt mehrere standardmäßige Scraping-Pipelines, die zum Extrahieren von Informationen aus einer Website (oder einer lokalen Datei) verwendet werden können. Die häufigste ist SmartScraperGraph, die Informationen von einer einzelnen Seite extrahiert, basierend auf einem Benutzer-Prompt und einer Quell-URL.

from scrapegraphai.graphs import SmartScraperGraph

# Define the configuration for the scraping pipeline
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Run the pipeline
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

[!NOTE] Für OpenAI und andere Modelle musst du nur die llm-Konfiguration ändern!

root@kitploit:~

graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

Die Ausgabe wird ein Dictionary wie das folgende sein:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

Es gibt weitere Pipelines, die verwendet werden können, um Informationen von mehreren Seiten zu extrahieren, Python-Skripte zu generieren oder sogar Audiodateien zu erzeugen.

Für jeden dieser Graphen gibt es die Multi-Version. Sie ermöglicht parallele Aufrufe des LLM.

Es ist möglich, verschiedene LLMs über APIs zu verwenden, wie OpenAI, Groq, Azure, Gemini, MiniMax und weitere, oder lokale Modelle mit Ollama.

Denke daran, Ollama installiert zu haben und die Modelle mit dem Befehl ollama pull herunterzuladen, wenn du lokale Modelle verwenden möchtest.

📖 Dokumentation

Die Dokumentation für ScrapeGraphAI findest du hier.

🆚 Open Source vs. Managed API

ScrapeGraphAI gibt es in zwei Varianten: diese Open-Source-Bibliothek, die du selbst betreibst, und die verwaltete Cloud-API (die über die Python- und JS/TS-SDKs verwendet wird). Diese Tabelle erklärt den Unterschied, damit du die richtige auswählen kannst.

Wähle die Open-Source-Bibliothek, wenn du die volle Kontrolle haben möchtest, Daten vor Ort/selbst gehostet, lokale LLMs (Ollama) oder detaillierte Kostensteuerung – und du bereit bist, Browser, Proxys und Skalierung selbst zu verwalten.

Wähle die verwaltete API, wenn du null Infrastruktur, verwaltetes JS-Rendering & Anti-Bot, integrierte Crawl- und geplante Monitor-Aufträge sowie den schnellsten Weg in die Produktion haben möchtest – abgerechnet pro Guthaben.

• Open-Source-Bibliothek: https://github.com/ScrapeGraphAI/Scrapegraph-ai
• Python SDK: https://github.com/ScrapeGraphAI/scrapegraph-py
• JS/TS SDK: https://github.com/ScrapeGraphAI/scrapegraph-js
• API-Dokumentation: https://docs.scrapegraphai.com/introduction

🤝 Mitwirken

Fühle dich frei, einen Beitrag zu leisten und unserem Discord-Server beizutreten, um Verbesserungen mit uns zu besprechen und Vorschläge zu machen!

Bitte lies die Beitragsrichtlinien.

🔗 ScrapeGraph-API & SDKs

Wenn du nach einer schnellen Lösung suchst, um ScrapeGraph in dein System zu integrieren, schau dir unsere leistungsstarke API hier! an

Wir bieten SDKs sowohl in Python als auch in Node.js, die die Integration in deine Projekte erleichtern. Sieh sie dir unten an:

Die offizielle API-Dokumentation findest du hier.

📈 Telemetrie

Wir sammeln anonyme Nutzungsmetriken, um die Qualität und Benutzererfahrung unseres Pakets zu verbessern. Die Daten helfen uns, Verbesserungen zu priorisieren und Kompatibilität sicherzustellen. Wenn du dich abmelden möchtest, setze die Umgebungsvariable SCRAPEGRAPHAI_TELEMETRY_ENABLED=false. Weitere Informationen findest du in der Dokumentation hier.

❤️ Mitwirkende

🎓 Zitate

Wenn du unsere Bibliothek für Forschungszwecke verwendet hast, zitiere uns bitte mit der folgenden Referenz:

  @misc{scrapegraph-ai,
    author = {Lorenzo Padoan, Marco Vinciguerra},
    title = {Scrapegraph-ai},
    year = {2024},
    url = {https://github.com/ScrapeGraphAI/Scrapegraph-ai},
    note = {A Python library for scraping leveraging large language models}
  }

Autoren

	Kontaktinformationen
Marco Vinciguerra
Lorenzo Padoan

📜 Lizenz

ScrapeGraphAI ist unter der MIT-Lizenz lizenziert. Weitere Informationen findest du in der LICENSE-Datei.

Danksagungen

• Wir möchten allen Mitwirkenden des Projekts und der Open-Source-Community für ihre Unterstützung danken.
• ScrapeGraphAI ist nur für Datenexploration und Forschungszwecke gedacht. Wir übernehmen keine Verantwortung für jeglichen Missbrauch der Bibliothek.

Mit ❤️ gemacht von ScrapeGraph AI

Scarf tracking