🚀 Cerchi un modo ancora più veloce e semplice per fare scraping su larga scala (con solo 5 righe di codice)? Dai un'occhiata alla nostra versione avanzata su ScrapeGraphAI.com! 🚀

🕷️ ScrapeGraphAI: fai scraping una sola volta

English | 中文 | 日本語 | 한국어 | Русский | Türkçe | Deutsch | Español | français | Português | Italiano

ScrapeGraphAI è una libreria Python per il web scraping che utilizza LLM e logica a grafi diretti per creare pipeline di scraping per siti web e documenti locali (XML, HTML, JSON, Markdown, ecc.).

Dì semplicemente quali informazioni vuoi estrarre e la libreria lo farà per te!

🚀 Integrazioni

ScrapeGraphAI offre un'integrazione perfetta con framework e strumenti popolari per potenziare le tue capacità di scraping. Che tu stia sviluppando con Python o Node.js, utilizzando framework LLM o lavorando con piattaforme no-code, abbiamo ciò che fa per te con le nostre opzioni di integrazione complete.

Puoi trovare maggiori informazioni al seguente link

Integrazioni:

• API: Documentazione
• SDK: Python, Node
• Framework LLM: Langchain, Llama Index, Crew.ai, Agno, CamelAI
• Framework Low-code: Pipedream, Bubble, Zapier, n8n, Dify, Toolhouse
• Server MCP: Collegamento

🚀 Installazione rapida

La pagina di riferimento per Scrapegraph-ai è disponibile sulla pagina ufficiale di PyPI: pypi.

pip install scrapegraphai

# IMPORTANT (for fetching websites content)
playwright install

Nota: si consiglia di installare la libreria in un ambiente virtuale per evitare conflitti con altre librerie 🐱

💻 Utilizzo

Esistono diverse pipeline di scraping standard che possono essere utilizzate per estrarre informazioni da un sito web (o da un file locale).

La più comune è SmartScraperGraph, che estrae informazioni da una singola pagina a partire da un prompt dell'utente e da un URL di origine.

from scrapegraphai.graphs import SmartScraperGraph

# Define the configuration for the scraping pipeline
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Run the pipeline
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

[!NOTE] Per i modelli OpenAI e altri ti basta modificare la configurazione dell'LLM!

root@kitploit:~

graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

L'output sarà un dizionario come il seguente:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

Esistono altre pipeline che possono essere utilizzate per estrarre informazioni da più pagine, generare script Python o persino generare file audio.

Per ciascuno di questi grafi esiste la versione multi. Consente di effettuare chiamate all'LLM in parallelo.

È possibile utilizzare diversi LLM tramite API, come OpenAI, Groq, Azure, Gemini, MiniMax e altri, oppure modelli locali usando Ollama.

Ricorda di avere Ollama installato e di scaricare i modelli usando il comando ollama pull, se vuoi utilizzare modelli locali.

📖 Documentazione

La documentazione per ScrapeGraphAI può essere trovata qui.

🆚 Open Source vs API gestita

ScrapeGraphAI è disponibile in due versioni: questa libreria open-source, che esegui tu stesso, e l'API cloud gestita (utilizzata tramite gli SDK Python e JS/TS). Questa tabella spiega la differenza così puoi scegliere quella giusta.

Scegli la libreria open-source se vuoi il pieno controllo, dati on-prem/self-hosted, LLM locali (Ollama) o un'ottimizzazione granulare dei costi — e sei disposto a gestire browser, proxy e scalabilità da solo.

Scegli l'API gestita se vuoi zero infrastruttura, rendering JS gestito e anti-bot, job Crawl e Monitor programmati integrati e il percorso più rapido verso la produzione — fatturata a crediti.

• Libreria open-source: https://github.com/ScrapeGraphAI/Scrapegraph-ai
• SDK Python: https://github.com/ScrapeGraphAI/scrapegraph-py
• SDK JS/TS: https://github.com/ScrapeGraphAI/scrapegraph-js
• Documentazione API: https://docs.scrapegraphai.com/introduction

🤝 Come contribuire

Sentiti libero di contribuire e unisciti al nostro server Discord per discutere con noi miglioramenti e darci suggerimenti!

Consulta le linee guida per contribuire.

🔗 API e SDK di ScrapeGraph

Se stai cercando una soluzione rapida per integrare ScrapeGraph nel tuo sistema, dai un'occhiata alla nostra potente API qui!

Offriamo SDK sia in Python che in Node.js, per facilitare l'integrazione nei tuoi progetti. Dai un'occhiata qui sotto:

La documentazione API ufficiale può essere trovata qui.

📈 Telemetria

Raccogliamo metriche di utilizzo anonime per migliorare la qualità del nostro pacchetto e l'esperienza utente. I dati ci aiutano a dare priorità ai miglioramenti e a garantire la compatibilità. Se desideri disattivare la raccolta, imposta la variabile d'ambiente SCRAPEGRAPHAI_TELEMETRY_ENABLED=false. Per maggiori informazioni, consulta la documentazione qui.

❤️ Collaboratori

🎓 Citazioni

Se hai utilizzato la nostra libreria per scopi di ricerca, citaci con il seguente riferimento:

  @misc{scrapegraph-ai,
    author = {Lorenzo Padoan, Marco Vinciguerra},
    title = {Scrapegraph-ai},
    year = {2024},
    url = {https://github.com/ScrapeGraphAI/Scrapegraph-ai},
    note = {A Python library for scraping leveraging large language models}
  }

Autori

	Informazioni di contatto
Marco Vinciguerra
Lorenzo Padoan

📜 Licenza

ScrapeGraphAI è distribuita sotto la licenza MIT. Consulta il file LICENSE per maggiori informazioni.

Riconoscimenti

• Vorremmo ringraziare tutti i collaboratori del progetto e la comunità open-source per il loro supporto.
• ScrapeGraphAI è pensata per essere utilizzata solo a scopo di esplorazione dei dati e ricerca. Non siamo responsabili per qualsiasi uso improprio della libreria.

Fatto con ❤️ da ScrapeGraph AI

Tracciamento Scarf