🚀 さらに高速でシンプルな大規模スクレイピング方法（わずか5行のコード）をお探しですか？ ScrapeGraphAI.com で拡張版をチェックしてください！ 🚀

🕷️ ScrapeGraphAI: スクレイプは一度だけ

ScrapeGraphAI は、LLMとダイレクトグラフロジックを使用して、ウェブサイトやローカルドキュメント（XML、HTML、JSON、Markdownなど）向けのスクレイピングパイプラインを作成する ウェブスクレイピング Pythonライブラリです。

抽出したい情報を指定するだけで、ライブラリが処理を実行してくれます！

🚀 統合機能

ScrapeGraphAIは、人気のフレームワークやツールとのシームレスな統合を提供し、スクレイピング機能を強化します。PythonやNode.jsでの開発、LLMフレームワークの利用、ノーコードプラットフォームでの作業など、あらゆるニーズに対応する包括的な統合オプションを提供しています。

詳細については、次のリンクをご覧ください。

統合機能:

API: ドキュメント
SDK: Python, Node
LLMフレームワーク: Langchain, Llama Index, Crew.ai, Agno, CamelAI
ローコードフレームワーク: Pipedream, Bubble, Zapier, n8n, Dify, Toolhouse
MCPサーバー: リンク

🚀 クイックインストール

Scrapegraph-aiのリファレンスページは、PyPIの公式ページで公開されています: pypi。

pip install scrapegraphai

# IMPORTANT (for fetching websites content)
playwright install

注記: 他のライブラリとの競合を避けるために、仮想環境にライブラリをインストールすることをお勧めします 🐱

💻 使用方法

ウェブサイト（またはローカルファイル）から情報を抽出するために使用できる、複数の標準スクレイピングパイプラインがあります。

最も一般的なのは SmartScraperGraph で、ユーザープロンプトとソースURLを指定すると、単一のページから情報を抽出します。

from scrapegraphai.graphs import SmartScraperGraph

# Define the configuration for the scraping pipeline
graph_config = {
    "llm": {
        "model": "ollama/llama3.2",
        "model_tokens": 8192,
        "format": "json",
    },
    "verbose": True,
    "headless": False,
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="Extract useful information from the webpage, including a description of what the company does, founders and social media links",
    source="https://scrapegraphai.com/",
    config=graph_config
)

# Run the pipeline
result = smart_scraper_graph.run()

import json
print(json.dumps(result, indent=4))

[!NOTE] OpenAIやその他のモデルを使用する場合は、llm設定を変更するだけです！
graph_config = {
   "llm": {
       "api_key": "YOUR_OPENAI_API_KEY",
       "model": "openai/gpt-4o-mini",
   },
   "verbose": True,
   "headless": False,
}

出力は次のような辞書になります:

{
    "description": "ScrapeGraphAI transforms websites into clean, organized data for AI agents and data analytics. It offers an AI-powered API for effortless and cost-effective data extraction.",
    "founders": [
        {
            "name": "",
            "role": "Founder & Technical Lead",
            "linkedin": "https://www.linkedin.com/in/perinim/"
        },
        {
            "name": "Marco Vinciguerra",
            "role": "Founder & Software Engineer",
            "linkedin": "https://www.linkedin.com/in/marco-vinciguerra-7ba365242/"
        },
        {
            "name": "Lorenzo Padoan",
            "role": "Founder & Product Engineer",
            "linkedin": "https://www.linkedin.com/in/lorenzo-padoan-4521a2154/"
        }
    ],
    "social_media_links": {
        "linkedin": "https://www.linkedin.com/company/101881123",
        "twitter": "https://x.com/scrapegraphai",
        "github": "https://github.com/ScrapeGraphAI/Scrapegraph-ai"
    }
}

複数のページから情報を抽出したり、Pythonスクリプトを生成したり、オーディオファイルを生成したりできる、他のパイプラインもあります。

パイプライン名	説明
SmartScraperGraph	ユーザープロンプトと入力ソースのみを必要とするシングルページスクレイパー。
SearchGraph	検索エンジンの上位n件の検索結果から情報を抽出するマルチページスクレイパー。
SpeechGraph	ウェブサイトから情報を抽出し、オーディオファイルを生成するシングルページスクレイパー。
ScriptCreatorGraph	ウェブサイトから情報を抽出し、Pythonスクリプトを生成するシングルページスクレイパー。
SmartScraperMultiGraph	単一のプロンプトとソースのリストを指定して、複数のページから情報を抽出するマルチページスクレイパー。
ScriptCreatorMultiGraph	複数のページとソースから情報を抽出するためのPythonスクリプトを生成するマルチページスクレイパー。

これらの各グラフにはマルチバージョンがあります。LLMへの呼び出しを並列で実行できます。

OpenAI、Groq、Azure、Gemini、MiniMax などのAPIを通じてさまざまなLLMを使用したり、Ollama を使用してローカルモデルを使用したりすることができます。

ローカルモデルを使用する場合は、Ollama をインストールし、ollama pull コマンドでモデルをダウンロードすることを忘れないでください。

📖 ドキュメント

ScrapeGraphAIのドキュメントはこちらにあります。

🆚 オープンソース vs マネージドAPI

ScrapeGraphAIには、自分で実行するオープンソースライブラリと、マネージドクラウドAPI（Python および JS/TS SDK経由で使用）の2つのバージョンがあります。この表は違いを説明しているので、適切な方を選択できます。

Scrapegraph-ai v2.1.7