ウェブスクレイピングとブラウザ自動化のライブラリ

Crawleeはクロールとスクレイピングをエンドツーエンドでカバーし、信頼性の高いスクレイパーを迅速に構築するのに役立ちます。

あなたのクローラーは人間らしく振る舞い、デフォルト設定であっても現代のボット対策のレーダーをくぐり抜けます。Crawleeは、リンクをたどってウェブをクロールし、データをスクレイピングし、ディスクまたはクラウドに保存するためのツールを提供し、プロジェクトのニーズに合わせて設定可能です。

Crawleeはcrawlee NPMパッケージとして利用できます。

👉 完全なドキュメント、ガイド、例はCrawleeプロジェクトウェブサイトでご覧ください 👈

JavaScriptではなく🐍 Pythonの方が好みですか？ 👉 Crawlee for Pythonをチェック 👈。

インストール

詳細については、CrawleeドキュメントのIntroduction tutorialを参照することをお勧めします。

CrawleeにはNode.js 22.13以上が必要です。

Crawlee CLIを使用する場合

Crawleeを試す最速の方法は、Crawlee CLIを使用してGetting started exampleを選択することです。CLIは必要な依存関係をすべてインストールし、試せるボイラープレートコードを追加します。

npx crawlee create my-crawler

cd my-crawler
npm start

手動インストール

Crawleeを自分のプロジェクトに追加したい場合は、以下の例を試してください。PlaywrightCrawlerを使用するため、Playwrightもインストールする必要があります。インストールサイズを削減するため、Crawleeにはバンドルされていません。

npm install crawlee playwright

import { PlaywrightCrawler, Dataset } from 'crawlee';

// PlaywrightCrawler crawls the web using a headless
// browser controlled by the Playwright library.
const crawler = new PlaywrightCrawler({
    // Use the requestHandler to process each of the crawled pages.
    async requestHandler({ request, page, enqueueLinks, log }) {
        const title = await page.title();
        log.info(`Title of ${request.loadedUrl} is '${title}'`);

        // Save results as JSON to ./storage/datasets/default
        await Dataset.pushData({ title, url: request.loadedUrl });

        // Extract links from the current page
        // and add them to the crawling queue.
        await enqueueLinks();
    },
    // Uncomment this option to see the browser window.
    // headless: false,
});

// Add first URL to the queue and start the crawl.
await crawler.run(['https://crawlee.dev']);

デフォルトでは、Crawleeは現在の作業ディレクトリの./storageにデータを保存します。このディレクトリはCrawleeの設定で上書きできます。詳細については、Configuration guide、Request storage、Result storageを参照してください。

プレリリース版のインストール

Crawleeでマージされたすべてのコード変更に対して、自動化されたベータビルドを提供しています。それらはnpmのリリース一覧で確認できます。リリース前に新機能やバグ修正をテストしたい場合は、以下のようにベータビルドをインストールしてください。

npm install crawlee@next

Apify SDKも使用している場合は、Crawleeの複数バージョンがインストールされないように、package.jsonファイルで依存関係のオーバーライドを指定する必要があります。

{
    "overrides": {
       "apify": {
           "@crawlee/core": "$crawlee",
           "@crawlee/types": "$crawlee",
           "@crawlee/utils": "$crawlee"
       }
    }
}

🛠 機能

• HTTPとヘッドレスブラウザクロールのための単一インターフェース
• クロールするURLの永続的なキュー（幅優先と深さ優先）
• 表形式データとファイルの両方のプラグイン可能なストレージ
• 利用可能なシステムリソースに応じた自動スケーリング
• 統合されたプロキシローテーションとセッション管理
• フックでカスタマイズ可能なライフサイクル
• プロジェクトを立ち上げるためのCLI
• 設定可能なルーティング、エラーハンドリング、リトライ
• デプロイ可能なDockerfiles
• ジェネリクスを備えたTypeScriptで記述

👾 HTTPクロール

• プロキシでも動作するゼロ設定のHTTP2サポート
• ブラウザライクなヘッダーの自動生成
• ブラウザのTLSフィンガープリントの複製
• 統合された高速なHTMLパーサー。CheerioとJSDOM
• はい、JSON APIもスクレイピングできます

💻 実ブラウザクロール

• JavaScriptのレンダリングとスクリーンショット
• ヘッドレスとヘッドフルのサポート
• ゼロ設定での人間らしいフィンガープリントの生成
• 自動ブラウザ管理
• 同じインターフェースでPlaywrightとPuppeteerを使用
• Chrome、Firefox、Webkitなど多数

Apifyプラットフォームでの使用

Crawleeはオープンソースでありどこでも動作しますが、Apifyによって開発されているため、Apifyプラットフォームでのセットアップとクラウドでの実行は簡単です。CrawleeをApifyプラットフォームにデプロイする方法の詳細については、Apify SDKウェブサイトをご覧ください。

サポート

Crawleeにバグや問題を見つけた場合は、GitHubでissueを提出してください。質問はStack Overflow、GitHub Discussions、またはDiscordサーバーに参加して尋ねることができます。

コントリビューション

あなたのコード貢献を歓迎します。永遠に称賛されるでしょう！改善のアイデアがあれば、issueを提出するかプルリクエストを作成してください。コントリビューションガイドラインと行動規範については、CONTRIBUTING.mdを参照してください。

ライセンス

このプロジェクトはApache License 2.0の下でライセンスされています。詳細はLICENSE.mdファイルを参照してください。