
puppeteer と playwright 向けパッチ集。自動化検出や情報漏えいを回避し、Cloudflare や DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、必要に応じて有効/無効化できます。
このリポジトリには、人気のあるWeb自動化ライブラリを強化するためのパッチが含まれています。具体的には、puppeteer と playwright パッケージを対象としています。
自動化ライブラリやブラウザの動作の一部は、設定やコマンドラインスイッチでは調整できません。そのため、ライブラリのソースコードにパッチを当てることでこれらの問題を修正します。このアプローチは脆弱であり、ライブラリのソースコードが時間とともに変化するにつれて壊れる可能性がありますが、コミュニティの協力を得てパッチを最新の状態に保つことを目指しています。
Puppeteer と Playwright は、そのままでは簡単に検出できる重大なリークをいくつか抱えています。プロキシ、フィンガープリント、行動スクリプトがどれほど優れていても、パッチを当てていなければ、主要なWebサイトにとっては大きな赤信号にすぎません。
🕵️ rebrowser-bot-detector(ソースと詳細)を使えば、主要な最新の検出に対して自動化設定を簡単にテストできます。
| パッチ適用前 👎 | パッチ適用後 👍 |
|---|---|
![]() | ![]() |
パッチや起こりうるあらゆるエラーに対処したくない場合は、そのまま使えるソリューションがあります。これらのパッケージは、元のコードの上に rebrowser-patches を適用しただけのもので、それ以上のものではありません。
Puppeteer: rebrowser-puppeteer(ソースミラー)と rebrowser-puppeteer-core(ソースミラー)
Playwright (Node.js): rebrowser-playwright(ソースミラー)と rebrowser-playwright-core(ソースミラー)
Playwright (Python): rebrowser-playwright(ソースミラー)
これらを使い始める最も簡単な方法は、元のパッケージ名でインストールすることです(npm エイリアス)。こうすれば、自動化のソースコードを一切変更する必要がありません。プロジェクトがすでに使用しているパッケージのみをインストールしてください:
# Puppeteer
npm install puppeteer@npm:rebrowser-puppeteer puppeteer-core@npm:rebrowser-puppeteer-core
# Playwright
npm install playwright@npm:rebrowser-playwright playwright-core@npm:rebrowser-playwright-core
npm は最新バージョンをインストールし、package.json に "puppeteer": "npm:rebrowser-puppeteer@^…" として保存します。yarn や pnpm の場合は、同じ引数で yarn add または pnpm add を実行します。
もう一つの方法は、新しいパッケージ名を直接使うことです。元のパッケージの代わりに rebrowser-puppeteer と rebrowser-puppeteer-core(または rebrowser-playwright と rebrowser-playwright-core)をインストールし、インポート内の puppeteer を rebrowser-puppeteer(以下同様)に置き換えます。
Python の場合は、pip install rebrowser-playwright を実行し、playwright の代わりに rebrowser_playwright からインポートします(例: from rebrowser_playwright.sync_api import sync_playwright)。
パッケージのバージョン番号は元のライブラリに準拠しています。すでにリリース済みのバージョンに対する修正は X.Y.100、X.Y.101 などの形で提供されるため、元のパッケージのバージョンに合わせるのではなく、常に最新バージョンをインストールしてください。
🚀 以上です! rebrowser-bot-detector ページにアクセスして、パッチ適用済みのブラウザをテストしてください。
注意:
rebrowser-puppeteer はインストール時に Chrome をダウンロードしますが、rebrowser-playwright は npx playwright install chromium が必要です(または、すでにお持ちの Chrome を executablePath / channel: 'chrome' で使用してください)。rebrowser-puppeteer と rebrowser-playwright は実際の名前で rebrowser-puppeteer-core / rebrowser-playwright-core に依存しています。以前のバージョンでは npm エイリアスを使用しており、同じバージョンの元の puppeteer / playwright が同じプロジェクトにインストールされている場合、npm はドロップインにパッチ未適用のコアを黙って提供していました(#74)。私たちの目標は、これらのドロップイン代替パッケージを最新バージョンで維持・サポートすることですが、主に新しいバージョンに注力しています。もしあなたがまだ90年代初頭の puppeteer 13.3.7 を使っているなら、アップグレードする良い機会かもしれません。API は長期間にわたってかなり安定しているため、実際に何かが壊れる可能性は低いでしょう。
Runtime.Enable リークの修正人気のある自動化ライブラリは、Runtime. ドメインからイベントを受信できる CDP コマンド Runtime.Enable に依存しています。これは、ページ上で JavaScript を評価するために使用される実行コンテキストの管理に不可欠であり、あらゆる自動化プロセスにとって重要な機能です。
しかし、このコマンドの使用を検出し、ブラウザが Puppeteer や Playwright などの自動化ソフトウェアによって制御されていることを明らかにする手法が存在します。この手法は、Cloudflare、DataDome など、すべての主要なアンチボットソフトウェアで使用されています。
このリークに関する調査についての完全な記事を用意しました。私たちのブログで読むことができます。
この手法の詳細については、DataDome のブログ記事をお読みください: How New Headless Chrome & the CDP Signal Are Impacting Bot Detection。
要するに、Runtime.Enable が使用された場合に自動的に呼び出される、ページ上の数行の JavaScript のことです。
私たちの修正は、すべてのフレームで自動的な Runtime.Enable コマンドを無効にします。代わりに、フレームが作成されたときに未知の ID を持つコンテキストを手動で作成します。そして、コードを実行する必要がある場合、コンテキスト ID を取得する方法は複数あります。
addBinding、デフォルト)。このパッチは、分離されたワールドでフレームの document を読み取り、そのノードをフレームのメインワールドで再度解決し、結果からコンテキスト ID を取得します。ページ内では何も実行されず、ページに何も追加されません。この検索が失敗した場合にのみ、元の手法にフォールバックします。つまり、メインワールドにバインディングを作成し、それを呼び出してコンテキスト ID を保存します。フォールバックは自身の後始末を行いますが、ページがランダムな名前のグローバルを一時的に認識する可能性があります。
🟢 長所: メインワールドへのアクセスを維持し、Web Worker や iframe でも動作する究極のアプローチです。既存のコードベースを変更する必要はありません。
🔴 短所: 現時点では見つかっていません。
Page.createIsolatedWorld を介して新しい分離コンテキストを作成し、その ID を保存します。🟢 長所: すべてのコードが別の分離ワールドで実行されるため、ページスクリプトが MutationObserver などの手法で変更を検出するのを防げます。
🔴 短所: メインコンテキストの変数やコードにアクセスできなくなります。一部のユースケースではこれが必要ですが、分離コンテキストは一般的にほとんどのシナリオで問題なく動作します。また、Web Worker では新しいワールドを作成できないため、Worker 内でコードを実行できません。これはニッチなユースケースですが、状況によっては重要になる場合があります。この問題には回避策があります。How to Access Main Context Objects from Isolated Context in Puppeteer & Playwright をお読みください。
Runtime.Enable を呼び出し、その後すぐに Runtime.Disable を呼び出します。これにより Runtime.executionContextCreated イベントがトリガーされ、適切なコンテキスト ID を取得できます。
🟢 長所: メインコンテキストに完全にアクセスできます。
🔴 短所: この短い時間枠の間に、ページがリークにつながるコードを呼び出すわずかな可能性があります。検出コードは通常、CAPTCHA ページやログイン/登録フォームなど特定のアクション中、多くの場合ページ読み込み直後に呼び出されるため、リスクは低いです。ビジネスロジックは通常、もう少し後に呼び出されます。
🎉 当社のテストでは、これらのアプローチはすべて現在 Cloudflare や DataDome によって検出できないことが示されています。
注: 環境変数を使用して、このパッチの設定をオンザフライで変更できます。これにより、ビジネスロジックに基づいてパッチ適用版と非適用版を簡単に切り替えられます。
REBROWSER_PATCHES_RUNTIME_FIX_MODE=addBinding — addBinding 手法(デフォルト)。メインワールドへのアクセスを維持し、iframe や Web Worker でも動作します。REBROWSER_PATCHES_RUNTIME_FIX_MODE=alwaysIsolated — すべてのスクリプトを常に分離コンテキストで実行します。ページスクリプトはあなたの実行を観察できませんが、メインワールドへのアクセス、page.exposeFunction()、および(Puppeteer の)Web Worker を失います。REBROWSER_PATCHES_RUNTIME_FIX_MODE=enableDisable — Enable/Disable 手法を使用します。推奨されません: 短時間ではありますが Runtime.enable を呼び出すため、完全にリークフリーではありません。特定のページで addBinding が失敗する場合にのみ使用してください。REBROWSER_PATCHES_RUNTIME_FIX_MODE=0 — このリークに対する修正を完全に無効化しますREBROWSER_PATCHES_DEBUG=1 — いくつかのデバッグメッセージを有効化しますこれらの変数はさまざまな方法で設定できることを覚えておいてください。たとえば、コード内で次のように設定できます:
process.env.REBROWSER_PATCHES_RUNTIME_FIX_MODE = "alwaysIsolated"
またはコマンドラインで:
REBROWSER_PATCHES_RUNTIME_FIX_MODE=alwaysIsolated node app.js
デフォルトでは、Puppeteer は page.evaluate() 内のすべてのスクリプトに //# sourceURL=pptr:... を追加し、Playwright は UtilityScript という名前のヘルパークラスを介して page.evaluate() を実行します。あなたのコードの実行中に(たとえば、あなたのコードが触れる getter から)new Error().stack を取得するページは、それらの名前を見て、自動化されていることを認識します。