🪄 अज्ञेय ब्राउज़र ऑटोमेशन के लिए पैच

इस रिपो में लोकप्रिय वेब ऑटोमेशन लाइब्रेरीज़ को बेहतर बनाने के लिए पैच शामिल हैं। विशेष रूप से, यह puppeteer और playwright पैकेजों को लक्षित करता है।

ऑटोमेशन लाइब्रेरीज़ या ब्राउज़र व्यवहार के कुछ पहलुओं को सेटिंग्स या कमांड-लाइन स्विच के माध्यम से समायोजित नहीं किया जा सकता है। इसलिए, हम लाइब्रेरी के सोर्स कोड को पैच करके इन समस्याओं को ठीक करते हैं। हालाँकि यह दृष्टिकोण नाजुक है और लाइब्रेरीज़ के सोर्स कोड के बदलने पर यह टूट सकता है, लक्ष्य समुदाय की मदद से इस रिपो को बनाए रखना है ताकि पैच अपडेटेड रहें।

क्या मुझे वाकई किसी पैच की ज़रूरत है?

बिना किसी संशोधन के, Puppeteer और Playwright कुछ महत्वपूर्ण लीक के साथ आते हैं जिन्हें पहचानना आसान है। इससे कोई फर्क नहीं पड़ता कि आपके प्रॉक्सी, फ़िंगरप्रिंट और व्यवहार स्क्रिप्ट कितने अच्छे हैं, यदि आपने इसे पैच नहीं किया है, तो आप किसी भी बड़ी वेबसाइट के लिए सिर्फ एक बड़ा लाल झंडा हैं।

🕵️ आप प्रमुख आधुनिक डिटेक्शन के लिए अपने ऑटोमेशन सेटअप का परीक्षण rebrowser-bot-detector (स्रोत और विवरण) से आसानी से कर सकते हैं।

पैच से पहले 👎	पैच के बाद 👍

क्या कोई आसान ड्रॉप-इन रिप्लेसमेंट है?

यदि आप पैच और सभी संभावित त्रुटियों से नहीं जूझना चाहते हैं, तो आपके लिए एक ड्रॉप-इन समाधान है। इन पैकेजों ने मूल कोड के ऊपर rebrowser-patches को लागू किया है, इससे अधिक कुछ नहीं।

Puppeteer: rebrowser-puppeteer (स्रोत) और rebrowser-puppeteer-core (स्रोत)

Playwright (Node.js): rebrowser-playwright (स्रोत) और rebrowser-playwright-core (स्रोत)

Playwright (Python): rebrowser-playwright (स्रोत)

इसे उपयोग करना शुरू करने का सबसे आसान तरीका है अपनी package.json को ठीक करना ताकि नए पैकेज का उपयोग हो लेकिन पुराना नाम alias के रूप में रहे। इस तरह, आपको अपने ऑटोमेशन का कोई सोर्स कोड बदलने की आवश्यकता नहीं है। यहाँ बताया गया है कि यह कैसे करना है:

1. package.json खोलें और "puppeteer": "^23.3.1" तथा "puppeteer-core": "^23.3.1" को "puppeteer": "npm:rebrowser-puppeteer@^23.3.1" और "puppeteer-core": "npm:rebrowser-puppeteer-core@^23.3.1" से बदलें। ध्यान दें: 23.3.1 सिर्फ एक उदाहरण है, npm पर नवीनतम संस्करण देखें।
2. npm install (या yarn install) चलाएँ

एक और तरीका है वास्तव में मूल पैकेज के बजाय नए पैकेज का उपयोग करना। आपको इन चरणों का पालन करना होगा:

1. package.json खोलें और puppeteer तथा puppeteer-core पैकेजों को rebrowser-puppeteer और rebrowser-puppeteer-core से बदलें। पैकेजों के संस्करण न बदलें, केवल नाम बदलें।
2. npm install (या yarn install) चलाएँ
3. अपनी स्क्रिप्ट में puppeteer और puppeteer-core के किसी भी उल्लेख को खोजें और उन्हें rebrowser-puppeteer और rebrowser-puppeteer-core से बदलें

🚀 बस इतना ही! rebrowser-bot-detector पेज पर जाएँ और अपने पैच किए हुए ब्राउज़र का परीक्षण करें।

हमारा लक्ष्य इन ड्रॉप-इन रिप्लेसमेंट पैकेजों को नवीनतम संस्करणों के साथ बनाए रखना और समर्थन करना है, लेकिन हम मुख्य रूप से नए संस्करणों पर ध्यान केंद्रित करते हैं, इसलिए यदि आप अभी भी शुरुआती दौर के puppeteer 13.3.7 का उपयोग कर रहे हैं, तो यह अपग्रेड करने का अच्छा समय हो सकता है। इस बात की अच्छी संभावना है कि यह वास्तव में कुछ नहीं तोड़ेगा क्योंकि API समय के साथ काफी स्थिर है।

उपलब्ध पैच

Runtime.Enable लीक को ठीक करें

लोकप्रिय ऑटोमेशन लाइब्रेरीज़ CDP कमांड Runtime.Enable पर निर्भर करती हैं, जो Runtime. डोमेन से इवेंट प्राप्त करने की अनुमति देता है। यह पृष्ठों पर JavaScript का मूल्यांकन करने के लिए उपयोग किए जाने वाले निष्पादन संदर्भों को प्रबंधित करने के लिए महत्वपूर्ण है, जो किसी भी ऑटोमेशन प्रक्रिया के लिए एक प्रमुख विशेषता है।

हालाँकि, एक तकनीक है जो इस कमांड के उपयोग का पता लगाती है, जिससे यह प्रकट होता है कि ब्राउज़र Puppeteer या Playwright जैसे ऑटोमेशन सॉफ़्टवेयर द्वारा नियंत्रित किया जा रहा है। यह तकनीक सभी प्रमुख एंटी-बॉट सॉफ़्टवेयर जैसे Cloudflare, DataDome और अन्य द्वारा उपयोग की जाती है।

हमने इस लीक पर अपनी जांच के बारे में एक पूरा लेख तैयार किया है, जिसे आप हमारे ब्लॉग में पढ़ सकते हैं।

इस तकनीक के अधिक विवरण के लिए, DataDome की ब्लॉग पोस्ट पढ़ें: How New Headless Chrome & the CDP Signal Are Impacting Bot Detection। संक्षेप में, यह पृष्ठ पर JavaScript की कुछ पंक्तियाँ हैं जो Runtime.Enable उपयोग होने पर स्वचालित रूप से कॉल होती हैं।

हमारा फिक्स हर फ्रेम पर स्वचालित Runtime.Enable कमांड को अक्षम कर देता है। इसके बजाय, हम फ्रेम बनने पर अज्ञात ID वाले संदर्भ मैन्युअल रूप से बनाते हैं। फिर, जब कोड निष्पादित करने की आवश्यकता होती है, तो संदर्भ ID प्राप्त करने के कई तरीके होते हैं।

1. मुख्य वर्ल्ड में एक नया binding बनाएँ, उसे कॉल करें और उसका संदर्भ ID सहेजें।

🟢 लाभ: सबसे उत्तम दृष्टिकोण जो मुख्य वर्ल्ड तक पहुँच बनाए रखता है और वेब वर्कर्स तथा iframes के साथ काम करता है। आपको अपने मौजूदा कोडबेस में कोई बदलाव करने की आवश्यकता नहीं है।

🔴 नुकसान: अब तक कोई नहीं खोजा गया है।

2. Page.createIsolatedWorld के माध्यम से एक नया isolated संदर्भ बनाएँ और उसकी ID सहेजें।

🟢 लाभ: आपका सारा कोड एक अलग isolated वर्ल्ड में निष्पादित होगा, जिससे पृष्ठ स्क्रिप्ट को MutationObserver और अन्य तकनीकों के माध्यम से आपके बदलावों का पता लगाने से रोका जा सकेगा।

🔴 नुकसान: आप मुख्य संदर्भ चर और कोड तक नहीं पहुँच पाएँगे। हालाँकि कुछ उपयोग मामलों के लिए यह आवश्यक है, isolated संदर्भ आमतौर पर अधिकांश परिदृश्यों के लिए ठीक काम करता है। साथ ही, वेब वर्कर्स नई वर्ल्ड बनाने की अनुमति नहीं देते हैं, इसलिए आप वर्कर के अंदर अपना कोड निष्पादित नहीं कर सकते। यह एक विशेष उपयोग मामला है लेकिन कुछ स्थितियों में मायने रख सकता है। इस समस्या के लिए एक समाधान है, कृपया How to Access Main Context Objects from Isolated Context in Puppeteer & Playwright पढ़ें।

3. Runtime.Enable कॉल करें और फिर तुरंत Runtime.Disable कॉल करें।

यह Runtime.executionContextCreated इवेंट को ट्रिगर करता है, जिससे हम सही संदर्भ ID पकड़ सकते हैं।

🟢 लाभ: आपको मुख्य संदर्भ तक पूर्ण पहुँच मिलेगी।

🔴 नुकसान: इस छोटी अवधि के दौरान इस बात की थोड़ी संभावना है कि पृष्ठ ऐसा कोड कॉल करेगा जो लीक की ओर ले जाता है। जोखिम कम है, क्योंकि डिटेक्शन कोड आमतौर पर CAPTCHA पेज या लॉगिन/रजिस्ट्रेशन फॉर्म जैसी विशिष्ट गतिविधियों के दौरान कॉल होता है, आमतौर पर पेज लोड होने के तुरंत बाद। आपका व्यावसायिक तर्क आमतौर पर थोड़ी देर बाद कॉल होता है।

🎉 हमारे परीक्षणों से पता चलता है कि ये सभी दृष्टिकोण वर्तमान में Cloudflare या DataDome द्वारा अज्ञेय हैं।