Ladder

Ladder एक http वेब प्रॉक्सी है।

简体中文

Ladder एक डेवलपर टूल है जिसका उपयोग आधुनिक वेबसाइटों पर paywall कार्यान्वयन और सामग्री वितरण व्यवहार का परीक्षण और विश्लेषण करने के लिए किया जाता है।

यह डेवलपर्स, शोधकर्ताओं और प्रकाशकों को विभिन्न क्लाइंट वातावरणों (जैसे ब्राउज़र और क्रॉलर) का अनुकरण करने और यह देखने की अनुमति देता है कि विभिन्न परिस्थितियों में सामग्री कैसे प्रदान की जाती है। यह paywall कॉन्फ़िगरेशन को डीबग करने, एक्सेस कंट्रोल और http हेडर को सत्यापित करने तथा विभिन्न यूज़र एजेंटों में सुसंगत व्यवहार सुनिश्चित करने में उपयोगी बनाता है।

Ladder केवल वैध परीक्षण, शोध और गुणवत्ता आश्वासन उद्देश्यों के लिए है। इसका उपयोग केवल लागू कानूनों और लक्षित वेबसाइट की सेवा शर्तों के अनुपालन में किया जाना चाहिए।

यह कैसे काम करता है

sequenceDiagram
    client->>+ladder: GET
    ladder-->>ladder: apply RequestModifications
    ladder->>+website: GET
    website->>-ladder: 200 OK
    ladder-->>ladder: apply ResultModifications
    ladder->>-client: 200 OK

विशेषताएँ

• प्रतिक्रियाओं, संपत्तियों और छवियों से CORS हेडर हटाएँ/संशोधित करें ...
• अन्य हेडर हटाएँ/संशोधित करें (जैसे Content-Security-Policy)
• पृष्ठ में कस्टम कोड (HTML, CSS, JavaScript) हटाएँ/इंजेक्ट करें
• प्रतिक्रिया / अनुरोधित URL को संशोधित करने के लिए डोमेन-आधारित ruleset/कोड लागू करें
• साइट को ब्राउज़ करने योग्य रखें
• API
• RAW HTML प्राप्त करें
• कस्टम User Agent
• कस्टम X-Forwarded-For IP
• Docker container (amd64, arm64)
• Linux बाइनरी
• Mac OS बाइनरी
• Windows बाइनरी (अपरीक्षित)
• Basic Auth
• एक्सेस लॉग
• ट्रैकिंग, विज्ञापन और अन्य तृतीय-पक्ष सामग्री को तोड़ सकता है
• प्रॉक्सी को डोमेन की सूची तक सीमित करें
• Ruleset को अन्य लैडरों के लिए उजागर करें
• Robots.txt परीक्षण
• वैकल्पिक TOR प्रॉक्सी
• प्रॉक्सी किए गए URL को साझा करने के लिए एक कुंजी

सीमाएँ

कुछ वेबसाइटें उन तक पहुँचने वाले क्लाइंट के प्रकार के आधार पर अलग सामग्री (Cloaking) प्रदान करती हैं (उदाहरण के लिए, सर्च इंजन क्रॉलर बनाम मानक वेब ब्राउज़र)। Ladder को विभिन्न क्लाइंट प्रकारों का अनुकरण करने के लिए कॉन्फ़िगर किया जा सकता है ताकि परीक्षण, स्वचालन या शोध उद्देश्यों के लिए सार्वजनिक रूप से सुलभ सामग्री प्राप्त की जा सके।

हालाँकि, कई वेबसाइटें स्वचालित पहुँच को प्रतिबंधित करने के लिए उन्नत तंत्र लागू करती हैं, जैसे फ़िंगरप्रिंटिंग, रेट लिमिटिंग या व्यवहारिक विश्लेषण। Ladder ऐसी सुरक्षाओं को दरकिनार नहीं करता है और उन सेवाओं पर सही ढंग से कार्य नहीं कर सकता है जो सक्रिय रूप से पहुँच को प्रतिबंधित या नियंत्रित करती हैं।

FlareSolverr जैसे तृतीय-पक्ष टूल मौजूद हैं और इन्हें हेडलेस ब्राउज़र वातावरण में वेब पेज प्रस्तुत करने के लिए स्वतंत्र रूप से उपयोग किया जा सकता है। ये टूल Ladder का हिस्सा नहीं हैं, और उनका उपयोग कानूनी और संविदात्मक प्रतिबंधों के अधीन हो सकता है। उपयोगकर्ता यह सुनिश्चित करने के लिए पूरी तरह जिम्मेदार हैं कि उनका उपयोग सभी लागू नियमों का अनुपालन करता है।

इंस्टॉलेशन

चेतावनी: यदि आपका इंस्टेंस सार्वजनिक रूप से सुलभ होगा, तो Basic Auth सक्षम करना सुनिश्चित करें। यह अनधिकृत उपयोगकर्ताओं को आपके प्रॉक्सी का उपयोग करने से रोकेगा। यदि आप Basic Auth सक्षम नहीं करते हैं, तो कोई भी आपके प्रॉक्सी का उपयोग अश्लील/अवैध चीज़ें ब्राउज़ करने के लिए कर सकता है। और इसके लिए आपको जिम्मेदार ठहराया जाएगा।

बाइनरी

1. बाइनरी यहाँ से डाउनलोड करें
2. बाइनरी को अनपैक करें और चलाएँ ./ladder -r https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml
3. ब्राउज़र खोलें (डिफ़ॉल्ट: http://localhost:8080)

Docker

docker run -p 8080:8080 -d --env RULESET=https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml --name ladder ghcr.io/everywall/ladder:latest

Docker Compose

curl https://raw.githubusercontent.com/everywall/ladder/main/docker-compose.yaml --output docker-compose.yaml
docker-compose up -d

Helm

अधिक जानकारी के लिए helm-chart उप-निर्देशिका में README.md देखें।

उपयोग

ब्राउज़र

1. ब्राउज़र खोलें (डिफ़ॉल्ट: http://localhost:8080)
2. URL दर्ज करें
3. Enter दबाएँ

या प्रॉक्सी URL के अंत में URL जोड़कर सीधे: http://localhost:8080/https://www.example.com

या निम्न URL के साथ एक बुकमार्क बनाएँ:

javascript:window.location.href="http://localhost:8080/"+location.href

API

curl -X GET "http://localhost:8080/api/https://www.example.com"

RAW

http://localhost:8080/raw/https://www.example.com

Running Ruleset

http://localhost:8080/ruleset

कॉन्फ़िगरेशन

पर्यावरण चर

Variable	Description	Value
PORT	सुनने के लिए पोर्ट	8080
PREFORK	कई सर्वर इंस्टेंस स्पॉन करें	false
USER_AGENT	अनुकरण करने के लिए यूज़र एजेंट	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
X_FORWARDED_FOR	IP फ़ॉरवर्डर पता	66.249.66.1
USERPASS	Basic Auth सक्षम करता है, प्रारूप admin:123456	``
LOG_URLS	प्राप्त URL लॉग करें	true
DISABLE_FORM	URL फ़ॉर्म फ्रंटपेज अक्षम करें	false
FORM_PATH	कस्टम फ़ॉर्म HTML का पथ	``
RULESET	ruleset फ़ाइल का पथ या URL, स्थानीय निर्देशिकाओं को स्वीकार करता है	https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml या /path/to/my/rules.yaml या /path/to/my/rules/
EXPOSE_RULESET	अपनी Ruleset को अन्य लैडरों के लिए उपलब्ध कराएँ	true
ALLOWED_DOMAINS	अनुमत डोमेन की अल्पविराम से अलग की गई सूची। खाली = कोई सीमा नहीं	``
ALLOWED_DOMAINS_RULESET	Ruleset से डोमेन की अनुमति दें। false = कोई सीमा नहीं	false
FLARESOLVERR_HOST	Cloudflare बाईपास के लिए FlareSolverr सेवा का URL (वैकल्पिक)	http://localhost:8191

ALLOWED_DOMAINS और ALLOWED_DOMAINS_RULESET को एक साथ जोड़ा जाता है। यदि दोनों खाली हैं, तो कोई सीमा लागू नहीं होती। | BASE_PATH | प्रॉक्सी के लिए बेस पथ, उपयोगी यदि आप प्रॉक्सी को सबपाथ पर चलाना चाहते हैं (जैसे http://localhost:8080/proxy/) | `` |

Ruleset

प्रतिक्रिया या अनुरोधित URL को संशोधित करने के लिए कस्टम नियम लागू करना संभव है। इसका उपयोग पृष्ठ से अवांछित तत्वों को हटाने या संशोधित करने के लिए किया जा सकता है। Ruleset एक YAML फ़ाइल, YAML फ़ाइलों वाली निर्देशिका, या YAML फ़ाइल का URL है जिसमें प्रत्येक डोमेन के लिए नियमों की सूची होती है। ये नियम स्टार्टअप पर लोड होते हैं।

एक अलग रिपॉजिटरी ruleset.yaml में एक बुनियादी ruleset उपलब्ध है। बेझिझक अपने नियम जोड़ें और पुल रिक्वेस्ट बनाएँ।