Ladder

Ladder هو وكيل ويب HTTP.

简体中文

Ladder هو أداة للمطورين لاختبار وتحليل تطبيقات أنظمة الدفع (paywalls) وسلوك توصيل المحتوى على المواقع الحديثة.

يتيح للمطورين والباحثين والناشرين محاكاة بيئات عملاء مختلفة (مثل المتصفحات وبرامج الزحف) وملاحظة كيفية تقديم المحتوى في ظروف متنوعة. وهذا يجعله مفيدًا لتصحيح أخطاء إعدادات أنظمة الدفع، والتحقق من ضوابط الوصول، وترويسات HTTP، وضمان سلوك متناسق عبر وكلاء المستخدم المختلفين.

صُمم Ladder لأغراض الاختبار والبحث وضمان الجودة المشروعة فقط. ويجب استخدامه فقط بما يتوافق مع القوانين المعمول بها وشروط خدمة الموقع المستهدف.

كيف يعمل

sequenceDiagram
    client->>+ladder: GET
    ladder-->>ladder: apply RequestModifications
    ladder->>+website: GET
    website->>-ladder: 200 OK
    ladder-->>ladder: apply ResultModifications
    ladder->>-client: 200 OK

الميزات

• إزالة/تعديل ترويسات CORS من الاستجابات والأصول والصور ...
• إزالة/تعديل الترويسات الأخرى (مثل Content-Security-Policy)
• إزالة/حقن كود مخصص (HTML, CSS, JavaScript) في الصفحة
• تطبيق قواعد/كود مبنية على النطاق لتعديل الاستجابة / عنوان URL المطلوب
• إبقاء الموقع قابلًا للتصفح
• API
• جلب HTML الخام (RAW)
• وكيل مستخدم مخصص
• عنوان IP مخصص لـ X-Forwarded-For
• حاوية Docker (amd64, arm64)
• ملف ثنائي لينكس
• ملف ثنائي لنظام Mac OS
• ملف ثنائي لنظام Windows (غير مُختبَر)
• المصادقة الأساسية (Basic Auth)
• سجلات الوصول
• قد يكسر التتبع والإعلانات ومحتوى الأطراف الثالثة
• قصر الوكيل على قائمة نطاقات
• إتاحة مجموعة القواعد (Ruleset) لنسخ Ladder الأخرى
• اختبار Robots.txt
• وكيل TOR اختياري
• مفتاح لمشاركة رابط تمت بروكسته

القيود

تقدم بعض المواقع محتوى مختلفًا (إخفاء/Cloaking) اعتمادًا على نوع العميل الذي يصل إليها (على سبيل المثال، برامج زحف محركات البحث مقابل متصفحات الويب القياسية). يمكن تكوين Ladder لمحاكاة أنواع عملاء مختلفة من أجل استرجاع المحتوى المتاح للعامة لأغراض الاختبار أو الأتمتة أو البحث.

ومع ذلك، تنفذ العديد من المواقع آليات متقدمة لتقييد الوصول الآلي، مثل البصمة الرقمية (fingerprinting)، أو تحديد المعدل (rate limiting)، أو التحليل السلوكي. لا يتجاوز Ladder هذه الحمايات وقد لا يعمل بشكل صحيح على الخدمات التي تقيد الوصول أو تتحكم فيه بنشاط.

توجد أدوات تابعة لجهات خارجية مثل FlareSolverr ويمكن استخدامها بشكل مستقل لعرض صفحات الويب في بيئة متصفح بدون واجهة رسومية (headless). هذه الأدوات ليست جزءًا من Ladder، وقد يخضع استخدامها لقيود قانونية وتعاقدية. يتحمل المستخدمون وحدهم مسؤولية ضمان امتثال استخدامهم لجميع اللوائح المعمول بها.

التثبيت

تحذير: إذا كان مثيلك (instance) سيكون متاحًا للجمهور، فتأكد من تفعيل المصادقة الأساسية (Basic Auth). سيمنع ذلك المستخدمين غير المصرح لهم من استخدام وكيلك. إذا لم تفعّل المصادقة الأساسية، يمكن لأي شخص استخدام وكيلك لتصفح محتوى سيئ/غير قانوني. وستُحمَّل المسؤولية عن ذلك.

الملف الثنائي

1. نزّل الملف الثنائي من هنا
2. فك الضغط وشغّل الملف الثنائي ./ladder -r https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml
3. افتح المتصفح (الافتراضي: http://localhost:8080)

Docker

docker run -p 8080:8080 -d --env RULESET=https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml --name ladder ghcr.io/everywall/ladder:latest

Docker Compose

curl https://raw.githubusercontent.com/everywall/ladder/main/docker-compose.yaml --output docker-compose.yaml
docker-compose up -d

Helm

انظر README.md في المجلد الفرعي helm-chart لمزيد من المعلومات.

الاستخدام

المتصفح

1. افتح المتصفح (الافتراضي: http://localhost:8080)
2. أدخل عنوان URL
3. اضغط Enter

أو بشكل مباشر بإلحاق عنوان URL بنهاية عنوان الوكيل: http://localhost:8080/https://www.example.com

أو أنشئ إشارة مرجعية (bookmark) بالعنوان التالي:

javascript:window.location.href="http://localhost:8080/"+location.href

API

curl -X GET "http://localhost:8080/api/https://www.example.com"

RAW

http://localhost:8080/raw/https://www.example.com

تشغيل مجموعة القواعد (Ruleset)

http://localhost:8080/ruleset

الإعدادات

متغيرات البيئة

المتغير	الوصف	القيمة
PORT	المنفذ الذي سيستمع عليه	8080
PREFORK	تشغيل عدة مثيلات للخادم	false
USER_AGENT	وكيل المستخدم الذي سيتم محاكاته	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
X_FORWARDED_FOR	عنوان إعادة توجيه IP	66.249.66.1
USERPASS	يفعّل المصادقة الأساسية، الصيغة admin:123456	``
LOG_URLS	تسجيل عناوين URL التي تم جلبها	true
DISABLE_FORM	يعطّل نموذج URL في الواجهة الأمامية	false
FORM_PATH	المسار إلى نموذج HTML مخصص	``
RULESET	مسار أو عنوان URL لملف مجموعة القواعد، يقبل المجلدات المحلية	https://raw.githubusercontent.com/everywall/ladder-rules/main/ruleset.yaml أو /path/to/my/rules.yaml أو /path/to/my/rules/
EXPOSE_RULESET	جعل مجموعة القواعد الخاصة بك متاحة لنسخ Ladder أخرى	true
ALLOWED_DOMAINS	قائمة مفصولة بفواصل بالنطاقات المسموح بها. فارغ = لا قيود	``
ALLOWED_DOMAINS_RULESET	السماح بالنطاقات من مجموعة القواعد. false = لا قيود	false
FLARESOLVERR_HOST	عنوان URL لخدمة FlareSolverr لتجاوز Cloudflare (اختياري)	http://localhost:8191

ALLOWED_DOMAINS و ALLOWED_DOMAINS_RULESET يتم دمجهما معًا. إذا كان كلاهما فارغًا، فلن تُطبَّق أي قيود. | BASE_PATH | المسار الأساسي للوكيل، مفيد إذا كنت تريد تشغيل الوكيل على مسار فرعي (مثل: http://localhost:8080/proxy/) | `` |

مجموعة القواعد (Ruleset)

من الممكن تطبيق قواعد مخصصة لتعديل الاستجابة أو عنوان URL المطلوب. يمكن استخدام ذلك لإزالة عناصر غير مرغوب فيها أو تعديل عناصر من الصفحة. مجموعة القواعد عبارة عن ملف YAML، أو مجلد يحتوي على ملفات YAML، أو عنوان URL لملف YAML يحتوي على قائمة قواعد لكل نطاق. يتم تحميل هذه القواعد عند بدء التشغيل.

توجد مجموعة قواعد أساسية متاحة في مستودع منفصل ruleset.yaml. لا تتردد في إضافة قواعدك الخاصة وإنشاء طلب سحب (pull request).