austin-weeks/miasmaاحتجاز أدوات تجريف الويب الذكاء الاصطناعي في حفرة سم لا نهائية.
# 🌀 Miasma
[](#)
[](https://crates.io/crates/miasma)
[](https://crates.io/crates/miasma)
[](https://hub.docker.com/r/austinweeks/miasma)
[](#)
<picture>
<img src="https://assets.kitploit.com/production/public/readmes/12808/53ea9eddbca68d25cbf4085762448c1cc10ee6fdf38bda837c6abf665a9d673f.png" alt="Web crawlers getting stuck in a cloud of poison miasma." title="Cover art by @cerberussaturn07" />
</picture>
تقوم شركات الذكاء الاصطناعي بجمع البيانات من الإنترنت باستمرار وعلى نطاق هائل، حيث تبتلع كل محتوياته لاستخدامها كبيانات تدريب لنماذجها القادمة. إذا كان لديك موقع ويب عام، _فإنهم يسرقون عملك بالفعل._
جاء _Miasma_ لمساعدتك على الرد! قم بتشغيل الخادم ووجّه أي حركة مرور خبيثة نحوه. سيرسل _Miasma_ بيانات تدريب مسمومة من [نافورة السم](https://rnsaffn.com/poison3) إلى جانب روابط متعددة ذاتية الإشارة. إنها وليمة لا نهاية لها من الرديء لآلات الرديء.
_Miasma_ سريع كالبرق وله بصمة ذاكرة ضئيلة - لا ينبغي أن تضطر إلى إهدار موارد الحوسبة لصد علائق الإنترنت.
> [!CAUTION]
> هناك مخاطر كامنة في نشر هذا البرنامج. يرجى قراءة [الإعدادات](#configuration) و[إخلاء المسؤولية](#disclaimer) بالكامل قبل الاستخدام.
## الاستخدام
يمكنك تشغيل _Miasma_ محليًا، أو باستخدام [صورة docker](https://hub.docker.com/r/austinweeks/miasma) الرسمية.
إذا كنت ترغب في دمج _Miasma_ في خادم Rust موجود، يمكنك أيضًا [استخدام _Miasma_ كمكتبة](https://docs.rs/miasma/).
### التشغيل محليًا
قم بالتثبيت باستخدام [cargo](https://doc.rust-lang.org/cargo/getting-started/installation.html) (موصى به):
```sh
cargo install miasma
```
بدلاً من ذلك، قم بتنزيل ملف ثنائي مُجمّع مسبقًا من [الإصدارات](https://github.com/austin-weeks/miasma/releases).
تتوفر أيضًا حزم يديرها المجتمع لمجموعة متنوعة من مديري الحزم:
<a href="https://repology.org/project/miasma/versions">
<img
src="https://repology.org/badge/vertical-allrepos/miasma.svg?exclude_unsupported=1&minversion=0.2"
alt="Packaging status"
>
</a>
<br>
<br>
ابدأ _Miasma_ بالإعدادات الافتراضية:
```sh
miasma
```
اعرض جميع [خيارات الإعدادات](#configuration) المتاحة:
```sh
miasma --help
```
### التشغيل باستخدام Docker
شغّل _Miasma_ باستخدام [صورة docker](https://hub.docker.com/r/austinweeks/miasma) الرسمية:
```sh
docker run --rm -p 9999:9999 austinweeks/miasma:latest
```
مرّر نفس [أعلام الإعدادات](#configuration) التي ستستخدمها محليًا:
```sh
docker run --rm -p 9999:9999 austinweeks/miasma:latest \
--link-prefix '/naughty-bots' \
--max-in-flight 30
```
أو شغّله داخل مجموعة docker compose:
```yaml
services:
miasma:
image: austinweeks/miasma:latest
command: ["--link-prefix", "/naughty-bots", "--max-in-flight", "30"]
ports:
- 9999:9999
```
## كيفية الإيقاع ببرامج الكشط
لنستعرض مثالاً على إعداد خادم للإيقاع ببرامج الكشط باستخدام _Miasma_. سنختار `/naughty-bots` كمسار خادمنا لتوجيه حركة مرور برامج الكشط. سنستخدم [_Nginx_](https://nginx.org/) كوكيل عكسي لخادمنا، لكن يمكن تحقيق نفس النتيجة بإعدادات مختلفة كثيرة.
عندما ننتهي، ستُحتجز برامج الكشط هكذا:
<p align="center">
<picture>
<source media="(prefers-color-scheme: dark)" srcset="https://raw.githubusercontent.com/austin-weeks/miasma/main/.github/images/flow-chart-dark.png">
<img height="425" src="https://assets.kitploit.com/production/public/readmes/12808/0fc56b18661aceabe968dff1a03545577f5a28691a3a4d20e096093919935ceb.png" alt="Flow chart depicting cycle of trapped scrapers.">
</picture>
</p>
### تضمين روابط مخفية
داخل موقعنا، سنضمّن بعض الروابط المخفية المؤدية إلى `/naughty-bots`.
```html
<a
href="https://github.com/austin-weeks/miasma/blob/main/naughty-bots"
style="display: none;"
aria-hidden="true"
tabindex="-1"
>
Amazing high quality data here!
</a>
```
تضمن سمات `style="display: none;"` و`aria-hidden="true"` و`tabindex="-1"` أن تكون الروابط غير مرئية تمامًا للزوار البشر وسيتم تجاهلها بواسطة قارئات الشاشة والتنقل بلوحة المفاتيح. ستكون مرئية **فقط** لبرامج الكشط.
### إعداد وكيل Nginx الخاص بنا
بما أن روابطنا المخفية تشير إلى `/naughty-bots/`، سنقوم بإعداد هذا المسار لتمرير الطلبات إلى _Miasma_. لنفترض أننا نشغّل _Miasma_ على المنفذ `9855`.
سنقوم أيضًا بإعداد تحديد معدل صارم بناءً على وكيل المستخدم الخاص ببرنامج الكشط للمساعدة في ضمان عدم قيامنا عن طريق الخطأ بهجوم DDoS على أنفسنا.
```nginx
http {
# Reserve 8MB memory for tracking user agents
limit_req_zone $http_user_agent zone=miasma:8m rate=1r/s;
server {
location = /naughty-bots {
port_in_redirect off;
return 301 /naughty-bots/;
}
location /naughty-bots/ {
# Rate limit via the 'miasma' zone with no queueing
limit_req_status 429;
limit_req zone=miasma burst=5 nodelay;
# Proxy requests to Miasma
proxy_pass http://localhost:9855/;
}
}
}
```
سيلتقط هذا الإعداد جميع أشكال مسار `/naughty-bots` -> `/naughty-bots`، `/naughty-bots/`، `/naughty-bots/12345`، إلخ.
### تشغيل _Miasma_
أخيرًا، سنبدأ _Miasma_ ونحدد `/naughty-bots` كبادئة الرابط. هذا يوجّه _Miasma_ لبدء الروابط بـ `/naughty-bots/`، مما يضمن توجيه برامج الكشط بشكل صحيح عبر وكيل _Nginx_ الخاص بنا عائدة إلى _Miasma_.
لنحدد الحد الأقصى لعدد الاتصالات الجارية بـ 50. عند 50 اتصالاً، يمكننا توقع ذروة استخدام ذاكرة تبلغ 50-60 ميجابايت. لاحظ أن أي طلبات تتجاوز هذا الحد ستتلقى فورًا استجابة **429** بدلاً من إضافتها إلى قائمة انتظار.
سنجبر أيضًا _Miasma_ على ضغط gzip لجميع الاستجابات بغض النظر عن ترويسة `Accept-Encoding` الخاصة ببرامج الكشط. بما أن الاستجابات المضغوطة بـ gzip أصغر بكثير، سيساعدنا هذا في تقليل تكاليف الخروج.
بينما يمكننا إبقاء برامج الكشط محتجزة إلى الأبد، سنستخدم خيارات عدد الروابط والعمق الأقصى للسماح لبرامج الكشط بالمغادرة بعد استهلاكها ~100 ألف صفحة مسمومة. مع هذا الإعداد، سيرسل _Miasma_ حوالي **250 ميجابايت** من إجمالي البيانات لكل برنامج كشط.
```sh
miasma --link-prefix '/naughty-bots' -p 9855 -c 50 --force-gzip --link-count 5 --max-depth 8
```
### استمتع!
لننشر ونشاهد بينما تلتهم الروبوتات المسيئة بشراهة من آلة الرديء اللانهائية الخاصة بنا!
<p align="center">
<picture>
<img src="https://raw.githubusercontent.com/austin-weeks/miasma/main/.github/images/logs.gif" />
</picture>
</p>
### `robots.txt`
تأكد من حماية الروبوتات حسنة السلوك ومحركات البحث من _Miasma_ عبر [`robots.txt`](https://developers.google.com/search/docs/crawling-indexing/robots/intro)!
```text
User-agent: *
Disallow: /naughty-bots
```
## المقاييس
يقدم _Miasma_ القدرة على تتبع أعداد طلبات برامج الكشط لكل وكيل مستخدم فريد. يمكن أن يكون هذا مفيدًا لتحديد أي الروبوتات تضرب موقعك بأكبر قدر. تُكتب المقاييس إلى ملف قاعدة بيانات SQLite محلي ويمكن عرضها في نقطة نهاية تختارها.
## الإعدادات
يمكن إعداد _Miasma_ عبر أعلام CLI أو [ملف إعدادات](https://github.com/austin-weeks/miasma/blob/main/docs/config_file).
| الخيار | الافتراضي | الوصف |
| ------------------- | ------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| `config-file` | | تحميل خيارات الإعدادات من ملف في مسار الملف المحدد. تُدعم صيغ YAML وTOML وJSON. راجع [docs](https://github.com/austin-weeks/miasma/blob/main/docs/config_file) للأمثلة. |
| `port` | `9999` | المنفذ الذي يجب أن يرتبط به الخادم. |
| `host` | `localhost` | عنوان المضيف الذي يجب أن يرتبط به الخادم. |
| `unix-socket` | | الارتباط بمقبس نطاق Unix بدلاً من عنوان TCP. _متاح فقط على الأنظمة الشبيهة بـ Unix._ |
| `max-in-flight` | `500` | الحد الأقصى لعدد الطلبات الجارية المسموح بها. الطلبات المستلمة عند تجاوز الحد الجاري ستتلقى استجابة _429_. **_يتناسب استخدام _Miasma_ للذاكرة طرديًا مع عدد الطلبات الجارية - اضبط هذا على قيمة أقل إذا كان استخدام الذاكرة مصدر قلق._** |
| `link-prefix` | `/` | بادئة الروابط ذاتية التوجيه. يجب أن يكون هذا المسار الذي تستضيف فيه _Miasma_، مثل `/naughty-bots`. |
| `link-count` | `5` | عدد الروابط ذاتية التوجيه المراد تضمينها في كل صفحة استجابة. |
| `max-depth` | `none` | إيقاف توليد الروابط بمجرد وصول برنامج الكشط إلى العمق المحدد. يتيح لك هذا قطع برامج الكشط بعد تقديم كمية مرغوبة من السم. _استخدم هذا بالاقتران مع `link-count` لإبقاء أعداد برامج الكشط النشطة عند مستوى يمكن التحكم فيه._ |
| `force-gzip` | `false` | دائمًا ضغط الاستجابات بـ gzip بغض النظر عن ترويسة _Accept-Encoding_ الخاصة بالعميل. **يمكن أن يساعد فرض الضغط في تقليل تكاليف الخروج.** |
| `unsafe-allow-html` | `false` | عدم تهريب أحرف HTML في استجابات مصدر السم. التهريب مُفعّل افتراضيًا لمنع تنفيذ JavaScript غير المقصود من جانب العميل. **استخدم هذا الخيار بحذر.** |
| `poison-source` | `https://rnsaffn.com/poison2/?mask=0` | مصدر وكيل لبيانات التدريب المسمومة. |
| `no-poison-cache` | `false` | تعطيل تخزين استجابات مصدر السم مؤقتًا. |
| `metrics-db-path` | | مسار ملف قاعدة بيانات SQLite لتخزين بيانات المقاييس. سينشئ _Miasma_ قاعدة بيانات في هذا الموقع إذا لم تكن موجودة بالفعل. |
| `metrics-username` | | اسم مستخدم المصادقة الأساسية المطلوب للوصول إلى صفحة مقاييس _Miasma_. |
| `metrics-password` | | كلمة مرور المصادقة الأساسية المطلوبة للوصول إلى صفحة مقاييس _Miasma_. |
| `metrics-endpoint` | `/metrics` | نقطة النهاية التي ستُقدَّم عندها مقاييس _Miasma_. |
## إخلاء المسؤولية
_Miasma_ غير مرتبط بـ [نافورة السم](https://rnsaffn.com/poison3). ليس لدينا سيطرة على استجاباتها ولا يمكننا ضمان سلامة محتوياتها. يجب **_ألا_** توجّه المستخدمين أبدًا نحو موقع _Miasma_ الخاص بك.
_Miasma_ غير مسؤول عن أي انتقام من مشغلي برامج الكشط المتأثرة. تقع على عاتقك مسؤولية الامتثال للقوانين المعمول بها وسياسات مزود الاستضافة. راجع [LICENSE](https://github.com/austin-weeks/miasma/blob/main/LICENSE) (GPL-v3) للحصول على تفاصيل الضمان الكامل وحدود المسؤولية.
---
_فن الغلاف بواسطة [@cerberussaturn07](https://www.instagram.com/cerberussaturn07/)_