dirtyfilthy/freshonions-torscraperفريش أونيونز هو زاحف TOR / عنكبوت خدمة مخفية مفتوح المصدر مستضاف على zlal32teyptf4tvi.onion
هذه نسخة من المصدر الخاص بالخدمة المخفية http://zlal32teyptf4tvi.onion، والتي تنفذ متصفح/زاحف للخدمات المخفية لـ TOR وموقع ويب.
هذا البرنامج متاح بموجب رخصة GNU Affero العامة GPL 3. معنى ذلك أنه إذا قمت بنشر هذا البرنامج كجزء من برنامج شبكي متاح للجمهور، فيجب عليك إتاحة الكود المصدري (وأي تعديلات).
من موقع GNU:
The GNU Affero General Public License is a modified version of the ordinary GNU GPL version 3. It has one added requirement: if you run a modified program on a server and let other users communicate with it there, your server must also allow them to download the source code corresponding to the modified version running there
pip install -r requirements.txt
Create mysql db from schema.sql
قم بتحرير etc/database لإعداد قاعدة البيانات الخاصة بك
قم بتحرير etc/proxy لإعداد TOR الخاص بك
script/push.sh someoniondirectory.onion
script/push.sh anotheroniondirectory.onion
قم بتحرير etc/uwsgi_only واضبط BASEDIR على المكان الذي تم تثبيت torscraper فيه (مثل /home/user/torscraper)
شغّل:
init/scraper_service.sh # to start crawling
init/isup_service.sh # to keep site status up to date
يأتي torscraper مع قدرة اختيارية لـ Elasticsearch (مفعلة افتراضيًا). قم بتحرير etc/elasticsearch واضبط المتغيرات أو اضبط ELASTICSEARCH_ENABLED=false لتعطيله. شغّل scripts/elasticsearch_migrate.sh لإجراء الإعداد الأولي بعد التكوين.
إذا تم تعطيل Elasticsearch، فلن يكون هناك بحث نصي كامل، ومع ذلك سيستمر الزحف واكتشاف المواقع الجديدة في العمل.
# جمع الخدمات المخفية من مصادر مختلفة
1 18 * * * /home/scraper/torscraper/scripts/harvest.sh
# الحصول على بصمات SSH للمواقع الجديدة
1 4,16 * * * /home/scraper/torscraper/scripts/update_fingerprints.sh
# وضع علامات على المواقع كحقيقية/مزيفة من القائمة الفائقة /r/darknetmarkets
1 9 * * 1 /home/scraper/torscraper/scripts/get_valid.sh
# استخراج البيانات من pastebin بحثًا عن الخدمات المخفية (يتطلب حساب مدفوع/قائمة بيضاء للـ IP)
*/5 * * * * /home/scraper/torscraper/scripts/pastebin.sh
# فحص منافذ الخدمات المخفية الجديدة
1 */6 * * * /home/scraper/torscraper/scripts/portscan_up.sh
# استخراج بيانات stronghold paste
32 */2 * * * /home/scraper/torscraper/scripts/stronghold_paste_rip.sh
# كشف النسخ
16 3 * * * /home/scraper/torscraper/scripts/detect_clones.sh
يعمل Fresh Onions على خادمين، مضيف أمامي يدير قاعدة البيانات وموقع الخدمة المخفية، ومضيف خلفي يدير الزاحف. ربما الأكثر إثارة للاهتمام للقارئ هو إعداد المضيف الخلفي. TOR كعميل هو أحادي الخيط تمامًا. أعلم! إنه عام 2017، وإلى جانب النقص التام في السيارات الطائرة، يعمل TOR في خيط واحد. معنى ذلك أنه إذا حاولت تشغيل زاحف على نسخة واحدة من TOR، ستجد بسرعة أنك تستخدم وحدة المعالجة المركزية بنسبة 100%.
حل هذه المشكلة هو تشغيل عدة نسخ من TOR والاتصال بها من خلال نوع من الواجهة الأمامية التي ستوزع طلباتك بطريقة التدوير. زاحف Fresh Onions يدير ثماني نسخ من Tor.
تأتي Debian (وأوبونتو) مع برنامج مفيد "tor-instance-create" لإنشاء نسخ متعددة من TOR بسرعة. استخدمت Squid كوكيل أمامي، لكن للأسف لا يمكنه الاتصال بـ SOCKS مباشرة، لذا استخدمت "privoxy" كوكيل وسيط. ستحتاج إلى نسخة واحدة من privoxy لكل نسخة من TOR. يوجد سكريبت في "scripts/create_privoxy.sh" للمساعدة في إنشاء نسخ privoxy على أنظمة Debian. كما يساعد استبدال /etc/privoxy/default.filter بملف فارغ لتقليل حمل المعالج بإزالة التعابير العادية غير الضرورية.
بالإضافة إلى ذلك، قد يكون هذا المورد https://www.howtoforge.com/ultimate-security-proxy-with-tor مفيدًا في إعداد Squid. إذا كنت فقط تقوم بالزحف ولا تهتم بإخفاء الهوية، فأنا أوصي أيضًا بتشغيل TOR في وضع tor2web (يتطلب إعادة تجميع) لزيادة السرعة.