مجمع الاستخبارات الأمنية Machinae

Machinae هي أداة لجمع الاستخبارات من المواقع/الخلاصات العامة حول أنواع مختلفة من البيانات المتعلقة بالأمن: عناوين IP، أسماء النطاقات، عناوين URL، عناوين البريد الإلكتروني، بصمات الملفات وبصمات SSL. استُوحيَت من [Automater][1]، وهي أداة ممتازة أخرى لجمع المعلومات. وُلد مشروع Machinae من الرغبة في تحسين Automater في 4 مجالات:

1. قاعدة الشيفرة - نقل Automater إلى التوافق مع Python3 مع جعل الشيفرة أكثر Pythonic
2. التكوين - استخدام صيغة تكوين أكثر قابلية للقراءة من قبل البشر (YAML)
3. المُدخلات - دعم تحليل JSON بشكل جاهز دون الحاجة لكتابة تعبيرات منتظمة، مع الاستمرار في دعم استخراج البيانات بالتعبيرات المنتظمة عند الحاجة
4. المُخرجات - دعم أنواع إخراج إضافية، بما في ذلك JSON، مع جعل الإخراج الإضافي اختيارياً

التثبيت

يمكن تثبيت Machinae باستخدام pip3:

pip3 install machinae

أو، إذا كنت تشعر بالمغامرة، يمكن تثبيته مباشرة من github:

pip3 install git+https://github.com/HurricaneLabs/machinae.git

ستحتاج إلى توفير أي تبعيات مطلوبة على نظامك لـ تجميع وحدات Python (على الأنظمة القائمة على Debian، حزمة python3-dev)، بالإضافة إلى حزمة تطوير libyaml (على الأنظمة القائمة على Debian، حزمة libyaml-dev).

ستحتاج أيضاً إلى الحصول على [أحدث ملف تكوين][2] ووضعه في /etc/machinae.yml.

ملف التكوين

يدعم Machinae نظاماً بسيطاً لدمج التكوين يسمح لك بإجراء تعديلات على التكوين دون تعديل ملف machinae.yml الذي نقدمه لك، مما يجعل تحديثات التكوين سهلة للغاية. يتم ذلك من خلال العثور على تكوين افتراضي على مستوى النظام (افتراضياً /etc/machinae.yml)، ثم دمج تكوين محلي على مستوى النظام (/etc/machinae.local.yml) وأخيراً تكوين محلي لكل مستخدم (~/.machinae.yml). يمكن أيضاً وضع التكوين على مستوى النظام في دليل العمل الحالي، أو يمكن تعيينه باستخدام متغير البيئة MACHINAE_CONFIG، أو بالطبع باستخدام خياري سطر الأوامر -c أو --config. يمكن تعطيل دمج التكوين بتمرير الخيار --nomerge، مما سيجعل Machinae يقوم بتحميل التكوين الافتراضي على مستوى النظام فقط (أو الذي تم تمريره عبر سطر الأوامر).

كمثال على ذلك، لنفترض أنك تريد تفعيل موقع Fortinet Category، وهو معطل افتراضياً. يمكنك تعديل /etc/machinae.yml، لكن هذه التغييرات ستُستبدل عند التحديث. بدلاً من ذلك، يمكنك وضع المحتوى التالي في أي من /etc/machinae.local.yml أو ~/.machinae.yml:

fortinet_classify:
  default: true

أو على العكس، لتعطيل موقع، مثل Virus Total pDNS:

vt_ip:
  default: false
vt_domain:
  default: false

الاستخدام

استخدام Machinae مشابه جداً لـ Automater:

usage: machinae [-h] [-c CONFIG] [--nomerge] [-d DELAY] [-f FILE] [-i INFILE] [-v]
            [-o {D,J,N,S}] [-O {ipv4,ipv6,fqdn,email,sslfp,hash,url}] [-q]
            [-s SITES] [-a AUTH] [-H HTTP_PROXY]
            [--dump-config | --detect-otype]
            ...

• انظر أعلاه للحصول على تفاصيل الخيارات -c/--config و --nomerge.

• يدعم Machinae الخيار -d/--delay، مثل Automater. ومع ذلك، يستخدم Machinae 0 افتراضياً.

• يتم التحكم في إخراج Machinae من خلال وسيطين:

  • يتحكم -o في صيغة الإخراج، ويمكن أن يتبعه حرف واحد للإشارة إلى نوع الإخراج المطلوب:
    • N هو الإخراج الافتراضي ("عادي")
    • D هو الإخراج الافتراضي، ولكن يتم استبدال أحرف النقطة
    • J هو إخراج JSON
  • يحدد -f/--file الملف الذي يجب كتابة الإخراج إليه. الافتراضي هو "-" للإخراج القياسي stdout.

• سيحاول Machinae الكشف التلقائي عن نوع الهدف المُمرر (يشير Machinae إلى الأهداف باسم "observables" والنوع باسم "otype"). يمكن تجاوز هذا الكشف باستخدام الخيار -O/--otype. الخيارات مدرجة في الاستخدام أعلاه.

• افتراضياً، يعمل Machinae في وضع verbose. في هذا الوضع، سيقوم بإخراج معلومات حالة حول الخدمات التي يستعلم عنها على وحدة التحكم أثناء الاستعلام. سيتم كتابة هذا الإخراج دائماً إلى stdout بغض النظر عن إعداد الإخراج. لتعطيل وضع verbose، استخدم -q

• افتراضياً، سيقوم Machinae بتشغيل جميع الخدمات في التكوين التي تنطبق على كل otype للهدف وليست موسومة بـ "default: false". لتعديل هذا السلوك، يمكنك:

  • تمرير قائمة مفصولة بفواصل بالمواقع لتشغيلها (استخدم المفتاح الرئيسي من التكوين).
  • تمرير الكلمة المفتاحية الخاصة all لتشغيل جميع الخدمات بما في ذلك تلك الموسومة بـ "default: false"

  لاحظ أنه في كلتا الحالتين، لا يزال التحقق من صحة otype مطبقاً.

• يدعم Machinae تمرير بروكسي HTTP عبر سطر الأوامر باستخدام الوسيطة -H/--http-proxy. إذا لم يتم تحديد بروكسي، سيبحث Machinae في متغيرات البيئة القياسية HTTP_PROXY و HTTPS_PROXY، بالإضافة إلى متغيرات البيئة الأقل شيوعاً http_proxy و https_proxy.

• أخيراً، يجب تمرير قائمة بالأهداف. جميع الوسائط بخلاف الخيارات المدرجة أعلاه سيتم تفسيرها كأهداف.

مصادر البيانات الجاهزة

يأتي Machinae مع دعم جاهز لمصادر البيانات التالية:

• IPVoid
• URLVoid
• URL Unshortener (http://www.toolsvoid.com/unshorten-url)
• Malc0de
• SANS
• FreeGeoIP (freegeoip.io)
• Fortinet Category
• VirusTotal pDNS (عبر استخراج من الويب - معلق)
• VirusTotal pDNS (عبر API JSON)
• VirusTotal URL Report (عبر API JSON)
• VirusTotal File Report (عبر API JSON)
• Reputation Authority
• ThreatExpert
• VxVault
• ProjectHoneypot
• McAfee Threat Intelligence
• StopForumSpam
• Cymru MHR
• ICSI Certificate Notary
• TotalHash (معطل افتراضياً)
• DomainTools Parsed Whois (يتطلب مفتاح API)
• DomainTools Reverse Whois (يتطلب مفتاح API)
• DomainTools Reputation
• IP WHOIS (باستخدام واجهات REST لـ RIR)
• Hacked IP
• Metadefender Cloud (يتطلب مفتاح API)
• GreyNoise (يتطلب مفتاح API)
• IBM XForce (يتطلب مفتاح API)

مع إضافة مصادر بيانات إضافية قريباً.

مصادقة HTTP الأساسية والتكوين

يدعم Machinae مصادقة HTTP الأساسية للمواقع التي تتطلب ذلك من خلال العلم --auth/-a. ستحتاج إلى إنشاء ملف YAML ببيانات اعتمادك، والذي سيتضمن مفتاحاً للموقع الذي يتطلب بيانات الاعتماد وقائمة من عنصرين، اسم المستخدم وكلمة المرور أو مفتاح API. على سبيل المثال، بالنسبة لموقع PassiveTotal المضمن قد يبدو هذا كالتالي:

passivetotal: ['[email protected]', 'my_api_key']

داخل تكوين الموقع تحت request سترى مفتاحاً مثل:

json:
  request:
    url: '...'
    auth: passivetotal

يشير auth: passivetotal إلى المفتاح داخل تكوين المصادقة المُمرر عبر سطر الأوامر.

معطل افتراضياً

المواقع التالية معطلة افتراضياً

• Fortinet Category (fortinet_classify)
• Telize Geo IP (telize)
• TotalHash (totalhash_ip)
• DomainTools Parsed Whois (domaintools_parsed_whois)
• DomainTools Reverse Whois (domaintools_reverse_whois)
• DomainTools Reputation (domaintools_reputation)
• PassiveTotal Passive DNS (passivetotal_pdns)
• PassiveTotal Whois (passivetotal_whois)
• PassiveTotal SSL Certificate History (passivetotal_sslcert)
• PassiveTotal Host Attribute Components (passivetotal_components)
• PassiveTotal Host Attribute Trackers (passivetotal_trackers)
• MaxMind GeoIP2 Passive Insight (maxmind)
• FraudGuard (fraudguard)
• Shodan (shodan)
• Hacked IP
• Metadefender Cloud (يتطلب مفتاح API)
• GreyNoise (يتطلب مفتاح API)
• IBM XForce (يتطلب مفتاح API)

صيغ الإخراج

يأتي Machinae بمجموعة محدودة من صيغ الإخراج: عادي، عادي مع هروب النقاط، و JSON. نخطط لإضافة صيغ إخراج إضافية في المستقبل.

إضافة مواقع إضافية

*** قريباً ***

المشكلات المعروفة

• بعض مزودي خدمة الإنترنت في IPvoid يحتويون على كيانات HTML مشفرة مضاعفة، والتي لا يتم فك تشفيرها مرتين

الميزات القادمة