decode-spam-headers.py

चाहे आप अपने दैनिक प्रशासनिक कार्यों के लिए यह समझने की कोशिश कर रहे हों कि कोई विशेष ई-मेल SPAM/Junk में क्यों चला गया, या अपने Red-Team Phishing सिमुलेशन उद्देश्यों के लिए, यह स्क्रिप्ट आपकी मदद के लिए मौजूद है!

यह विचार MS Office365 E5 एस्टेट के खिलाफ व्यावसायिक Phishing Simulation अभ्यासों को वितरित करते समय आया, जो MS Defender for Office365 से सुसज्जित है। जैसा कि कोई कल्पना कर सकता है, फ़िशिंग-सिमुलेशन के दृष्टिकोण से काम करने के लिए यह काफी कठिन सुरक्षा स्टैक है।

इन सभी Office365 SMTP हेडरों को मैन्युअल रूप से खंगालने और इन SCL मानों को चुनने की कोशिश करने के बाद, SMTP हेडरों के लिए एक उचित पार्सर लिखने का समय आ गया।

समय बीतता गया, मैं अधिक से अधिक SMTP हेडरों के लिए समर्थन जोड़ता रहा - और यह रहा। यह टूल अब दर्जनों विभिन्न हेडरों को समझता है।

जानकारी

यह टूल इनपुट के रूप में सभी SMTP हेडरों वाली एक *.EML या *.txt फ़ाइल स्वीकार करता है। फिर यह दिलचस्प हेडरों का एक उपसमुच्चय निकालेगा और 105+ परीक्षणों का उपयोग करके उन्हें जितना संभव हो उतना डिकोड करने का प्रयास करेगा।

यह स्क्रिप्ट सभी IPv4 पतों और डोमेन नामों को भी निकालती है और उनका पूर्ण DNS रिज़ॉल्यूशन करती है।

परिणामी आउटपुट में उपयोगी जानकारी होगी कि यह ई-मेल क्यों ब्लॉक किया गया हो सकता है।

अपने क्लाइंट को भेजने से पहले अपने Phishing HTML कोड को बेहतर बनाने के लिए, आप इसे मेरे phishing-HTML-linter.py में भी फीड करना चाह सकते हैं। यह आपके HTML में उन bad smells को खोजने में काफी अच्छा काम करता है जो आपके ई-मेल को बढ़े हुए Spam-score के साथ भेजेंगे।

उदाहरण स्क्रीनशॉट

• MTA सर्वरों की श्रृंखला (अच्छी तरह से पार्स किए गए Received हेडर):

• सार्वजनिक रूप से उपलब्ध दस्तावेज़ीकरण के अनुसार विभिन्न हेडरों को जितना संभव हो उतना डिकोड किया गया (यहाँ Office365 ForeFront Spam Report):

• स्पैम वर्गीकरण के संकेतों को सक्रिय रूप से सत्यापित करने और खोजने के लिए विभिन्न कस्टम ह्यूरिस्टिक्स लागू किए गए हैं, यहाँ Domain Impersonation का पता लगाने वाला तर्क:

• स्क्रिप्ट Office365 Anti-Spam नियमों में से कुछ को रिवर्स-इंजीनियर और दस्तावेज़ित करने का प्रयास करती है, साथ ही अन्य अपारदर्शी Anti-Spam हेडरों के बारे में सार्वजनिक ज्ञान एकत्र करती है:

• रिपोर्ट को अच्छे दिखने वाले HTML में उत्पन्न किया जा सकता है (उपयोग: py decode-spam-headers.py headers.txt -f html -o report.html ):

संसाधित हेडर

संसाधित हेडर (85+ से अधिक हेडर पार्स किए जाते हैं):

• X-forefront-antispam-report
• X-exchange-antispam
• X-exchange-antispam-mailbox-delivery
• X-exchange-antispam-message-info
• X-microsoft-antispam-report-cfa-test
• Received
• From
• To
• Subject
• Thread-topic
• Received-spf
• X-mailer
• X-originating-ip
• User-agent
• X-forefront-antispam-report
• X-microsoft-antispam-mailbox-delivery
• X-microsoft-antispam
• X-exchange-antispam-report-cfa-test
• X-spam-status
• X-spam-level
• X-spam-flag
• X-spam-report
• X-vr-spamcause
• X-ovh-spam-reason
• X-vr-spamscore
• X-virus-scanned
• X-spam-checker-version
• X-ironport-av
• X-ironport-anti-spam-filtered
• X-ironport-anti-spam-result
• X-mimecast-spam-score
• Spamdiagnosticmetadata
• X-ms-exchange-atpmessageproperties
• X-msfbl
• X-ms-exchange-transport-endtoendlatency
• X-ms-oob-tlc-oobclassifiers
• X-ip-spam-verdict
• X-amp-result
• X-ironport-remoteip
• X-ironport-reputation
• X-sbrs
• X-ironport-sendergroup
• X-policy
• X-ironport-mailflowpolicy
• X-remote-ip
• X-sea-spam
• X-fireeye
• X-antiabuse
• X-tmase-version
• X-tm-as-product-ver
• X-tm-as-result
• X-imss-scan-details
• X-tm-as-user-approved-sender
• X-tm-as-user-blocked-sender
• X-tmase-result
• X-tmase-snap-result
• X-imss-dkim-white-list
• X-tm-as-result-xfilter
• X-tm-as-smtp
• X-scanned-by
• X-mimecast-spam-signature
• X-mimecast-bulk-signature
• X-sender-ip
• X-forefront-antispam-report-untrusted
• X-microsoft-antispam-untrusted
• X-sophos-senderhistory
• X-sophos-rescan
• X-MS-Exchange-CrossTenant-Id
• X-OriginatorOrg
• IronPort-Data
• IronPort-HdrOrdr
• X-DKIM
• DKIM-Filter
• X-SpamExperts-Class
• X-SpamExperts-Evidence
• X-Recommended-Action
• X-AppInfo
• X-Spam
• X-TM-AS-MatchedID
• X-MS-Exchange-EnableFirstContactSafetyTip
• X-MS-Exchange-Organization-BypassFocusedInbox
• X-MS-Exchange-SkipListedInternetSender
• X-MS-Exchange-ExternalOriginalInternetSender
• X-CNFS-Analysis
• X-Authenticated-Sender
• X-Apparently-From
• X-Env-Sender
• Sender

इनमें से अधिकांश हेडर पूरी तरह से प्रलेखित नहीं हैं, इसलिए स्क्रिप्ट सभी विवरणों को इंगित करने में असमर्थ है, लेकिन कम से कम यह वह सब कुछ एकत्र करता है जो मैं उन पर पा सका।

रिवर्स-इंजीनियरिंग प्रयास

मैं विभिन्न Office365 ForeFront Anti-Spam नियमों (SFS, ENG) को पहचानने और समझने के लिए महत्वपूर्ण प्रयास कर रहा हूँ, भले ही वे सार्वजनिक रूप से प्रलेखित नहीं हैं।```

(5) Test: X-Forefront-Antispam-Report

HEADER: X-Forefront-Antispam-Report

VALUE: CIP:209.85.167.100;CTRY:US;LANG:de;SCL:5;SRV:;IPV:NLI;SFV:SPM;H:mail-lf1-f100.google.com;PTR:mail-l f1-f100.google.com;CAT:DIMP;SFTY:9.19;SFS:(4636009)(956004)(166002)(6916009)(356005)(336012)(19 625305002)(22186003)(5660300002)(4744005)(6666004)(35100500006)(82960400001)(26005)(7596003)(7636003)(554460 02)(224303003)(1096003)(58800400005)(86362001)(9686003)(43540500002);DIR:INB;SFTY:9.19;

[...]

    - Message matched 24 Anti-Spam rules (SFS):           <============ opaque anti-spam rules
            - (1096003)
            - (166002)
            - (19625305002)
            - (22186003)
            - (224303003)
            - (26005)
            - (336012)
            - (356005)
            - (35100500006)         - (SPAM) Message contained embedded image.

यह प्रक्रिया पूरी तरह से मैनुअल है और इसमें Office365 मेल सर्वरों पर विशेष रूप से डिज़ाइन किए गए मेल भेजने का सहारा लिया जाता है, और फिर एकत्रित नियमों की मैन्युअल समीक्षा और सहसंबंध किया जाता है।

पहले ही 60 से अधिक मेल भेज चुका हूँ, अब तक Microsoft के नियमों के बारे में मैं यही बता सकता हूँ:```py

    #
    # Below rules were collected solely in a trial-and-error manner or by scraping any 
    # pieces of information from all around the Internet.
    #
    # They do not represent the actual Anti-Spam rule name or context and surely represent 
    # something close to what is understood (or they may have totally different meaning).
    # 
    # Until we'll be able to review anti-spam rules documention, there is no viable mean to map
    # rule ID to its meaning.
    #

    Anti_Spam_Rules_ReverseEngineered = \
    {
        '35100500006' : logger.colored('(SPAM) Message contained embedded image.', 'red'),

        # https://docs.microsoft.com/en-us/answers/questions/416100/what-is-meanings-of-39x-microsoft-antispam-mailbox.html
        '520007050' : logger.colored('(SPAM) Moved message to Spam and created Email Rule to move messages from this particular sender to Junk.', 'red'),

        # triggered on an empty mail with subject being: "test123 - viagra"
        '162623004' : 'Subject line contained suspicious words (like Viagra).',