matano

AWS के लिए ओपन सोर्स सिक्योरिटी डेटा लेक

Matano Open Source Security डेटा लेक एक ओपन सोर्स क्लाउड-नेटिव सिक्योरिटी डेटा लेक है, जो AWS पर सुरक्षा टीमों के लिए बनाया गया है।

[!NOTE] Matano एक संपूर्ण एंटरप्राइज़ सिक्योरिटी ऑपरेशंस प्लेटफ़ॉर्म के लिए एक व्यावसायिक प्रबंधित क्लाउड SIEM प्रदान करता है। और जानें।

विशेषताएं

• सिक्योरिटी डेटा लेक: अपने AWS खाते में असंरचित सुरक्षा लॉग को एक संरचित रीयलटाइम डेटा लेक में सामान्यीकृत करें।
• अपने सभी लॉग संग्रहित करें: सुरक्षा लॉग के लिए बॉक्स से बाहर 50+ स्रोतों के साथ एकीकृत होता है और इसे कस्टम स्रोतों के साथ आसानी से विस्तारित किया जा सकता है।
• डिटेक्शन-एज़-कोड: Python का उपयोग करके रीयलटाइम डिटेक्शन को कोड के रूप में बनाएं। मैटानो में Sigma डिटेक्शन के स्वचालित आयात के लिए समर्थन।
• लॉग ट्रांसफॉर्मेशन पाइपलाइन: कस्टम VRL (Vector Remap Language) स्क्रिप्टिंग का समर्थन करता है जो बिना किसी सर्वर के प्रबंधन के आपके लॉग को पार्स, समृद्ध, सामान्यीकृत और रूपांतरित करता है जैसे ही वे अंतर्ग्रहण होते हैं।
• कोई विक्रेता लॉक-इन नहीं: एक ओपन टेबल फ़ॉर्मेट (Apache Iceberg) और ओपन स्कीमा मानकों (ECS) का उपयोग करता है, ताकि आपको एक विक्रेता-तटस्थ प्रारूप में आपके सुरक्षा डेटा का पूर्ण स्वामित्व मिल सके।
• अपना स्वयं का एनालिटिक्स लाएं: डेटा को कॉपी किए बिना किसी भी Iceberg-संगत इंजन (AWS Athena, Snowflake, Spark, Trino आदि) से सीधे अपने सिक्योरिटी लेक को क्वेरी करें।
• सर्वरलेस: पूरी तरह से सर्वरलेस और विशेष रूप से AWS के लिए डिज़ाइन किया गया है और उच्च पैमाने, कम लागत और शून्य-संचालन को सक्षम करने पर ध्यान केंद्रित करता है।

आर्किटेक्चर

👀 उपयोग के मामले

• SIEM लागत कम करें।
• जांच के दौरान अतिरिक्त संदर्भ के लिए अपने SIEM को सिक्योरिटी डेटा लेक के साथ संवर्धित करें।
• संदिग्ध व्यवहार का पता लगाने और प्रासंगिक अलर्ट बनाने के लिए Python का उपयोग करके डिटेक्शन-एज़-कोड लिखें।
• ELK / Elastic Security स्टैक का ECS-संगत सर्वरलेस विकल्प।

✨ एकीकरण

प्रबंधित लॉग स्रोत

• AWS CloudTrail
• AWS Route53
• AWS VPC Flow
• AWS Config
• AWS ELB
• Amazon S3 Server Access
• Amazon S3 Inventory Reports
• Amazon Inspector
• Amazon WAF
• Cloudflare
• Crowdstrike
• Duo
• Okta
• GitHub
• Google Workspace
• Office 365
• Snyk

अलर्ट गंतव्य

• Amazon SNS
• Slack

क्वेरी इंजन

• Amazon Athena (default)
• Snowflake (preview)
• Spark
• Trino
• BigQuery Omni (BigLake)
• Dremio

त्वरित आरंभ

पूर्ण स्थापना निर्देश देखें

स्थापना

अपने AWS खाते में Matano को तैनात करने और अपने डिप्लॉयमेंट को प्रबंधित करने के लिए matano CLI स्थापित करें।

Linux```bash curl -OL https://github.com/matanolabs/matano/releases/download/nightly/matano-linux-x64.sh chmod +x matano-linux-x64.sh sudo ./matano-linux-x64.sh

**macOS**```bash
curl -OL https://github.com/matanolabs/matano/releases/download/nightly/matano-macos-x64.sh
chmod +x matano-macos-x64.sh
sudo ./matano-macos-x64.sh

परिनियोजन

शुरुआत करने के लिए पूर्ण दस्तावेज़ पढ़ें

शुरुआत करने के लिए, matano init कमांड चलाएँ।

• सुनिश्चित करें कि आपके वातावरण में AWS credentials हैं (या AWS CLI profile में)।
• इंटरैक्टिव CLI विज़ार्ड आपको एक प्रारंभिक Matano निर्देशिका उत्पन्न करके, आपके AWS खाते को प्रारंभ करके, और आपके AWS खाते में परिनियोजित करके शुरुआत करने में मार्गदर्शन करेगा।
• प्रारंभिक परिनियोजन में कुछ मिनट लगते हैं।

निर्देशिका संरचना

एक बार प्रारंभ होने के बाद, आपकी Matano निर्देशिका का उपयोग आपके प्रोजेक्ट में सभी संसाधनों जैसे लॉग स्रोत, डिटेक्शन, और अन्य कॉन्फ़िगरेशन को नियंत्रित और प्रबंधित करने के लिए किया जाता है। इसे इस प्रकार संरचित किया गया है:```bash ➜ example-matano-dir git:(main) tree ├── detections │ └── aws_root_credentials │ ├── detect.py │ └── detection.yml ├── log_sources │ ├── cloudtrail │ │ ├── log_source.yml │ │ └── tables │ │ └── default.yml │ └── zeek │ ├── log_source.yml │ └── tables │ └── dns.yml ├── matano.config.yml └── matano.context.json

जब किसी नए लॉग स्रोत को शामिल कर रहे हों या कोई डिटेक्शन लिख रहे हों, तो अपने प्रोजेक्ट में कहीं से भी `matano deploy` चलाएं ताकि परिवर्तन आपके खाते में तैनात हो जाएं।

## 🔧 लॉग रूपांतरण और डेटा सामान्यीकरण

[**कस्टम लॉग स्रोतों को कॉन्फ़िगर करने पर पूर्ण दस्तावेज़ पढ़ें**](https://www.matano.dev/docs/log-sources/configuration)

[Vector Remap Language (VRL)](https://vector.dev/docs/reference/vrl/), आपको आसानी से कस्टम लॉग स्रोतों को शामिल करने की अनुमति देता है और आपको [Elastic Common Schema (ECS)](https://www.elastic.co/guide/en/ecs/current/ecs-reference.html) के अनुसार फ़ील्ड्स को सामान्यीकृत करने के लिए प्रोत्साहित करता है ताकि आपके सुरक्षा डेटा लेक में बेहतर पिवोटिंग और IOCs के लिए बल्क सर्च सक्षम हो सके।

उपयोगकर्ता कस्टम VRL प्रोग्राम्स को परिभाषित कर सकते हैं ताकि अनस्ट्रक्चर्ड लॉग्स को पार्स और रूपांतरित किया जा सके जब वे किसी लॉग स्रोत के लिए समर्थित तंत्रों (जैसे S3, SQS) के माध्यम से अंतर्ग्रहण हो रहे हों।

VRL एक अभिव्यक्ति-उन्मुख भाषा है जो ऑब्जर्वेबिलिटी डेटा (जैसे लॉग्स) को सुरक्षित और प्रभावी तरीके से रूपांतरित करने के लिए डिज़ाइन की गई है। इसमें सरल सिंटैक्स और विशेष रूप से ऑब्जर्वेबिलिटी उपयोग मामलों के लिए तैयार किए गए अंतर्निहित फंक्शन्स का समृद्ध सेट है।

### उदाहरण: JSON पार्स करना

आइए एक सरल उदाहरण देखें। कल्पना करें कि आप HTTP लॉग इवेंट्स के साथ काम कर रहे हैं जो इस तरह दिखते हैं:```json
{
  "line": "{\"status\":200,\"srcIpAddress\":\"1.1.1.1\",\"message\":\"SUCCESS\",\"username\":\"ub40fan4life\"}"
}

आप प्रत्येक घटना पर ये परिवर्तन लागू करना चाहते हैं:

• कच्चे line स्ट्रिंग को JSON में पार्स करें, और फ़ील्ड्स को शीर्ष स्तर पर विस्तारित करें
• srcIpAddress का नाम बदलकर source.ip ECS फ़ील्ड करें
• username फ़ील्ड हटाएँ
• message को लोअरकेस में बदलें

इस VRL प्रोग्राम को आपके लॉग स्रोत में transform चरण के रूप में जोड़ने से वह सब पूरा हो जाएगा:

log_source.yml```yml

transform: | . = object!(parse_json!(string!(.json.line))) .source.ip = del(.srcIpAddress) del(.username) .message = downcase(string!(.message))

schema: ecs_field_names: - source.ip - http.status

परिणामी घटना 🎉:```json
{
  "message": "success",
  "status": 200,
  "source": {
    "ip": "1.1.1.1"
  }
}

📝 डिटेक्शन लिखना

डिटेक्शन पर पूर्ण दस्तावेज़ पढ़ें

अपने सुरक्षा लॉग में खतरों पर अलर्ट करने वाले नियमों को परिभाषित करने के लिए डिटेक्शन का उपयोग करें। एक डिटेक्शन एक पायथन प्रोग्राम है जो रीयलटाइम में लॉग स्रोत के डेटा के साथ लागू किया जाता है और एक अलर्ट बना सकता है।

उदाहरण

AWS CloudTrail लॉग में AWS EC2 इंस्टेंस निर्यात करने के असफल प्रयासों का पता लगाएं।```python

def detect(record): return ( record.deepget("event.action") == "CreateInstanceExportTask" and record.deepget("event.provider") == "ec2.amazonaws.com" and record.deepget("event.outcome") == "failure" )

#### सभी कॉन्फ़िगर किए गए लॉग स्रोतों (जैसे Okta, AWS, GWorkspace) में IP द्वारा ब्रूट फोर्स लॉगिन का पता लगाएं

###### detect.py```python
def detect(r):
    return (
        "authentication" in r.deepget("event.category", [])
        and r.deepget("event.outcome") == "failure"
    )


def title(r):
    return f"Multiple failed logins from {r.deepget('user.full_name')} - {r.deepget('source.ip')}"


def dedupe(r):
    return r.deepget("source.ip")

detection.yml```yaml

tables:

• aws_cloudtrail
• okta_system
• o365_audit alert: severity: medium threshold: 5 deduplication_window_minutes: 15 destinations:
  • slack_my_team

#### उपयोगकर्ता के लिए पहले कभी न देखे गए IP से सफल लॉगिन का पता लगाना```python
from detection import remotecache

# a cache of user -> ip[]
user_to_ips = remotecache("user_ip")

def detect(record):
    if (
      record.deepget("event.action") == "ConsoleLogin" and
      record.deepget("event.outcome") == "success"
    ):
        # A unique key on the user name
        user = record.deepget("user.name")

        existing_ips = user_to_ips[user] or []
        updated_ips = user_to_ips.add_to_string_set(
          user,
          record.deepget("source.ip")
        )

        # Alert on new IPs
        new_ips = set(updated_ips) - set(existing_ips)
        if existing_ips and new_ips:
            return True

🚨 चेतावनी

अलर्टिंग पर पूर्ण दस्तावेज़ पढ़ें

अलर्ट तालिका

सभी अलर्ट स्वचालित रूप से matano_alerts नामक Matano तालिका में संग्रहीत होते हैं। अलर्ट और नियम मिलान (rule matches) ECS में सामान्यीकृत होते हैं और इनमें नियम मिलान को ट्रिगर करने वाली मूल घटना के साथ-साथ अलर्ट और नियम डेटा का संदर्भ शामिल होता है।

उदाहरण क्वेरीज़

Summarize alerts in the last week that are activated (exceeded the threshold)
``````sql
select
  matano.alert.id as alert_id,
  matano.alert.rule.name as rule_name,
  max(matano.alert.title) as title,
  count(*) as match_count,
  min(matano.alert.first_matched_at) as first_matched_at,
  max(ts) as last_matched_at,
  array_distinct(flatten(array_agg(related.ip))) as related_ip,
  array_distinct(flatten(array_agg(related.user))) as related_user,
  array_distinct(flatten(array_agg(related.hosts))) as related_hosts,
  array_distinct(flatten(array_agg(related.hash))) as related_hash
from
  matano_alerts
where
  matano.alert.first_matched_at > (current_timestamp - interval '7' day)
  and matano.alert.activated = true
group by
  matano.alert.rule.name,
  matano.alert.id
order by
  last_matched_at desc

अलर्ट वितरित करना

आप अलर्ट को बाहरी सिस्टम पर वितरित कर सकते हैं। आप अलर्टिंग SNS विषय का उपयोग करके ईमेल, Slack और अन्य सेवाओं पर अलर्ट वितरित कर सकते हैं।

Slack पर वितरित एक मध्यम गंभीरता का अलर्ट

❤️ सामुदायिक सहायता

उपयोग के बारे में सामान्य सहायता के लिए, कृपया आधिकारिक दस्तावेज़ीकरण देखें। अतिरिक्त सहायता के लिए, प्रश्न पूछने के लिए इनमें से किसी एक चैनल का उपयोग करने में संकोच न करें:

• Discord (परिवार में शामिल हों, और टीम और समुदाय के साथ समय बिताएं)
• फ़ोरम (सुविधाओं, परियोजना या समस्याओं के बारे में गहन चर्चा के लिए)
• GitHub (बग रिपोर्ट, योगदान)
• Twitter (ताज़ा खबरें प्राप्त करें)

👷 योगदानकर्ता

इन अद्भुत लोगों को धन्यवाद (इमोजी कुंजी):

यह परियोजना all-contributors विनिर्देश का पालन करती है। किसी भी प्रकार का योगदान स्वागत योग्य है!

लाइसेंस

• Apache-2.0 License