面向 AWS 的开源安全数据湖

Matano 开源安全数据湖是一个开源的云原生安全数据湖，专为 AWS 上的安全团队构建。

[!NOTE] Matano 提供商业托管式云 SIEM，适用于完整的企业安全运营平台。了解更多。

文档 | 网站 | 社区

功能特性

安全数据湖： 将非结构化安全日志规范化，在您的 AWS 账户中构建结构化的实时数据湖。
收集所有日志： 开箱即用集成 50+ 数据源用于安全日志，并可轻松通过自定义数据源扩展。
检测即代码： 使用 Python 将实时检测构建为代码。支持自动导入 Sigma 检测到 Matano。
日志转换管道： 支持自定义 VRL（Vector Remap Language）脚本，在日志摄取时进行解析、丰富、规范化和转换，无需管理任何服务器。
无厂商锁定： 使用开放表格式（Apache Iceberg）和开放模式标准（ECS），以厂商中立的格式让您完全拥有安全数据。
自带分析工具： 直接从任何兼容 Iceberg 的引擎（AWS Athena、Snowflake、Spark、Trino 等）查询您的安全数据湖，无需复制数据。
无服务器： 完全无服务器，专为 AWS 设计，致力于实现高扩展性、低成本和零运维。

架构

👀 使用场景

降低 SIEM 成本。
使用安全数据湖增强您的 SIEM，在调查期间提供更多上下文。
使用 Python 编写检测即代码，检测可疑行为并创建上下文相关警报。
兼容 ECS 的无服务器替代 ELK / Elastic Security 堆栈。

✨ 集成

受管日志源

告警目标

查询引擎

快速开始

查看完整安装说明

安装

安装 matano CLI 以将 Matano 部署到您的 AWS 账户中，并管理您的部署。

Linux```bash curl -OL https://github.com/matanolabs/matano/releases/download/nightly/matano-linux-x64.sh chmod +x matano-linux-x64.sh sudo ./matano-linux-x64.sh

**macOS**```bash
curl -OL https://github.com/matanolabs/matano/releases/download/nightly/matano-macos-x64.sh
chmod +x matano-macos-x64.sh
sudo ./matano-macos-x64.sh

部署

阅读完整的入门文档

要开始使用，运行 matano init 命令。

确保你的环境中（或 AWS CLI 配置文件中）拥有 AWS 凭证。
交互式 CLI 向导将引导你完成入门操作：为你生成一个初始的 Matano 目录，初始化你的 AWS 账户，并将其部署到你的 AWS 账户中。
初始部署需要几分钟时间。

目录结构

初始化完成后，你的 Matano 目录用于控制和管理项目中的所有资源，例如日志源、检测规则及其他配置。其结构如下：```bash ➜ example-matano-dir git:(main) tree ├── detections │ └── aws_root_credentials │ ├── detect.py │ └── detection.yml ├── log_sources │ ├── cloudtrail │ │ ├── log_source.yml │ │ └── tables │ │ └── default.yml │ └── zeek │ ├── log_source.yml │ └── tables │ └── dns.yml ├── matano.config.yml └── matano.context.json

当接入新的日志源或编写检测规则时，从项目中的任何位置运行 `matano deploy` 即可将更改部署到您的账户。

## 🔧 日志转换与数据标准化

[**阅读关于配置自定义日志源的完整文档**](https://www.matano.dev/docs/log-sources/configuration)

[Vector Remap Language (VRL)](https://vector.dev/docs/reference/vrl/) 允许您轻松接入自定义日志源，并鼓励您根据 [Elastic Common Schema (ECS)](https://www.elastic.co/guide/en/ecs/current/ecs-reference.html) 标准化字段，以实现在安全数据湖中增强的数据透视和大批量 IOC 搜索。

用户可以定义自定义 VRL 程序，在日志通过日志源支持的机制（例如 S3、SQS）被摄取时，解析和转换非结构化日志。

VRL 是一种面向表达式的语言，旨在以安全且高效的方式转换可观测性数据（例如日志）。它具有简单的语法和丰富的内置函数，专门针对可观测性用例而设计。

### 示例：解析 JSON

让我们看一个简单的示例。假设您正在处理如下所示的 HTTP 日志事件：```json
{
  "line": "{\"status\":200,\"srcIpAddress\":\"1.1.1.1\",\"message\":\"SUCCESS\",\"username\":\"ub40fan4life\"}"
}

您希望对每个事件应用以下更改：

matano

最受欢迎