Dsiem

Dsiem 是一个用于 ELK 栈的安全事件关联引擎，使该平台能够作为专用且功能齐全的 SIEM 系统使用。

Dsiem 为标准化日志/事件提供 OSSIM 风格的关联，对威胁情报和漏洞信息源执行查找/查询，并生成风险调整后的告警。

功能特性

• 支持独立或集群模式运行，使用 NATS 作为前端和后端节点之间的消息总线。结合 ELK，使整个 SIEM 平台具备水平扩展能力。
• OSSIM 风格的关联和指令规则，简化从 OSSIM 的迁移过程。
• 通过威胁情报和漏洞信息源的数据对告警进行富化。内置支持 Arkime Wise（支持 Alienvault OTX 等）和 Nessus CSV 导出。其他数据源可通过插件轻松实现支持。
• 通过 Metricbeat 和/或 Elastic APM 服务器支持可观测性。无需为此额外搭建技术栈。
• 内置速率和背压控制，可根据硬件容量和事件处理可接受延迟，设置从 Logstash 接收的最小和最大事件/秒。
• 松耦合设计，可与其他基础设施平台组合，不试图包揽一切。松耦合也意味着如有需要，Dsiem 可作为 OSSIM 风格的关联引擎与非 ELK 栈配合使用。
• 功能完备：
  • 指令转换工具，可读取 OSSIM XML 指令文件并将其转换为 Dsiem JSON 风格配置。
  • SIEM 插件创建工具，可读取 Elasticsearch 中现有的索引模式，并生成必要的 Logstash 配置以将相关字段内容克隆到 Dsiem。该工具还可生成 Dsiem 所需的基本指令，用于关联接收的事件并生成告警。
  • 辅助工具，用于通过网络向 Dsiem 提供 Nessus CSV 文件。
  • 轻量级 Angular Web UI，用于基本的告警管理（关闭、标记），并轻松跳转到 Kibana 中相关索引进行实际分析。
• 显然，云原生、十二因素应用等。

工作原理

flowchart TB

l1 --> |标准化日志/事件| e1
l1 --> |告警|e1
l1 --> |标准化日志/事件| d1

f1 --> |日志| l1

s1 --> |日志| f1
s2 --> |日志| f1
s3 --> |日志| f1

d1 --> |告警| d2
d2 --> |告警| l1
d1 --> |查询| d3

subgraph Elasticsearch
  e1[Elasticsearch]
end

subgraph Logstash
  l1[Logstash] 
end

subgraph Filebeat
 f1[Syslog/Filebeat]
end

subgraph 日志源
  s1[IDS]
  s2[防火墙]
  s3[操作系统]
end

subgraph Dsiem
  d1[Dsiem]
  d2[Dsiem-filebeat]
  d3[威胁情报/漏洞信息源]
end

在上述图中：

1. 日志源将日志发送到 Syslog/Filebeat，然后 Filebeat 将日志发送到 Logstash，并附带一个唯一标识字段。Logstash 根据日志源类型使用不同的过滤器解析日志，并将结果发送到 Elasticsearch，通常为每种日志类型创建一个索引模式（例如，从 Suricata IDS 接收的日志使用 suricata-*，SSH 日志使用 ssh-* 等）。

2. Dsiem 使用一个专用的 Logstash 配置文件，在日志经过 Logstash 解析后立即克隆传入的事件。通过同一配置文件，新克隆的事件（独立于原始事件）用于收集 Dsiem 所需的字段，如标题、源 IP、目标 IP 等。

3. 上一步的输出称为标准化事件，因为它以单一格式表示来自多个不同来源的日志，并具有一组公共字段。这些事件随后通过 Logstash HTTP 输出插件发送到 Dsiem，并以索引名称模式 siem_events-* 发送到 Elasticsearch。

4. Dsiem 根据配置的指令规则对传入的标准化事件进行关联，执行威胁情报和漏洞查找，如果满足规则条件则生成告警。告警写入本地日志文件，由本地 Filebeat 采集并发送到 Logstash。

5. 在 Logstash 端，还有另一个 Dsiem 专用配置文件，用于读取提交的告警并将其推送到 Elasticsearch 中的最终 SIEM 告警索引。

上述过程的最终结果是，我们只需监控单个 Elasticsearch 索引即可查看新告警和现有告警的更新。

安装

可以使用 Docker Compose 或发布版二进制文件安装 Dsiem。有关详细信息，请参阅安装指南。

另外，还有一个基于 Docker Compose 或虚拟机的演示环境，您可以通过一个简单的 Web 界面评估 Dsiem 的所有集成功能。

文档

当前可用文档位于此处。

报告错误和问题

请通过新建 GitHub 问题 提交错误和问题报告。安全敏感信息（例如潜在安全漏洞的细节）也可以发送至 [email protected]。该地址的 GPG 公钥可在此找到。

如何贡献

非常欢迎贡献！提交用于修复错误和添加测试的 PR，用于解析设备事件的 Logstash 配置文件片段，SIEM 指令规则，或新的威胁情报/漏洞查找插件。

如果您对某个具体问题不确定如何操作，请随时打开 issue 并先进行讨论。

许可证

该项目采用 GPLv3 许可证。贡献者无需签署任何形式的 CAA/CLA 或类似协议：我们认为他们接受此 GitHub 服务条款即已足够。