Kestrel の概要

ソフトウェア開発者は Python や Swift を書き、それをマシンコードに変換してビジネスロジックを素早くアプリケーションにします。脅威ハンターは Kestrel を書き、脅威仮説を素早くハントフローに変換します。私たちは脅威ハンティングを、カスタマイズされた侵入検知システムをその場で作成するための対話型手順と捉えており、ハントフローは通常のプログラムにおける制御フローに相当します。

.. image:: https://github.com/opencybersecurityalliance/kestrel-lang/raw/develop/docs/images/overview.png :width: 100% :alt: Kestrel の概要。

• Kestrel 言語：人間が何をハントするかを表現するための脅威ハンティング言語。

  • 何をの知識をパターン、分析、ハントフローで表現。
  • 個々のハンティングステップから再利用可能なハントフローを構成。
  • 人間に優しいエンティティベースのデータ表現抽象化による推論。
  • 異種データと脅威インテリジェンスソースを横断して思考。
  • 既存の公開・独自の検知ロジックを分析ハントステップとして適用。
  • 個々のハンティングステップ、ハントフロー、ハントブック全体の再利用と共有。

• Kestrel ランタイム：どのようにハントするかを扱うマシンインタプリタ。

  • 何をを特定のハンティングプラットフォーム命令に対してコンパイル。
  • コンパイルされたコードをローカルおよびリモートで実行。
  • 生のログとレコードをエンティティに組み立て、エンティティベースの推論を実現。
  • 中間データと関連レコードをキャッシュし、高速応答を実現。
  • 関連ログとレコードを先読みし、エンティティ間のリンク構築を実現。
  • データソースと分析実行のための拡張可能なインターフェースを定義。

基本概念と使い方

Kestrel ドキュメント_ にアクセスして Kestrel を学びましょう：

• 概念と構文を学ぶ：

  • Kestrel の包括的な紹介_
  • Kestrel の2つの重要な概念_
  • クイズ付きインタラクティブチュートリアル_
  • 言語リファレンスブック_

• 自身の環境でハントする：

  • Kestrel ランタイムのインストール_
  • データソースへの接続方法_
  • Python/Docker で分析ハントステップを実行する方法_
  • API 経由で Kestrel を使用する方法_
  • Kestrel を Docker コンテナとして起動する方法_

Kestrel 2

Kestrel 2 は Black Hat USA 2024_ でデビューします。Kestrel 1 の言語構文を維持しつつ、Kestrel 2 のランタイムを完全に再設計し、エンティティ、属性、関係の表現において、より優れたパフォーマンスとより柔軟な構文を実現しました。

Kestrel 2 の主な機能：

• インタプリタではなくジャストインタイムコンパイル

• 遅延評価と新しい EXPLAIN コマンド

• 深くネストされたクエリによるデータレイクハウス最適化

• STIX に加えて OCSF と OpenTelemetry のエンティティ/属性サポート

Kestrel 2 は現在ベータ版です。詳細は Kestrel ランタイムのインストール_ をご覧ください。

Kestrel ハントブックと分析

• Kestrel ハントブック_: コミュニティが貢献した Kestrel ハントブック
• Kestrel 分析_: コミュニティが貢献した Kestrel 分析

Kestrel ハンティングブログ

1. Building a Huntbook to Discover Persistent Threats from Scheduled Windows Tasks_
2. Practicing Backward And Forward Tracking Hunts on A Windows Host_
3. Building Your Own Kestrel Analytics and Sharing With the Community_
4. Setting Up The Open Hunting Stack in Hybrid Cloud With Kestrel and SysFlow_
5. Try Kestrel in a Cloud Sandbox_
6. Fun with securitydatasets.com and the Kestrel PowerShell Deobfuscator_
7. Kestrel Data Retrieval Explained_

トークとデモ

トークの概要（詳細は Kestrel ドキュメントのトークページ_ をご覧ください）：

• 2024/08 Black Hat USA 2024_
• 2024/06 CNCF Secure AI Summit 2024_
• 2023/08 Black Hat USA 2023_
• 2022/12 Infosec Jupyterthon 2022_ [IJ'22 live hunt recording_]
• 2022/08 Black Hat USA 2022_ [BH'22 recording_ | BH'22 hunting lab_]
• 2022/06 Cybersecurity Automation Workshop_
• 2022/04 SC eSummit on Threat Hunting & Offense Security_（無料登録/再生可能）
• 2021/12 Infosec Jupyterthon 2021_ [IJ'21 live hunt recording_]
• 2021/11 BlackHat Europe 2021_
• 2021/10 SANS Threat Hunting Summit 2021: [SANS'21 session recording]
• 2021/05 RSA Conference 2021: [RSA'21 session recording]

コミュニティとの繋がり

• Kestrel Slack チャンネルに参加：

  • Slack 招待_ を取得して Open Cybersecurity Alliance ワークスペース_ に参加

    .. image:: https://opencyberallia.wpengine.com/wp-content/uploads/2022/03/OCA-logo-e1646689234325.png :width: 20% :alt: OCA ロゴ

  • kestrel チャンネルに参加して質問し、他のハンターと繋がる

• 言語開発に貢献（Apache License 2.0_）：

  • GitHub Issue_ を作成してバグ報告や新機能の提案
  • コントリビューションガイドライン_ に従ってプルリクエストを送信
  • PR マージ、リリース、脆弱性開示に関するガバナンスドキュメント_ を参照

• ハントブックと分析を共有：

  • Kestrel ハントブック_
  • Kestrel 分析_

.. _Kestrel live tutorial in a cloud sandbox: https://mybinder.org/v2/gh/opencybersecurityalliance/kestrel-huntbook/HEAD?filepath=tutorial .. _Kestrel documentation: https://kestrel.readthedocs.io/

.. _A comprehensive introduction to Kestrel: https://kestrel.readthedocs.io/en/latest/overview/ .. _The two key concepts of Kestrel: https://kestrel.readthedocs.io/en/latest/language/tac.html#key-concepts .. _Interactive tutorial with quiz: https://mybinder.org/v2/gh/opencybersecurityalliance/kestrel-huntbook/HEAD?filepath=tutorial .. _Kestrel runtime installation: https://kestrel.readthedocs.io/en/latest/installation/runtime.html .. _How to connect to your data sources: https://kestrel.readthedocs.io/en/latest/installation/datasource.html .. _How to execute an analytic hunt step in Python/Docker: https://kestrel.readthedocs.io/en/latest/installation/analytics.html .. _Language reference book: https://kestrel.readthedocs.io/en/latest/language/commands.html .. _How to use Kestrel via API: https://kestrel.readthedocs.io/en/latest/source/kestrel.session.html .. _How to launch Kestrel as a Docker container: https://kestrel.readthedocs.io/en/latest/deployment/ .. _Kestrel documentation on talks: https://kestrel.readthedocs.io/en/latest/talks.html

.. _Kestrel huntbook: https://github.com/opencybersecurityalliance/kestrel-huntbook .. _Kestrel analytics: https://github.com/opencybersecurityalliance/kestrel-analytics

.. _Building a Huntbook to Discover Persistent Threats from Scheduled Windows Tasks: https://opencybersecurityalliance.org/huntbook-persistent-threat-discovery-kestrel/ .. _Practicing Backward And Forward Tracking Hunts on A Windows Host: https://opencybersecurityalliance.org/backward-and-forward-tracking-hunts-on-a-windows-host/ .. _Building Your Own Kestrel Analytics and Sharing With the Community: https://opencybersecurityalliance.org/kestrel-custom-analytics/ .. _Setting Up The Open Hunting Stack in Hybrid Cloud With Kestrel and SysFlow: https://opencybersecurityalliance.org/kestrel-sysflow-open-hunting-stack/ .. _Try Kestrel in a Cloud Sandbox: https://opencybersecurityalliance.org/try-kestrel-in-a-cloud-sandbox/ .. _Fun with securitydatasets.com and the Kestrel PowerShell Deobfuscator: https://opencybersecurityalliance.org/fun-with-securitydatasets-com-and-the-kestrel-powershell-deobfuscator/ .. _Kestrel Data Retrieval Explained: https://opencybersecurityalliance.org/kestrel-data-retrieval-explained/

.. _RSA Conference 2021: https://www.rsaconference.com/Library/presentation/USA/2021/The%20Game%20of%20Cyber%20Threat%20Hunting%20The%20Return%20of%20the%20Fun .. _RSA'21 session recording: https://www.youtube.com/watch?v=-Xb086R0JTk .. _SANS Threat Hunting Summit 2021: https://www.sans.org/blog/a-visual-summary-of-sans-threat-hunting-summit-2021/ .. _SANS'21 session recording: https://www.youtube.com/watch?v=gyY5DAWLwT0 .. _BlackHat Europe 2021: https://www.blackhat.com/eu-21/arsenal/schedule/index.html#an-open-stack-for-threat-hunting-in-hybrid-cloud-with-connected-observability-25112 .. _Infosec Jupyterthon 2021: https://infosecjupyterthon.com/2021/agenda.html .. _IJ'21 live hunt recording: https://www.youtube.com/embed/nMnHBnYfIaI?start=20557&end=22695 .. _Infosec Jupyterthon 2022: https://infosecjupyterthon.com/2022/agenda.html .. _IJ'22 live hunt recording: https://www.youtube.com/embed/8Mw1yyYkeqM?start=23586&end=26545 .. _SC eSummit on Threat Hunting & Offense Security: https://www.scmagazine.com/esummit/automating-the-hunt-for-advanced-threats .. _Cybersecurity Automation Workshop: http://www.cybersecurityautomationworkshop.org/ .. _Black Hat USA 2024: https://www.blackhat.com/us-24/arsenal/schedule/index.html#kestrel--hunt-for-threats-across-security-data-lakes-39321 .. _Black Hat USA 2023: https://www.blackhat.com/us-23/arsenal/schedule/index.html#identity-threat-hunting-with-kestrel-33662 .. _Black Hat USA 2022: https://www.blackhat.com/us-22/arsenal/schedule/index.html#streamlining-and-automating-threat-hunting-with-kestrel-28014 .. _BH'22 recording: https://www.youtube.com/watch?v=tf1VLIpFefs .. _Black Hat USA 2022 session recording: https://www.youtube.com/watch?v=tf1VLIpFefs .. _BH'22 hunting lab: https://mybinder.org/v2/gh/opencybersecurityalliance/black-hat-us-2022/HEAD?filepath=demo .. _Black Hat USA 2022 Kestrel hunting lab: https://mybinder.org/v2/gh/opencybersecurityalliance/black-hat-us-2022/HEAD?filepath=demo .. _Black Hat USA 2024 Kestrel hunting lab: https://github.com/opencybersecurityalliance/black-hat-us-2024 .. _Red Hat Research Quarterly: https://research.redhat.com/blog/article/team-threat-hunting-on-a-container-platform-kestrel-as-a-service/ .. _CNCF Secure AI Summit 2024: https://secureaisummit2024.sched.com/event/1dBWF/elevate-cloud-threat-hunting-with-ai-kenneth-peeples-maya-costantini-red-hat

.. _slack invitation: https://join.slack.com/t/open-cybersecurity/shared_invite/zt-19pliofsm-L7eSSB8yzABM2Pls1nS12w .. _Open Cybersecurity Alliance workspace: https://open-cybersecurity.slack.com/ .. _GitHub Issue: https://github.com/opencybersecurityalliance/kestrel-lang/issues .. _contributing guideline: CONTRIBUTING.rst .. _governance documentation: GOVERNANCE.rst .. _Apache License 2.0: LICENSE.md

.. |readthedocs| image:: https://readthedocs.org/projects/kestrel/badge/?version=latest :target: https://kestrel.readthedocs.io/en/latest/?badge=latest :alt: Documentation Status

.. |pypi| image:: https://img.shields.io/pypi/v/kestrel-jupyter :target: https://pypi.python.org/pypi/kestrel-jupyter :alt: Latest Version

.. |downloads| image:: https://img.shields.io/pypi/dm/kestrel-core :target: https://pypistats.org/packages/kestrel-core :alt: PyPI Downloads

.. |codecoverage| image:: https://codecov.io/gh/opencybersecurityalliance/kestrel-lang/branch/develop/graph/badge.svg?token=HM4ax10IW3 :target: https://codecov.io/gh/opencybersecurityalliance/kestrel-lang :alt: Code Coverage

.. |black| image:: https://img.shields.io/badge/code%20style-black-000000.svg :target: https://github.com/psf/black :alt: Code Style: Black