Dshell

Расширяемый фреймворк для сетевого криминалистического анализа. Позволяет быстро разрабатывать плагины для анализа сетевых пакетов.

Ключевые особенности:

• Глубокий анализ пакетов с помощью специализированных плагинов
• Надёжная сборка потоков
• Поддержка IPv4 и IPv6
• Несколько выбираемых пользователем форматов вывода и возможность создания собственных обработчиков вывода
• Цепочки плагинов
• Параллельная обработка для разделения обработки источника данных на отдельные процессы Python
• Возможность разработки внешних наборов плагинов для обмена и установки новых внешних плагинов без пересечения с основными директориями плагинов Dshell

Руководства

• Руководство пользователя Dshell
  • Руководство по установке, а также по базовому и продвинутому анализу с примерами
  • Помогает новым и опытным конечным пользователям в использовании и понимании фреймворка decoder-shell (Dshell)
• Руководство разработчика Dshell
  • Руководство по разработке плагинов с базовыми примерами, а также определениями основных функций и классов и обзором потока данных
  • Помогает конечным пользователям разрабатывать новые пользовательские плагины Dshell, а также модифицировать существующие

Требования

• Linux (разрабатывалось на Ubuntu 20.04 LTS)
• Python 3 (разрабатывалось с Python 3.8.10)
• pypacker
• pcapy-ng
• pyOpenSSL
• geoip2
  • Наборы данных GeoIP2 от MaxMind
    • Используются для сопоставления IP-адресов с кодами стран
    • См. раздел установки для настройки

Опционально

• oui.txt
  • используется некоторыми плагинами, работающими с MAC-адресами
  • разместите в <dshell>/data/
• elasticsearch
  • используется в модуле вывода elasticout
  • необходимо только при использовании elasticsearch для хранения результатов
• pyJA3
  • используется в плагине tls

Установка

1. Установите Dshell с помощью pip

• python3 -m pip install Dshell/ ИЛИ python3 -m pip install <Dshell-tarball>

2. Настройте geoip2, разместив файлы набора данных MaxMind GeoLite2 (GeoLite2-ASN.mmdb, GeoLite2-City.mmdb, GeoLite2-Country.mmdb) в [...]/site-packages/dshell/data/GeoIP/
3. Запустите dshell. Вы должны оказаться в приглашении Dshell> .

Базовое использование

• decode -l
  • Показывает список всех доступных плагинов с базовой информацией о них
• decode -h
  • Показывает общие флаги командной строки, доступные для большинства плагинов, например, режим, удобный для дальтоников, для всего цветного вывода
• decode -p <plugin>
  • Отображает информацию о плагине, включая доступные флаги командной строки
• decode -p <plugin> <pcap>
  • Запускает выбранный плагин на файле pcap или pcapng
• decode -p <plugin1>+<plugin2> <pcap>
  • Соединяет два (или более) плагина в цепочку и запускает их на файле pcap
• decode -p <plugin> -i <interface>
  • Запускает выбранный плагин в реальном времени на интерфейсе (может потребоваться права суперпользователя)

Примеры использования

Отображение DNS-запросов в примере трафика

Dshell> decode -p dns ~/pcap/dns.cap | sort
[DNS] 2005-03-30 03:47:46    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 4146, TXT? google.com., TXT: b'\x0fv=spf1 ptr ?all' **
[DNS] 2005-03-30 03:47:50    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 63343, MX? google.com., MX: b'\x00(\x05smtp4\xc0\x0c', MX: b'\x00\n\x05smtp5\xc0\x0c', MX: b'\x00\n\x05smtp6\xc0\x0c', MX: b'\x00\n\x05smtp1\xc0\x0c', MX: b'\x00\n\x05smtp2\xc0\x0c', MX: b'\x00(\x05smtp3\xc0\x0c' **
[DNS] 2005-03-30 03:47:59    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 18849, LOC? google.com. **
[DNS] 2005-03-30 03:48:07    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 39867, PTR? 104.9.192.66.in-addr.arpa., PTR: 66-192-9-104.gen.twtelecom.net. **
[DNS] 2005-03-30 03:49:18    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 30144, A? www.netbsd.org., A: 204.152.190.12 (ttl 82159s) **
[DNS] 2005-03-30 03:49:35    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 61652, AAAA? www.netbsd.org., AAAA: 2001:4f8:4:7:2e0:81ff:fe52:9a6b (ttl 86400s) **
[DNS] 2005-03-30 03:50:35    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 32569, AAAA? www.netbsd.org., AAAA: 2001:4f8:4:7:2e0:81ff:fe52:9a6b (ttl 86340s) **
[DNS] 2005-03-30 03:50:44    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 36275, AAAA? www.google.com., CNAME: 'www.l.google.com.' **
[DNS] 2005-03-30 03:50:54    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 56482, AAAA? www.l.google.com. **
[DNS] 2005-03-30 03:51:35    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 48159, AAAA? www.example.com. **
[DNS] 2005-03-30 03:51:46    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 9837, AAAA? www.example.notginh., NXDOMAIN **
[DNS] 2005-03-30 03:52:17    192.168.170.8:32795 --   192.168.170.20:53    ** ID: 65251, AAAA: 2001:4f8:0:2::d (ttl 600s), A: 204.152.184.88 (ttl 600s) **
[DNS] 2005-03-30 03:52:17    192.168.170.8:32796 --   192.168.170.20:53    ** ID: 23123, PTR? 1.0.0.127.in-addr.arpa., PTR: localhost. **
[DNS] 2005-03-30 03:52:17    192.168.170.8:32797 --   192.168.170.20:53    ** ID: 8330, NS: b'\x06ns-ext\x04nrt1\xc0\x0c', NS: b'\x06ns-ext\x04sth1\xc0\x0c', NS: b'\x06ns-ext\xc0\x0c', NS: b'\x06ns-ext\x04lga1\xc0\x0c' **
[DNS] 2005-03-30 03:52:17   192.168.170.56:1707  --      217.13.4.24:53    ** ID: 12910, SRV? _ldap._tcp.Default-First-Site-Name._sites.dc._msdcs.utelsystems.local., NXDOMAIN **
[DNS] 2005-03-30 03:52:17   192.168.170.56:1708  --      217.13.4.24:53    ** ID: 61793, SRV? _ldap._tcp.dc._msdcs.utelsystems.local., NXDOMAIN **
[DNS] 2005-03-30 03:52:17   192.168.170.56:1709  --      217.13.4.24:53    ** ID: 33633, SRV? _ldap._tcp.05b5292b-34b8-4fb7-85a3-8beef5fd2069.domains._msdcs.utelsystems.local., NXDOMAIN **
[DNS] 2005-03-30 03:52:17   192.168.170.56:1710  --      217.13.4.24:53    ** ID: 53344, A? GRIMM.utelsystems.local., NXDOMAIN **
[DNS] 2005-03-30 03:52:25   192.168.170.56:1711  --      217.13.4.24:53    ** ID: 30307, A? GRIMM.utelsystems.local., NXDOMAIN **

Отслеживание и сборка потока в примере трафика

Dshell> decode -p followstream ~/pcap/v6-http.cap 
Connection 1 (TCP)
Start: 2007-08-05 15:16:44.189851
End:   2007-08-05 15:16:44.219460
2001:6f8:102d:0:2d0:9ff:fee3:e8de: 59201 -> 2001:6f8:900:7c0::2:    80 (300 bytes)
2001:6f8:900:7c0::2:    80 -> 2001:6f8:102d:0:2d0:9ff:fee3:e8de: 59201 (2379 bytes)

GET / HTTP/1.0
Host: cl-1985.ham-01.de.sixxs.net
Accept: text/html, text/plain, text/css, text/sgml, */*;q=0.01
Accept-Encoding: gzip, bzip2
Accept-Language: en
User-Agent: Lynx/2.8.6rel.2 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.8b



HTTP/1.1 200 OK
Date: Sun, 05 Aug 2007 19:16:44 GMT
Server: Apache
Content-Length: 2121
Connection: close
Content-Type: text/html