Stenographer

Обзор

Stenographer — это утилита для захвата полного трафика, предназначенная для буферизации пакетов на диск в целях обнаружения вторжений и реагирования на инциденты. Она обеспечивает высокопроизводительную реализацию записи пакетов из сетевого интерфейса на диск, управляет удалением этих файлов по мере заполнения диска и предоставляет методы быстрого и простого чтения определённых наборов пакетов.

Она предназначена для:

• Записи пакетов на диск с очень высокой скоростью (~10 Гбит/с на многоядерных машинах с несколькими дисками)
• Хранения максимально возможной истории (управление использованием диска, увеличение длительности хранения при снижении трафика и удаление самых старых пакетов при достижении лимитов диска)
• Чтения очень небольшой доли (<1%) пакетов с диска в соответствии с потребностями аналитика

Она НЕ предназначена для:

• Сложной обработки пакетов (сборка TCP-потоков и т.д.)

• Она быстра именно потому, что этого не делает. Даже при минимальной однопроходной обработке пакетов, которую мы выполняем, обработка ~1 Гбит/с только для индексации может занимать >75% одного ядра.

• Обработка данных путём чтения их с диска также не работает: см. следующий пункт.

• Чтения больших объёмов пакетов (> 1% записанных пакетов)

• Ключевая концепция здесь в том, что чтение с диска конкурирует с записью... Вы можете писать с использованием 90% скорости диска, но это оставляет только 10% времени диска для чтения. Кроме того, мы записываем сильно последовательные данные, с которыми диски справляются очень быстро, а читаем, как правило, разреженные данные с множеством операций поиска, которые диски выполняют медленно.

Для дальнейшего изучения ознакомьтесь с DESIGN.md — обсуждением архитектуры stenographer, или прочитайте INSTALL.md — инструкцию по установке stenographer на машину.