SecLog

SecLog apoya la investigación sobre el razonamiento de etapas de ataque a partir de registros de seguridad de múltiples fuentes. Proporciona herramientas para recopilar registros de escenarios reproducibles de ataque y actividad normal en Docker, organizar la evidencia en cadenas de ataque, construir conjuntos de datos etiquetados y evaluar las predicciones de los modelos.

La versión incluye SecLog-Bench-216, un benchmark listo para usar de 216 ventanas de evidencia con etiquetas de etapa revisadas y cadenas de razonamiento de referencia. Los investigadores pueden usar el benchmark proporcionado directamente o ejecutar el pipeline de construcción para producir nuevos datos.

Artículo: SecLog-Bench: A Scalable Benchmark for Cybersecurity Log Reasoning with Scaffolded Evidence.

Recursos de construcción en Zenodo: imágenes de Docker, registros sin procesar e índices de alineación, y cadenas de ataque construidas.

_{Figura 1. Descripción general de SecLog. La Parte I corresponde a las etapas 01–04, la Parte II al flujo de trabajo de anotación y revisión en 05, y la Parte III al flujo de trabajo de evaluación en 05 con SecLog-Bench-216.}

Características principales

• Recopilación de registros de múltiples fuentes: captura registros de auditoría de llamadas al sistema, tráfico de red y registros de aplicaciones de los escenarios de simulación incluidos.
• Construcción de cadenas de ataque: organiza la evidencia recopilada en una columna vertebral de auditoría con contexto de aplicación y tráfico.
• Exportación de conjuntos de datos y selección de ventanas: exporta los productos de las cadenas como conjuntos de datos o selecciona ventanas de evidencia para su anotación.
• Anotación y revisión: prepara prompts con la información identificativa de la fuente enmascarada, ejecuta la anotación y revisión basadas en API, e inspecciona los candidatos a través de la interfaz de revisión humana.
• Evaluación del benchmark: normaliza las respuestas del modelo, puntúa las predicciones de etapas de ataque y evalúa el razonamiento utilizando el protocolo de evaluación documentado.

Elige un punto de partida

Tu objetivo	Empieza aquí	Entorno
Leer o reutilizar el conjunto de datos proporcionado	SecLog-Bench-216 y ejemplos de datos	Cualquier lector de JSONL; Python 3.11 para el validador
Evaluar un modelo en el benchmark proporcionado	Inicio rápido	Python 3.11; un endpoint de API y una clave para el ejecutor de inferencia incluido
Recopilar nuevos registros y construir un conjunto de datos o benchmark	Construcción de datos	Ubuntu Linux, Python 3.11, Poetry, Docker y herramientas de captura

Los paquetes de sistema detallados, los componentes opcionales y las versiones de dependencias se enumeran en ENVIRONMENT_DEPENDENCIES.md.

Inicio rápido: evaluar el benchmark proporcionado

Estos comandos usan Bash y se ejecutan desde la raíz del proyecto. Comienza con un entorno aislado de Python 3.11:

python3.11 -m venv ../seclog-env
source ../seclog-env/bin/activate

Los comandos a continuación utilizan la biblioteca estándar de Python. Para la recopilación de registros, la anotación, la interfaz de revisión y análisis adicionales, consulte la guía de entorno.

1. Validar el conjunto de datos

python 05_benchmark_annotation_review_evaluation/scripts/validate_public_benchmark.py

El validador comprueba los recuentos de muestras, los IDs, la distribución de etiquetas, las referencias de evidencia y los hashes del manifiesto. Una validación exitosa informa validation_passed: true y sample_count: 216 en su salida JSON.

2. Verificar una configuración de inferencia

Reemplace your-model-name con el identificador de modelo admitido por su proveedor:

python 05_benchmark_annotation_review_evaluation/evaluation/run_benchmark_inference.py \
  --prompt-pack SecLog-Bench-216/data/prompt_pack.jsonl \
  --model your-model-name \
  --output ../seclog-runs/example/raw_responses.jsonl

Este comando informa mode: preflight_no_api y el recuento de prompts. No contacta con el proveedor ni crea un archivo de respuesta, y no verifica que el proveedor admita el modelo seleccionado.

3. Ejecutar la inferencia del modelo

Establezca OPENAI_API_KEY en el entorno de su shell, reemplazando el marcador de posición a continuación con la clave de su proveedor, y luego habilite explícitamente las llamadas a la API:

export OPENAI_API_KEY="YOUR_API_KEY"
python 05_benchmark_annotation_review_evaluation/evaluation/run_benchmark_inference.py \
  --prompt-pack SecLog-Bench-216/data/prompt_pack.jsonl \
  --model your-model-name \
  --output ../seclog-runs/example/raw_responses.jsonl \
  --call-api

El ejecutor utiliza un endpoint de chat compatible con OpenAI. Su URL base predeterminada es https://api.openai.com/v1; use --base-url para otro endpoint y --api-key-env para otro nombre de variable de clave. Mantenga el directorio de salida fuera del árbol de la versión, como en este ejemplo. Use una nueva ruta de salida para cada ejecución, o añada --resume para continuar un archivo de respuestas existente.

Para usar su propio sistema de inferencia, incluidos los modelos que rechazan temperature, max_tokens o el modo JSON, use SecLog-Bench-216/data/prompt_pack.jsonl y el formato de predicción, luego pase las salidas sin procesar al normalizador que se muestra a continuación.

4. Normalizar y puntuar las respuestas

python 05_benchmark_annotation_review_evaluation/evaluation/normalize_stage_reasoning_predictions.py \
  --input ../seclog-runs/example/raw_responses.jsonl \
  --output ../seclog-runs/example/predictions.jsonl

python 05_benchmark_annotation_review_evaluation/evaluation/evaluate_stage_reasoning_predictions.py \
  --gold SecLog-Bench-216/data/gold_labels.jsonl \
  --reference-chains SecLog-Bench-216/data/reference_reasoning_chains.jsonl \
  --model-input SecLog-Bench-216/data/evidence_windows.jsonl \
  --sample-index SecLog-Bench-216/data/sample_index.jsonl \
  --predictions ../seclog-runs/example/predictions.jsonl \
  --output-dir ../seclog-runs/example/evaluation

Los resultados incluyen:

Salida	Contenido
predictions.jsonl	Predicciones del modelo normalizadas
invalid_outputs.jsonl	Respuestas que no pudieron normalizarse correctamente
evaluation/metrics_summary.json	Métricas de evaluación agregadas
evaluation/per_sample_results.jsonl	Resultados por muestra
evaluation/confusion_matrix.csv	Matriz de confusión de predicción de etapas
evaluation/per_stage_metrics.csv	Métricas por etapa
evaluation/error_cases.jsonl	Casos conservados para el análisis de errores