OneListForAll

Wortlisten für Web-Fuzzing: kuratiertes micro, kategorisierte short/long und kombinierte Endlisten.

Was dieses Repo generiert

• onelistforallmicro.txt: kuratierte Liste (manuell gepflegt).
• dict/<category>_short.txt: pro Kategorie kuratierte Wortliste (kleine/qualitativ hochwertige Quellen).
• dict/<category>_long.txt: pro Kategorie umfassende Wortliste (alle Quellen).
• onelistforall.txt: micro + alle *_short.txt, dedupliziert.
• onelistforall_big.txt: alles kombiniert, dedupliziert.

Funktionsweise

1. Synchronisieren (update): Klont ca. 36 Wortlisten‑Repos in sources/.
2. Klassifizieren (classify): Durchläuft jede .txt‑Datei in sources/, klassifiziert jede anhand der Pfadstruktur, Dateinamenschlüsselwörter und Stichproben des Inhalts. Erzeugt classification_index.json.
3. Erstellen (build --all-categories): Für jede Kategorie führt es klassifizierte Quelldateien mit Filtern und Deduplizierung zu dict/{cat}_short.txt und dict/{cat}_long.txt zusammen.
4. Zusammenstellen (assemble): Kombiniert micro + alle shorts zu onelistforall.txt und alles zu onelistforall_big.txt.
5. (): Erstellt 7z‑Archive mit Prüfsummen.

Voraussetzungen

• Go 1.22+
• git (für update)
• 7z (nur für package)

CLI (olfa)

# Check dependencies
go run ./cmd/olfa check

# List sources and categories
go run ./cmd/olfa list
go run ./cmd/olfa list --categories

# Sync source repos
go run ./cmd/olfa update
go run ./cmd/olfa update --source SecLists

# Classify source files
go run ./cmd/olfa classify
go run ./cmd/olfa classify --format json

# Build all category wordlists
go run ./cmd/olfa build --all-categories
go run ./cmd/olfa build --category wordpress --variant short

# Assemble final combined lists
go run ./cmd/olfa assemble

# Validate and package
go run ./cmd/olfa validate-categories
go run ./cmd/olfa stats
go run ./cmd/olfa package

# Full pipeline (all steps in one command)
go run ./cmd/olfa pipeline
go run ./cmd/olfa pipeline --dry-run
go run ./cmd/olfa pipeline --skip-publish       # skip git commit+push
go run ./cmd/olfa pipeline --skip-update        # skip git fetch
go run ./cmd/olfa pipeline --commit-msg "my custom message"

Empfohlener Arbeitsablauf

# Option A: single command
go run ./cmd/olfa pipeline

# Option B: step by step
go run ./cmd/olfa check
go run ./cmd/olfa update
go run ./cmd/olfa classify
go run ./cmd/olfa build --all-categories
go run ./cmd/olfa assemble
go run ./cmd/olfa validate-categories
go run ./cmd/olfa package
git add dict/ && git commit -m "chore: update dict/ wordlists" && git push

Speicherplatz und große Dateien

Das Repo enthält ca. 418 Kategorie‑Wortlisten in dict/ (~930 MB). Allerdings überschreiten 6 Dateien das 100‑MB‑Limit von GitHub und sind nicht im Repository enthalten:

Um sie lokal zu generieren, führen Sie aus:

go run ./cmd/olfa pipeline

Das Ausführen der vollständigen Pipeline (Synchronisieren der Quellen + Erstellen aller Kategorien) erfordert ~15 GB Speicherplatz.

Konfiguration

Alles wird durch zwei Dateien gesteuert:

• configs/pipeline.yml — Quellen, Filter, Klassifizierungsregeln, Deduplizierungseinstellungen, Release‑Konfiguration.
• configs/taxonomy.json — Kategorietaxonomie (236 Kategorien mit Aliasen).

Hinzufügen eines neuen Quell‑Repos

Bearbeiten Sie configs/pipeline.yml und fügen Sie einen Eintrag zum sources‑Array hinzu:

{
  "name": "my-wordlists",
  "repo": "username/repo-name",
  "branch": "main",
  "paths": ["all"],
  "tags": ["directories", "api"],
  "priority": "medium"
}

Nach dem Hinzufügen einer Quelle führen Sie die Pipeline aus, um sie zu pullen und zu klassifizieren:

go run ./cmd/olfa pipeline

Oder synchronisieren Sie nur die neue Quelle:

go run ./cmd/olfa update --source my-wordlists

Filter

Globale Filter in pipeline.yml steuern, welche Zeilen behalten oder verworfen werden:

• regex_denylist — Zeilen, die auf ein Muster passen, werden entfernt (z. B. URLs, UUIDs, Bilddateierweiterungen)
• max_line_len — Zeilen, die länger sind, werden verworfen (Standard: 100 Zeichen)
• trim — Führende/nachfolgende Leerzeichen entfernen
• drop_empty — Leerzeilen entfernen

Kategoriespezifische Filter können in category_filters festgelegt werden (z. B. Subdomains erlauben nur gültige Hostname‑Zeichen).

Aufteilung Short vs. Long

Jede Kategorie erzeugt zwei Wortlisten:

• *_short.txt — nur aus Quellen mit high‑Priorität oder Dateien mit weniger als 5000 Zeilen oder Dateinamen, die Schlüsselwörter wie common, short, top, default enthalten.
• *_long.txt — alle Quellen kombiniert.

Schwellenwerte und Schlüsselwörter sind in classification.short_line_threshold, classification.short_keywords und classification.long_keywords konfigurierbar.

Kategorietaxonomie

Kategorien sind in configs/taxonomy.json definiert. Jede hat einen kanonischen Namen und Aliase. Quelldateien werden Kategorien zugeordnet durch:

1. Explizite Pfadregeln (z. B. Discovery/DNS/* → subdomains)
2. Verzeichnispfad‑Schlüsselwörter, die mit der Taxonomie abgeglichen werden
3. Dateinamen‑Schlüsselwörter, die mit der Taxonomie abgeglichen werden
4. Inhaltsstichproben mit Regex‑Mustern (Fallback)
5. Quellen‑Tags (letzter Ausweg)

Um alle verfügbaren Kategorien aufzulisten:

go run ./cmd/olfa list --categories
go run ./cmd/olfa list --categories --format json