OneListForAll

Listas de palavras para fuzzing web: micro selecionadas, short/long categorizadas e listas finais combinadas.

O que este repositório gera

• onelistforallmicro.txt: lista selecionada (mantida manualmente).
• dict/<categoria>_short.txt: lista de palavras por categoria (fontes pequenas/de qualidade).
• dict/<categoria>_long.txt: lista de palavras abrangente por categoria (todas as fontes).
• onelistforall.txt: micro + todos os *_short.txt, deduplicados.
• onelistforall_big.txt: tudo combinado, deduplicado.

Como funciona

1. Sincronizar (update): Clona ~36 repositórios de listas de palavras em sources/.
2. Classificar (classify): Percorre todos os ficheiros .txt em sources/, classifica cada um em categorias usando estrutura de caminho, palavras-chave no nome do ficheiro e amostragem de conteúdo. Produz classification_index.json.
3. Construir (build --all-categories): Para cada categoria, combina ficheiros fonte classificados em dict/{cat}_short.txt e dict/{cat}_long.txt com filtragem e deduplicação.
4. Montar (assemble): Combina micro + todos os shorts em onelistforall.txt, e tudo em onelistforall_big.txt.

Requisitos

• Go 1.22+
• git (para update)
• 7z (apenas para package)

CLI (olfa)

# Verificar dependências
go run ./cmd/olfa check

# Listar fontes e categorias
go run ./cmd/olfa list
go run ./cmd/olfa list --categories

# Sincronizar repositorios fonte
go run ./cmd/olfa update
go run ./cmd/olfa update --source SecLists

# Classificar ficheiros fonte
go run ./cmd/olfa classify
go run ./cmd/olfa classify --format json

# Construir todas as listas de palavras por categoria
go run ./cmd/olfa build --all-categories
go run ./cmd/olfa build --category wordpress --variant short

# Montar listas finais combinadas
go run ./cmd/olfa assemble

# Validar e empacotar
go run ./cmd/olfa validate-categories
go run ./cmd/olfa stats
go run ./cmd/olfa package

# Pipeline completa (todos os passos num comando)
go run ./cmd/olfa pipeline
go run ./cmd/olfa pipeline --dry-run
go run ./cmd/olfa pipeline --skip-publish       # ignorar git commit+push
go run ./cmd/olfa pipeline --skip-update        # ignorar git fetch
go run ./cmd/olfa pipeline --commit-msg "my custom message"

Fluxo de trabalho recomendado

# Opção A: comando único
go run ./cmd/olfa pipeline

# Opção B: passo a passo
go run ./cmd/olfa check
go run ./cmd/olfa update
go run ./cmd/olfa classify
go run ./cmd/olfa build --all-categories
go run ./cmd/olfa assemble
go run ./cmd/olfa validate-categories
go run ./cmd/olfa package
git add dict/ && git commit -m "chore: update dict/ wordlists" && git push

Espaço em disco e ficheiros grandes

O repositório inclui ~418 listas de palavras por categoria em dict/ (~930 MB). No entanto, 6 ficheiros excedem o limite de 100 MB do GitHub e não estão incluídos no repositório:

Para gerá-los localmente, execute:

go run ./cmd/olfa pipeline

Executar a pipeline completa (sincronização das fontes + construção de todas as categorias) requer ~15 GB de espaço em disco.

Configuração

Tudo é controlado por dois ficheiros:

• configs/pipeline.yml — fontes, filtros, regras de classificação, configurações de dedup, configuração de release.
• configs/taxonomy.json — taxonomia de categorias (236 categorias com aliases).

Adicionar uma nova fonte

Edite configs/pipeline.yml e adicione uma entrada ao array sources:

{
  "name": "my-wordlists",
  "repo": "username/repo-name",
  "branch": "main",
  "paths": ["all"],
  "tags": ["directories", "api"],
  "priority": "medium"
}

Após adicionar uma fonte, execute a pipeline para puxá-la e classificá-la:

go run ./cmd/olfa pipeline

Ou sincronize apenas a nova fonte:

go run ./cmd/olfa update --source my-wordlists

Filtros

Os filtros globais em pipeline.yml controlam quais linhas são mantidas ou descartadas:

• regex_denylist — linhas que correspondem a qualquer padrão são removidas (ex.: URLs, UUIDs, extensões de imagem)
• max_line_len — linhas mais longas que isso são descartadas (padrão: 100 caracteres)
• trim — remove espaços em branco no início/fim
• drop_empty — remove linhas em branco

Filtros por categoria podem ser definidos em category_filters (ex.: subdomínios apenas permitem caracteres válidos de hostname).

Divisão Short vs Long

Cada categoria produz duas listas de palavras:

• *_short.txt — apenas de fontes com prioridade high, ou ficheiros com menos de 5000 linhas, ou nomes de ficheiro contendo palavras-chave como common, short, top, default.
• *_long.txt — todas as fontes combinadas.

Os limites e palavras-chave são configuráveis em classification.short_line_threshold, classification.short_keywords e classification.long_keywords.

Taxonomia de categorias

As categorias são definidas em configs/taxonomy.json. Cada uma tem um nome canónico e aliases. Os ficheiros fonte são combinados a categorias por:

1. Regras de caminho explícitas (ex.: Discovery/DNS/* → subdomínios)
2. Palavras-chave do caminho do diretório combinadas com a taxonomia
3. Palavras-chave do nome do ficheiro combinadas com a taxonomia
4. Amostragem de conteúdo com padrões regex (fallback)
5. Tags ao nível da fonte (último recurso)

Para listar todas as categorias disponíveis:

go run ./cmd/olfa list --categories
go run ./cmd/olfa list --categories --format json