📖 Resumen

Hoy en día, la creación de listas de palabras para contraseñas generalmente implica concatenar múltiples fuentes de datos.

Idealmente, las contraseñas más probables deberían estar al inicio de la lista, para que las más comunes se descifren al instante.

Con las herramientas de deduplicación existentes, te ves obligado a elegir si prefieres preservar el orden O manejar listas masivas.

Desafortunadamente, la creación de listas requiere ambas

Así que escribí duplicut en C altamente optimizado para abordar esta necesidad tan específica 🤓 💻

💡 Inicio rápido

🔧 Opciones

• Características:

  • Maneja listas de palabras masivas, incluso aquellas cuyo tamaño excede la RAM disponible
  • Filtra líneas por longitud máxima (--line-max-size opción)
  • Elimina líneas con caracteres ASCII no imprimibles (--printable opción)
  • Guarda los duplicados encontrados en otro archivo (--dupfile opción)
  • Ignora mayúsculas/minúsculas con las opciones --lowercase o --uppercase
  • Muestra una barra de progreso con ETA

• Implementación:

  • Escrito en código C puro, diseñado para ser rápido
  • Elementos de hashmap comprimidos en plataformas de 64 bits
  • Soporte de subprocesos múltiples

• Limitaciones:

  • --line-max-size no puede exceder 4095

📖 Detalles técnicos

🔸 1- Memoria optimizada:

Un uint64 es suficiente para indexar líneas en el hashmap, empaquetando la información de tamaño dentro de los bits extra del puntero:

🔸 2- Manejo de archivos masivos:

Si el archivo completo no cabe en memoria, se divide en fragmentos virtuales, de manera que cada fragmento utilice la mayor cantidad de RAM posible.

Cada fragmento se carga en el hashmap, se deduplica y se prueba contra los fragmentos posteriores.

De esta manera, el tiempo de ejecución se reduce al número triangular ésimo como máximo:

💡 Solución de problemas

Si encuentras un error o algo no funciona como se espera, compila duplicut en modo depuración y publica un issue con la salida adjunta: