📖 Обзор

В настоящее время создание списков паролей обычно подразумевает объединение нескольких источников данных.

В идеале наиболее вероятные пароли должны находиться в начале списка, чтобы самые распространенные пароли взламывались мгновенно.

С существующими инструментами дедупликации вы вынуждены выбирать между сохранением порядка ИЛИ обработкой массивных списков.

К сожалению, создание списка требует и того, и другого

Поэтому я написал duplicut на высокооптимизированном C для решения этой очень специфической задачи 🤓 💻

💡 Быстрый старт

🔧 Опции

• Возможности:

  • Обработка массивных списков, даже если их размер превышает доступную оперативную память
  • Фильтрация строк по максимальной длине (опция --line-max-size)
  • Фильтрация строк, содержащих непечатные ASCII символы (опция --printable)
  • Сохранение найденных дубликатов в отдельный файл (опция --dupfile)
  • Игнорирование регистра с помощью опций --lowercase или --uppercase
  • Отображение красивого прогресс-бара с оценкой времени

• Реализация:

  • Написан на чистом C, спроектирован для высокой скорости
  • Сжатые элементы хеш-таблицы на 64-битных платформах
  • Поддержка многопоточности

• Ограничения:

  • --line-max-size не может превышать 4095

📖 Технические детали

🔸 1- Оптимизация памяти:

uint64 достаточно для индексации строк в хеш-таблице, путем упаковки информации о размере в дополнительные биты указателя:

🔸 2- Обработка больших файлов:

Если весь файл не помещается в память, он разбивается на виртуальных фрагментов таким образом, что каждый фрагмент использует максимально возможный объем ОЗУ.

Каждый фрагмент затем загружается в хеш-таблицу, дедуплицируется и проверяется на совпадение с последующими фрагментами.

Таким образом, время выполнения снижается максимум до го треугольного числа:

💡 Устранение неполадок

Если вы нашли ошибку или что-то работает не так, как ожидалось, пожалуйста, скомпилируйте duplicut в режиме отладки и создайте issue с приложенным выводом: