Skip to content
KitploitKITPLOIT
أدواتعمليات الاستغلالالمدونة
Log in
إرسال
أدواتعمليات الاستغلالالمدونة
إرسال

أدوات الاختراق واختبار الاختراق والأمن السيبراني لترسانتك الأمنية!

Kitploit هو دليل لأدوات الاختراق والأمن السيبراني واختبار الاختراق. اكتشف آخر تحديثات المشاريع للعثور على الثغرات وتحليل الأنظمة وأتمتة الاختبارات وتعزيز أمنك.

الخلاصاتاتصالالخصوصية© 2026 Kitploit

دليل الأدوات

الفئات

عرض جميع الفئات
Loading categories
duplicut — Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking) | Kitploit
أدوات/GitHubGitHub/nil0x42/duplicut
General Purpose UtilitiesPassword CrackingUtilities & Frameworks
GitHubnil0x42/duplicut

duplicut

Remove duplicates from MASSIVE wordlist, without sorting it (for dictionary-based password cracking)

عرض المستودع
9809639منذ 8 أيامتمت المراجعة من قبل Kitploit
مشاركة
المحتوى غير متوفر باللغة المطلوبة. عرض النسخة الإنجليزية.

Duplicut :scissors:

Quickly dedupe massive wordlists, without changing the order tweet


github tests codacy code quality github codeql codecov coverage

Mentioned in awesome-pentest Rawsec tool inventory Follow on X

Created by nil0x42 and contributors


Order and memory tradeoffs of sort and awk

📖 Overview

Duplicut removes duplicate lines from massive wordlists without changing their order. Keep the first occurrence of each word, even when the file exceeds RAM.

When combining password wordlists, the most likely candidates should stay first. Sorting changes that priority; keeping every unique word in memory can exhaust RAM. Duplicut is written in optimized C and automatically chooses between chunk-based scans and disk partitions to fit the available resources.


Duplicut terminal demonstration

💡 Quick start

git clone https://github.com/nil0x42/duplicut  # download
cd duplicut && make                         # compile
./duplicut wordlist.txt > clean-wordlist.txt # dedupe

Prefer a ready-to-run binary? Download the matching Linux or macOS binary from the latest release. Linux and macOS builds are available for x64 and ARM64. Build and installation details.

🔧 Options

Run ./duplicut --help for command-line help. Input comes from a named file or, when omitted, from stdin. Results go to stdout unless -o is given; progress and diagnostics go to stderr.

UseOptionBehavior
Output-o, --outfile FILEWrite to a file instead of stdout.
-D, --dupfile FILESave removed duplicate occurrences; adds I/O.
Resources-m, --memlimit VALUEWorking-memory budget, e.g. 100M or 2G; defaults to available memory.
-t, --threads NUMMaximum worker threads; defaults to online CPUs.
Filtering-l, --line-max-size NUMMaximum line length in bytes; default 1024, maximum 4095.
-p, --printableKeep only printable ASCII lines.
Case-c, --lowercaseConvert to lowercase before deduplication.
-C, --uppercaseConvert to uppercase before deduplication.
Engine-e, --engine ENGINEauto (default), mmap-chunks or disk-partitions.
Information-h, --helpShow help.
-v, --versionShow version and license information.

💡 Common uses

# Combine lists while preserving their priority
cat preferred.txt extra.txt | ./duplicut > combined.txt

# Normalize case and keep printable ASCII
./duplicut -cp wordlist.txt > clean-wordlist.txt

# Set a working-memory budget and save duplicate occurrences
./duplicut -m 100M -D duplicates.txt wordlist.txt -o unique.txt

# Append the result of this run to an existing file
./duplicut wordlist.txt >> combined.txt

Append mode deduplicates the new input, not the existing destination contents. See the usage guide for line handling and output behavior, and memory and disk use for what the memory budget covers.

⚡ Observed performance

On a laptop with 16 GB RAM and an NVMe SSD:

WorkloadObserved time
Real wordlist: about 285 million lines, 2.58 GiB~36 seconds
Generated wordlist: 20 GiB, larger than RAM~2 min 20 seconds

These are measured workloads, not a throughput guarantee. Workloads, options and measurement details.

📖 Documentation

Documentation index · How it works · Troubleshooting · Development

تنزيل الأداة

الأكثر شعبية

عرض الكل →

اكتشف الأدوات الأكثر استخدامًا من قبل مجتمعنا.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 مجموعة أدوات OSINT المثالية: رسم بياني للتحقيق، وتقييم الثقة، وعائلات الأسماء المستعارة، وخريطة، وخط زمني، وتقارير. 49 وحدة، وأكثر من 400 موقع، دون الحاجة إلى مفاتيح API.

    806
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # تطبيق GhostLock للتنفيذ بنقرة واحدة (CVE-2026-43499)

    523
  • 3

    ARTEX

    baarai/artex

    منصة اختبار اختراق مستقلة متعددة الوكلاء تعتمد على LLM، مع وكلاء تخطيط وتنفيذ، ومخططات للأصول والاستكشاف، وتسجيل حركة مرور MITM، وإعادة اختبار الثغرات.

    441
  • 4

    redforge

    cybersecurity91/redforge

    مجموعة أدوات الفريق الأحمر في المتصفح مع 102 أداة دون اتصال للاستطلاع، وتوليد الحمولات، وهجمات بيانات الاعتماد، والتشفير، والترميز، وإعداد تقارير المهام.

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    منصة CSIRT تستقبل تقارير Shadowserver في MongoDB وتعيد عرضها كخرائط تفاعلية وتحليلات ونتائج وإرشادات ولوحات معلومات تنفيذية.

    270
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    نظام العمل للأمن السيبراني الأصلي بالذكاء الاصطناعي — حيث تتحول النية إلى تنفيذ محكوم، وتصبح الأدلة ذاكرة تشغيلية، وكل عملية تحسن التي تليها.

    264

استكشف جميع الأدوات

تصفح مجموعتنا من الأدوات

عرض جميع الأدوات →