danielmiessler/robotsdisallowedПодборка наиболее распространённых и наиболее интересных директорий, запрещённых в robots.txt.
Проект RobotsDisallowed — это результат сбора запрещённых в robots.txt директорий ведущих мировых веб-сайтов, а именно сайтов из списков Alexa 100K и Majestic 100K.
Этот список запрещённых директорий — отличный способ дополнить обнаружение контента во время оценки веб-безопасности или bug bounty, поскольку владелец сайта, по сути, говорит:
«Не заходите сюда; там есть конфиденциальные данные!»
Иными словами, это список потенциально высокоценных целей.
Итак, что мы сделали: взяли 100 000 лучших сайтов Alexa, скачали их файлы robots.txt, извлекли все запрещённые директории, а затем провели массу очистки (они представляют собой беспорядок), чтобы сделать списки максимально полезными во время веб-оценок.
Однако мой личный любимый вариант — использовать список curated.txt, потому что в нём всего около 500 элементов, и это коллекция директорий, содержащих следующие строки и содержимое:
Короче говоря, это лучшее из лучшего. Я писал об этом подробнее здесь.
TL;DR: Если вы хотите наилучшим образом использовать своё время, выбирайте curated.txt.
Эта концепция не нова. Проект RAFT был первым, кто это сделал, и мы благодарим их за новаторство идеи. Но проект теперь мёртв и забыт, а поскольку идея работает лучше всего, когда поддерживается в актуальном состоянии, мы решили обновить её в виде RobotsDisallowed.
Огромное спасибо Jason Haddix и Tim Tomes за то, что рассказывали о проекте в Twitter и в своих презентациях по bounty/recon/hacking по всему миру.
Если у вас есть идеи, что улучшить, пожалуйста, напишите нам на [email protected] или отправьте pull request.
Спасибо и удачного хакинга!
