RobotsDisallowed

RobotsDisallowed 프로젝트는 전 세계 최상위 웹사이트들, 구체적으로는 Alexa 100K와 Majestic 100K의 robots.txt에서 disallow된 디렉터리를 수집한 것입니다.

이 Disallowed 디렉터리 목록은 웹 보안 평가나 버그 바운티 중 콘텐츠 발견을 보완하는 훌륭한 방법입니다. 웹사이트 소유자가 기본적으로 이렇게 말하는 셈이기 때문입니다.

"여기로 오지 마세요; 여기에 민감한 것들이 있습니다!"

다시 말해, 잠재적으로 가치가 높은 타깃의 목록인 것입니다.

프로젝트

그래서 우리가 한 일은 Alexa 상위 100,000개 웹사이트를 가져와 그들의 robots.txt 파일을 다운로드하고, 모든 Disallowed 디렉터리를 추출한 다음, 웹 평가 중 목록을 최대한 유용하게 만들기 위해 (엉망인 상태인) 이들을 대대적으로 정리한 것입니다.

역사와 업데이트

• 이 프로젝트는 2017년에 처음 만들어졌으며 Alexa 100K를 사용했습니다.
• 이 프로젝트는 2019년 3월에 마지막으로 업데이트되었으며 Majestic Million 상위 100K를 사용했습니다. Alexa 대신 Majestic 목록을 사용한 것(Alexa는 유료 모델로 전환했습니다) 외에도, user-agent를 curl 대신 Chromium으로 전환하고, 파일 구조를 단순화했으며, 이전 버전의 파일이 유지될 수 있도록 /archive 디렉터리를 만들었습니다. 이전 코드 디렉터리도 그 안에 있습니다. 마지막으로, 실제 robots.txt 파일은 제거했습니다. 왜냐하면… 음, 그것들은 크고 쓸모없기 때문입니다.

프로젝트 사용 방법

1. 디렉터리를 시스템에 클론합니다.
2. 수행 중인 평가에 따라 사용할 파일을 선택합니다. 시간이 많다면 더 큰 top-N 목록 중 하나를 사용하고, 시간이 적다면 더 작은 것을 사용하세요.

하지만 제가 개인적으로 가장 좋아하는 옵션은 curated.txt 목록을 사용하는 것입니다. 약 500개 항목에 불과하며, 다음 문자열과 콘텐츠를 포함하는 디렉터리 모음이기 때문입니다:

• "admin"
• "user"
• "account"
• "password"
• "forgot"
• "login"
• "backup"
• 전체 목록의 상위 25개 항목

요컨대, 최고 중의 최고입니다. 이에 대해 더 자세히 블로그에 썼습니다 여기.

TL;DR: 시간을 가장 잘 활용하고 싶다면 curated.txt를 사용하세요.

크레딧

이 개념은 새로운 것이 아닙니다. RAFT 프로젝트가 처음으로 이를 수행했으며, 아이디어를 개척한 것에 대해 감사드립니다. 하지만 그 프로젝트는 이제 사라졌고, 이 아이디어는 최신 상태로 유지될 때 가장 잘 작동하므로, 우리는 RobotsDisallowed의 형태로 이를 새롭게 하기로 했습니다.

감사의 말

프로젝트를 Twitter에서 그리고 전 세계의 바운티/정찰/해킹 발표에서 언급해 주신 Jason Haddix와 Tim Tomes에게 진심으로 감사드립니다.

피드백

개선할 점에 대한 아이디어가 있으시면 [email protected]으로 이메일을 보내시거나 풀 리퀘스트를 제출해 주세요.

감사합니다, 즐거운 해킹 되세요!