behindthefirewalls/parseroParsero | Robots.txt 감사 도구
Parsero는 Python으로 작성된 무료 스크립트로, 웹 서버의 Robots.txt 파일을 읽고 Disallow 항목을 확인합니다. Disallow 항목은 검색 엔진에 웹 서버에 호스팅된 디렉터리나 파일이 인덱싱되면 안 된다는 것을 알려줍니다. 예를 들어, "Disallow: /portal/login"은 www.example.com/portal/login의 콘텐츠가 Google, Bing, Yahoo 등 크롤러에 의해 인덱싱되는 것이 허용되지 않는다는 의미입니다. 이것은 관리자가 검색 엔진과 민감하거나 개인적인 정보를 공유하지 않기 위한 방법입니다.
하지만 때때로 Disallow 항목에 입력된 이러한 경로는 검색 엔진을 사용하지 않고도 사용자가 직접 URL과 경로를 방문하여 접근할 수 있으며, 어떤 경로는 누구에게도 방문이 허용되지 않을 수도 있습니다. 관리자가 많은 Disallow 항목을 작성하고 그중 일부는 접근 가능하고 일부는 그렇지 않은 경우가 매우 흔하기 때문에, Parsero를 사용하여 각 Disallow 항목의 HTTP 상태 코드를 확인함으로써 이 디렉터리들이 접근 가능한지 여부를 자동으로 확인할 수 있습니다.
또한 관리자가 robots.txt를 작성한다고 해서 Disallow 항목에 입력된 파일이나 디렉터리가 Bing, Google, Yahoo 등에서 인덱싱되지 않는다는 의미는 아닙니다. 이러한 이유로 Parsero는 웹 관리자의 승인 없이 인덱싱된 콘텐츠를 찾기 위해 Bing에서 검색할 수 있습니다. Parsero는 각 Bing 결과에 대해 동일한 방식으로 HTTP 상태 코드를 확인합니다.
Parsero를 실행하면 HTTP 상태 코드를 볼 수 있습니다. 예를 들어, 아래와 같은 코드입니다:
200 OK The request has succeeded.
403 Forbidden The server understood the request, but is refusing to fulfill it.
404 Not Found The server hasn't found anything matching the Request-URI.
302 Found The requested resource resides temporarily under a different URI.
...
Parsero에 대한 최신 정보는 다음에서 얻을 수 있습니다. http://www.behindthefirewalls.com/search/?q=parsero
Parsero를 쉽게 설치하는 방법은 세 가지가 있습니다.
setup.py 스크립트 사용
sudo setup.py install
pip3 사용
sudo apt-get install python3-pip
sudo pip3 install parsero
Kali Linux에서
sudo apt-get update
sudo apt-get install parsero
$ parsero -h
usage: parsero.py [-h] [-u URL] [-o] [-sb]
optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows
-f FILE Scan a list of domains from a list
root@kali:~# parsero -u www.example.com -sb
____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_) / _` | '__/ __|/ _ \ '__/ _ \
| __/ (_| | | \__ \ __/ | | (_) |
|_| \__,_|_| |___/\___|_| \___/
Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 05/22/14 11:12:55
Parsero scan report for example.com
http://example.com/download.php 302 Moved Temporarily
http://example.com/raw.php 302 Moved Temporarily
http://example.com/embed_js.php 200 OK
http://example.com/embed.php 200 OK
http://example.com/print.php 302 Moved Temporarily
http://example.com/diff.php 302 Moved Temporarily
http://example.com/share.php 404 Not Found
http://example.com/report.php 302 Moved Temporarily
http://example.com/embed_iframe.php 200 OK
[+] 9 links have been analyzed and 3 of them are available!!!
Searching the Disallows entries in Bing
http://www.bing.com/search?q=site:http://example.com/download.php
http://www.bing.com/search?q=site:http://example.com/raw.php
- example.com/raw.php/contact?i=KR9c2erd 200 OK
- example.com/raw.php/legal.aspx 302 Moved Temporarily
- example.com/raw.php/points?i=KR9c2erd 200 OK
- example.com/raw.php/image/sqrn11sp3C/zayn-tshirt-one-direction?i=... 302 Moved Temporarily
http://www.bing.com/search?q=site:http://example.com/embed_js.php
http://www.bing.com/search?q=site:http://example.com/embed.php
http://www.bing.com/search?q=site:http://example.com/print.php
http://www.bing.com/search?q=site:http://example.com/diff.php
http://www.bing.com/search?q=site:http://example.com/share.php
http://www.bing.com/search?q=site:http://example.com/report.php
http://www.bing.com/search?q=site:http://example.com/embed_iframe.php
Finished in 7.290362596511841 seconds
이 도구의 사용은 본인의 책임입니다. 자신의 서버 또는 스캔이 허용된 서버를 감사하려면 parsero를 사용하십시오. 본 도구로 수행된 행동에 대해 어떠한 책임도 지지 않음을 밝힙니다.
http://www.devconsole.info 의 @cor3dump3d에게 지원과 도움에 감사드립니다.