dcrawl

dcrawl ist ein einfacher, aber intelligenter, mehrthreaded Webcrawler zum zufälligen Sammeln riesiger Listen eindeutiger Domainnamen.

Wie funktioniert es?

dcrawl nimmt eine Site-URL als Eingabe und erkennt alle <a href=...> Links im Body der Site. Jeder gefundene Link wird in die Warteschlange eingereiht. Nacheinander wird jeder in der Warteschlange befindliche Link auf die gleiche Weise gecrawlt, wobei zu weiteren URLs verzweigt wird, die in Links auf dem Body jeder Site gefunden werden.

Wie intelligentes Crawlen funktioniert:

• Verzweigen nur zu einer vordefinierten Anzahl von Links, die pro Hostname gefunden werden.
• Maximale Anzahl erlaubter verschiedener Hostnamen pro Domain (vermeidet Subdomain-Crawling-Hölle, z.B. blogspot.com).
• Kann mit derselben Liste von Domains neu gestartet werden – zuletzt gespeicherte Domains werden zur URL-Warteschlange hinzugefügt.
• Crawlt nur Sites, die den text/html Content-Type in der HEAD-Antwort zurückgeben.
• Ruft den Site-Body mit einer maximalen Größe von 1MB ab.
• Speichert nicht erreichbare Domains nicht.

Wie ausführen?

go build dcrawl.go
./dcrawl -url http://wired.com -out ~/domain_lists/domains1.txt -t 8

Verwendung

     ___                          __
  __| _/________________ __  _  _|  |
 / __ |/ ___\_  __ \__  \\ \/ \/ /  |
/ /_/ \  \___|  | \// __ \\     /|  |__
\____ |\___  >__|  (____  /\/\_/ |____/
     \/    \/           \/       v.1.0

usage: dcrawl -url URL -out OUTPUT_FILE -t THREADS

  -ms int
        maximale verschiedene Subdomains für eine Domain (Std. 10) (Standard 10)
  -mu int
        maximale Anzahl zu crawlen der Links pro Hostname (Std. 5) (Standard 5)
  -out string
        Ausgabedatei zum Speichern der Hostnamen
  -t int
        Anzahl gleichzeitiger Threads (Std. 8) (Standard 8)
  -url string
        URL, von der das Scraping gestartet werden soll
  -v bool
        verbose (Standard false)

Lizenz

dcrawl wurde von Kuba Gretzky von breakdev.org erstellt und unter der MIT-Lizenz veröffentlicht.