s0md3v/photonUnglaublich schneller Crawler, entwickelt für OSINT.
Photon Wiki • Verwendung • Kompatibilität • Photon Bibliothek • Mitwirken • Roadmap
Photon kann beim Crawlen folgende Daten extrahieren:
example.com/gallery.php?id=2)Die extrahierten Informationen werden organisiert gespeichert oder können als JSON exportiert werden.
Steuere Timeout, Verzögerung, füge Seeds hinzu, schließe URLs aus, die einem Regex-Muster entsprechen, und andere coole Dinge. Die umfangreiche Palette an Optionen, die Photon bietet, ermöglicht dir das Crawlen des Webs genau so, wie du es möchtest.
Photons intelligentes Thread-Management und verfeinerte Logik liefern erstklassige Leistung.
Trotzdem kann Crawlen ressourcenintensiv sein, aber Photon hat noch einige Tricks im Ärmel. Du kannst mit der --wayback-Option URLs abrufen, die von archive.org archiviert wurden, um sie als Seeds zu verwenden.
Photon kann mit einem leichten Python-Alpine (103 MB) Docker-Image gestartet werden.
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com
Um die Ergebnisse anzuzeigen, kannst du entweder zum lokalen Docker-Volume navigieren (das du mit docker inspect photon findest) oder den Zielordner einbinden:
$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com
Photon befindet sich in intensiver Entwicklung, und Updates zur Fehlerbehebung, Leistungsoptimierung und neue Funktionen werden regelmäßig veröffentlicht.
Wenn du sehen möchtest, an welchen Funktionen und Problemen gearbeitet wird, kannst du das auf dem Development-Projektboard tun.
Updates können mit der --update-Option installiert und überprüft werden. Photon verfügt über nahtlose Update-Fähigkeiten, d. h. du kannst Photon aktualisieren, ohne gespeicherte Daten zu verlieren.
Verwende Strg + Umschalt + m, um den Fokus der Tab-Taste umzuschalten. Alternativ kannst du Esc und dann Tab verwenden, um zum nächsten interaktiven Element auf der Seite zu gelangen.
Dateien durch Ziehen und Ablegen, Auswählen oder Einfügen anhängen.
(https://www.thordata.com/?ls=github&lk=Photon)
Photon Wiki • Verwendung • Kompatibilität • Photon Bibliothek • Mitwirken • Roadmap
Photon kann beim Crawlen folgende Daten extrahieren:
example.com/gallery.php?id=2)Die extrahierten Informationen werden organisiert gespeichert oder können als JSON exportiert werden.
Steuere Timeout, Verzögerung, füge Seeds hinzu, schließe URLs aus, die einem Regex-Muster entsprechen, und andere coole Dinge. Die umfangreiche Palette an Optionen, die Photon bietet, ermöglicht dir das Crawlen des Webs genau so, wie du es möchtest.
Photons intelligentes Thread-Management und verfeinerte Logik liefern erstklassige Leistung.
Trotzdem kann Crawlen ressourcenintensiv sein, aber Photon hat noch einige Tricks im Ärmel. Du kannst mit der --wayback-Option URLs abrufen, die von archive.org archiviert wurden, um sie als Seeds zu verwenden.
Photon kann mit einem leichten Python-Alpine (103 MB) Docker-Image gestartet werden.
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com
Um die Ergebnisse anzuzeigen, kannst du entweder zum lokalen Docker-Volume navigieren (das du mit docker inspect photon findest) oder den Zielordner einbinden:
$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com
Photon befindet sich in intensiver Entwicklung, und Updates zur Fehlerbehebung, Leistungsoptimierung und neue Funktionen werden regelmäßig veröffentlicht.
Wenn du sehen möchtest, an welchen Funktionen und Problemen gearbeitet wird, kannst du das auf dem Development-Projektboard tun.
Updates können mit der --update-Option installiert und überprüft werden. Photon verfügt über nahtlose Update-Fähigkeiten, d. h. du kannst Photon aktualisieren, ohne gespeicherte Daten zu verlieren.
Du kannst auf folgende Weise mitwirken:
Bitte lies die Richtlinien, bevor du einen Pull-Request oder ein Issue einreichst.
Möchtest du ein privates Gespräch führen? Schreib mir auf Twitter, mein Posteingang ist offen :)
Photon ist lizenziert unter der GPL v3.0 Lizenz.