s0md3v/photonCrawler incroyablement rapide conçu pour l'OSINT.
Photon
Wiki de Photon • Comment l'utiliser • Compatibilité • Bibliothèque Photon • Contribution • Feuille de route
Photon peut extraire les données suivantes lors du crawl :
example.com/gallery.php?id=2)Les informations extraites sont enregistrées de manière organisée ou peuvent être exportées en json.
Contrôlez le timeout, le délai, ajoutez des seeds, excluez les URLs correspondant à un motif regex et d'autres fonctionnalités intéressantes. La vaste gamme d'options proposée par Photon vous permet de crawler le web exactement comme vous le souhaitez.
La gestion intelligente des threads et la logique raffinée de Photon vous offrent des performances de premier ordre.
Le crawl peut néanmoins être gourmand en ressources, mais Photon a quelques atouts dans sa manche. Vous pouvez récupérer les URLs archivées par archive.org pour les utiliser comme seeds grâce à l'option --wayback.
Photon peut être lancé à l'aide d'une image Docker légère Python-Alpine (103 Mo).
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com
Pour consulter les résultats, vous pouvez soit vous rendre sur le volume Docker local, que vous pouvez trouver en exécutant docker inspect photon, soit monter le dossier de butin cible :
$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com
Photon est en cours de développement intensif et des mises à jour pour corriger des bugs, optimiser les performances et ajouter de nouvelles fonctionnalités sont publiées régulièrement.
Si vous souhaitez consulter les fonctionnalités et les problèmes en cours de traitement, vous pouvez le faire sur le tableau de projet Development.
Les mises à jour peuvent être installées et vérifiées avec l'option --update. Photon dispose de capacités de mise à jour transparentes, ce qui signifie que vous pouvez mettre à jour Photon sans perdre aucune de vos données enregistrées.
Utilisez Ctrl + Maj + m pour basculer le déplacement du focus avec la touche tabulation. Vous pouvez également utiliser échap puis tabulation pour passer à l'élément interactif suivant de la page.
Joignez des fichiers en les glissant-déposant, en les sélectionnant ou en les collant.
(https://www.thordata.com/?ls=github&lk=Photon)
Wiki de Photon • Comment l'utiliser • Compatibilité • Bibliothèque Photon • Contribution • Feuille de route
Photon peut extraire les données suivantes lors de l'exploration :
example.com/gallery.php?id=2)Les informations extraites sont enregistrées de manière organisée ou peuvent être exportées en json.
Contrôlez le délai d'attente, le délai, ajoutez des seeds, excluez les URL correspondant à un modèle regex et d'autres options intéressantes. La vaste gamme d'options proposée par Photon vous permet d'explorer le web exactement comme vous le souhaitez.
La gestion intelligente des threads et la logique affinée de Photon vous offrent des performances de premier ordre.
L'exploration peut néanmoins être gourmande en ressources, mais Photon a quelques atouts dans sa manche. Vous pouvez récupérer les URL archivées par archive.org pour les utiliser comme seeds grâce à l'option --wayback.
Photon peut être lancé à l'aide d'une image Docker légère Python-Alpine (103 Mo).
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com