s0md3v/photonCrawler incroyablement rapide conçu pour l'OSINT.
Wiki Photon • Comment utiliser • Compatibilité • Bibliothèque Photon • Contribution • Feuille de route
Photon peut extraire les données suivantes lors du crawling :
example.com/gallery.php?id=2)Les informations extraites sont sauvegardées de manière organisée ou peuvent être exportées en json.
Contrôlez le timeout, le délai, ajoutez des seeds, excluez des URLs correspondant à un motif regex et d'autres fonctionnalités intéressantes. La vaste gamme d'options fournies par Photon vous permet de crawler le web exactement comme vous le souhaitez.
La gestion intelligente des threads et la logique raffinée de Photon vous offrent des performances de premier ordre.
Cependant, le crawling peut être gourmand en ressources, mais Photon a quelques astuces dans sa manche. Vous pouvez récupérer les URLs archivées par archive.org pour les utiliser comme seeds en utilisant l'option --wayback.
Photon peut être lancé en utilisant une image Docker légère Python-Alpine (103 Mo).
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com
Pour voir les résultats, vous pouvez soit vous rendre dans le volume Docker local, que vous pouvez trouver en exécutant docker inspect photon, soit monter le dossier de butin cible :
$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com
Photon est en développement intensif et les mises à jour pour corriger les bugs, optimiser les performances et ajouter de nouvelles fonctionnalités sont déployées régulièrement.
Si vous souhaitez voir les fonctionnalités et les problèmes en cours de traitement, vous pouvez le faire sur le tableau de projet Development.
Les mises à jour peuvent être installées et vérifiées avec l'option --update. Photon dispose de capacités de mise à jour transparentes, ce qui signifie que vous pouvez mettre à jour Photon sans perdre aucune de vos données sauvegardées.
Utilisez Ctrl + Maj + M pour activer/désactiver le focus du déplacement par la touche Tab. Sinon, utilisez Échap puis Tab pour passer à l'élément interactif suivant sur la page.
Attachez des fichiers en les faisant glisser et déposer, en les sélectionnant ou en les collant.
(https://www.thordata.com/?ls=github&lk=Photon)
Wiki Photon • Comment utiliser • Compatibilité • Bibliothèque Photon • Contribution • Feuille de route
Photon peut extraire les données suivantes lors du crawling :
example.com/gallery.php?id=2)Les informations extraites sont sauvegardées de manière organisée ou peuvent être exportées en json.
Contrôlez le timeout, le délai, ajoutez des seeds, excluez des URLs correspondant à un motif regex et d'autres fonctionnalités intéressantes. La vaste gamme d'options fournies par Photon vous permet de crawler le web exactement comme vous le souhaitez.
La gestion intelligente des threads et la logique raffinée de Photon vous offrent des performances de premier ordre.
Cependant, le crawling peut être gourmand en ressources, mais Photon a quelques astuces dans sa manche. Vous pouvez récupérer les URLs archivées par archive.org pour les utiliser comme seeds en utilisant l'option --wayback.
Photon peut être lancé en utilisant une image Docker légère Python-Alpine (103 Mo).
$ git clone https://github.com/s0md3v/Photon.git
$ cd Photon
$ docker build -t photon .
$ docker run -it --name photon photon:latest -u google.com
Pour voir les résultats, vous pouvez soit vous rendre dans le volume Docker local, que vous pouvez trouver en exécutant docker inspect photon, soit monter le dossier de butin cible :
$ docker run -it --name photon -v "$PWD:/Photon/google.com" photon:latest -u google.com
Photon est en développement intensif et les mises à jour pour corriger les bugs, optimiser les performances et ajouter de nouvelles fonctionnalités sont déployées régulièrement.
Si vous souhaitez voir les fonctionnalités et les problèmes en cours de traitement, vous pouvez le faire sur le tableau de projet Development.
Les mises à jour peuvent être installées et vérifiées avec l'option --update. Photon dispose de capacités de mise à jour transparentes, ce qui signifie que vous pouvez mettre à jour Photon sans perdre aucune de vos données sauvegardées.
Vous pouvez contribuer de la manière suivante :
Veuillez lire les directives avant de soumettre une pull request ou un problème.
Vous voulez avoir une conversation en privé ? Contactez-moi sur mon twitter, la boîte de réception est ouverte :)
Photon est sous licence GPL v3.0.