A powerful target reconnaissance framework powered by graph theory.
Le projet a été déplacé vers un monorepo. Voir https://github.com/pownjs/pown pour plus d'informations.
Recon est un framework de reconnaissance de cibles alimenté par des graphes de connaissances. L'utilisation de graphes de connaissances au lieu d'une représentation tabulaire plate permet de trouver plus facilement les relations entre différents types d'informations, ce qui s'avère très pratique dans de nombreuses situations. Les algorithmes de graphes de connaissances aident également au diffing, à la recherche, à la recherche du chemin le plus court et à de nombreuses autres tâches utiles pour faciliter la découverte d'informations et la collecte de renseignements.
Cet outil fait partie de l'initiative open-source de secapps.com.```
/ | / | /_\ | _ \ _ / |
_ \ | ( / _ | / /_
|/__// __| || |___/
https://secapps.com
> **NB** : Recon est le résultat d'une copie quasi directe de l'excellent outil [Recon](https://recon.secapps.com) de SecApps.
## Démarrage rapide
Cet outil est destiné à être utilisé dans le cadre de [Pown.js](https://github.com/pownjs/pown) mais peut également être invoqué séparément en tant qu'outil indépendant. Installez Pown d'abord comme d'habitude :```sh
$ npm install -g pown@latest
Installer recon:```sh $ pown modules install @pown/recon
Invoquer directement depuis Pown :```sh
$ pown recon
Installez ce module localement depuis la racine de votre projet :```sh $ npm install @pown/recon --save
Une fois terminé, invoquez pown cli :```sh
$ POWN_ROOT=. ./node_modules/.bin/pown-cli recon
Vous pouvez également utiliser le pown global pour invoquer l'outil localement :```sh $ POWN_ROOT=. pown recon
## Utilisation en bibliothèque
Le module est également une bibliothèque. Consultez le code et les exemples pour avoir une idée de comment l'utiliser. La documentation arrive bientôt.
## Utilisation
> **AVERTISSEMENT** : Cette commande pown est actuellement en développement et par conséquent pourra subir des changements radicaux.```
pown-cli recon <command>
Target recon
Commands:
pown-cli recon transform <transform> Perform inline transformation [aliases: t]
pown-cli recon template <command> Recon template commands [aliases: p, templates]
pown-cli recon select <expressions...> Select nodes [aliases: s]
pown-cli recon traverse <expressions...> Traverse nodes [aliases: v]
pown-cli recon options <command> Manage options [aliases: option]
pown-cli recon cache <command> Manage cache
pown-cli recon add <nodes...> Add nodes [aliases: a]
pown-cli recon remove <expressions...> Remove nodes [aliases: r]
pown-cli recon edit <expressions...> Edit nodes [aliases: e]
pown-cli recon merge <files...> Perform a merge between at least two recon files [aliases: m]
pown-cli recon diff <fileA> <fileB> Perform a diff between two recon files [aliases: d]
pown-cli recon group <name> <expressions...> Group nodes [aliases: g]
pown-cli recon ungroup <expressions...> Ungroup nodes [aliases: u]
pown-cli recon load <file> Load a file [aliases: l]
pown-cli recon save <file> Save to file [aliases: o]
pown-cli recon import <file> Import file [aliases: i]
pown-cli recon export <file> Export to file [aliases: x]
pown-cli recon remote <command> Remote managment [aliases: remotes, f]
pown-cli recon layout <name> Layout the graph [aliases: k]
pown-cli recon summary [options] Create a summary [aliases: y]
pown-cli recon exec <files...> Execute js file [aliases: c]
Options:
--version Show version number [boolean]
--help Show help [boolean]
pown-cli recon transform <transform>
Perform inline transformation
Commands:
pown-cli recon transform bitbucketlistrepos [options] <nodes...> List Bitbucket repositories [aliases: bitbucket_list_repos, bblr]
pown-cli recon transform bitbucketlistsnippets [options] <nodes...> List Bitbucket snippets [aliases: bitbucket_list_snippets, bbls]
pown-cli recon transform bitbucketlistteamrepos [options] <nodes...> List Bitbucket team repos [aliases: bitbucket_list_team_repos, bbltr]
pown-cli recon transform bitbucketlistteammembers [options] <nodes...> List Bitbucket team members [aliases: bitbucket_list_team_members, bbltm]
pown-cli recon transform bufferoverrunsubdomainsearch [options] <nodes...> Obtain a list of subdomains using bufferover.run DNS service [aliases: bufferoverrun_subdomain_search, brss]
pown-cli recon transform certspotterissuances [options] <nodes...> Obtain issuances from Certspotter [aliases: certspotter_issuances, csi]
pown-cli recon transform cloudflarednsquery [options] <nodes...> Query CloudFlare DNS API [aliases: cloudflare_dns_query, cfdq]
pown-cli recon transform crtshcndomainreport [options] <nodes...> Obtain crt.sh domain report which helps enumerating potential target subdomains [aliases: crtsh_cn_domain_report, crtshcdr]
pown-cli recon transform crtshsandomainreport [options] <nodes...> Obtain crt.sh domain report which helps enumerating potential target subdomains [aliases: crtsh_san_domain_report, crtshsdr]
pown-cli recon transform dnsresolve [options] <nodes...> Performs DNS resolution [aliases: dns_resolve, dr, dns]
pown-cli recon transform dockerhublistrepos [options] <nodes...> List DockerHub repositories for a given member or org [aliases: dockerhub_list_repos, dhlr]
pown-cli recon transform gravatar [options] <nodes...> Get gravatar
pown-cli recon transform hackertargetreverseiplookup [options] <nodes...> Obtain reverse IP information from hackertarget.com [aliases: hackertarget_reverse_ip_lookup, htril]
pown-cli recon transform hackertargetonlineportscan [options] <nodes...> Obtain port information from hackertarget.com [aliases: hackertarget_online_port_scan, htps]
pown-cli recon transform httpfingerprint [options] <nodes...> Performs a fingerprint on the HTTP server and application [aliases: http_fingerprint, hf]
pown-cli recon transform ipinfoiowidgetsearch [options] <nodes...> Obtain ipinfo.io whois report via the web widget [aliases: ipinfoio_widget_search, iiiows]
pown-cli recon transform omnisintsubdomainreport [options] <nodes...> Obtain omnisint domain report which helps enumerating target subdomains [aliases: omnisint_subdomain_report]
pown-cli recon transform pkslookupkeys [options] <nodes...> Look the the PKS database at pool.sks-keyservers.net which pgp.mit.edu is part of [aliases: pks_lookup_keys, pkslk]
pown-cli recon transform pwndbsearch [options] <nodes...> Searching the PwnDB database [aliases: pwndb_search, pds]
pown-cli recon transform riddleripsearch [options] <nodes...> Searches for IP references using F-Secure riddler.io [aliases: riddler_ip_search, rdis]
pown-cli recon transform riddlerdomainsearch [options] <nodes...> Searches for Domain references using F-Secure riddler.io [aliases: riddler_domain_search, rdds]
pown-cli recon transform script [options] <nodes...> Perform transformation with external script [aliases: script]
pown-cli recon transform scyllasearch [options] <nodes...> Searching the Scylla database [aliases: scylla_search, scys]
pown-cli recon transform securitytrailssuggestions [options] <nodes...> Get a list of domain suggestions from securitytrails.com [aliases: securitytrails_domain_suggestions, stds]
pown-cli recon transform shodanorgsearch [options] <nodes...> Performs search using ORG filter [aliases: shodan_org_search, sos]
pown-cli recon transform shodansslsearch [options] <nodes...> Performs search using SSL filter [aliases: shodan_ssl_search, sss]
pown-cli recon transform spysesubdomains [options] <nodes...> Performs subdomain searching with Spyse [aliases: spyse_subdomains, ssds]
pown-cli recon transform tcpportscan [options] <nodes...> Simple, full-handshake TCP port scanner (very slow and sometimes inaccurate) [aliases: tcp_port_scan, tps]
pown-cli recon transform threatcrowddomainreport [options] <nodes...> Obtain threatcrowd domain report which helps enumerating potential target subdomains and email addresses [aliases: threatcrowd_domain_report, tcdr]
pown-cli recon transform threatcrowdipreport [options] <nodes...> Obtain threatcrowd ip report which helps enumerating virtual hosts [aliases: threatcrowd_ip_report, tcir]
pown-cli recon transform urlscanliveshot [options] <nodes...> Generates a liveshot of any public site via urlscan [aliases: urlscan_liveshot, usls]
pown-cli recon transform urlscansubdomains [options] <nodes...> Find subdomains via urlscan [aliases: urlscan_subdomains, uss]
pown-cli recon transform noop [options] <nodes...> Does not do anything [aliases: nop]
pown-cli recon transform sleep [options] <nodes...> Sleeps for predefined time [aliases: sleep, wait]
pown-cli recon transform duplicate [options] <nodes...> Duplicate node [aliases: dup]
pown-cli recon transform extract [options] <nodes...> Extract property [aliases: excavate]
pown-cli recon transform prefix [options] <nodes...> Creates a new node with a prefix [aliases: prepand]
pown-cli recon transform suffix [options] <nodes...> Creates a new node with a suffix [aliases: append]
pown-cli recon transform augment [options] <nodes...> Update node with prefix or suffix
pown-cli recon transform splitemail [options] <nodes...> Split email at the @ sign [aliases: split_email]
pown-cli recon transform buildemail [options] <nodes...> Build email from node label [aliases: build_email]
pown-cli recon transform splitdomain [options] <nodes...> Split domain at the first dot [aliases: split_domain]
pown-cli recon transform builddomain [options] <nodes...> Build domain from node label [aliases: build_domain]
pown-cli recon transform splituri [options] <nodes...> Split URI to corresponding parts [aliases: split_uri]
pown-cli recon transform builduri [options] <nodes...> Build URI from node label [aliases: build_uri]
pown-cli recon transform bakeimages [options] <nodes...> Convert external image into data URIs for self-embedding purposes [aliases: bake_images, bes]
pown-cli recon transform virustotalsubdomains [options] <nodes...> Obtain subdomains from Virustotal [aliases: virustotal_subdomains, vtsd]
pown-cli recon transform vulnerssearch [options] <nodes...> Obtain vulnerability information via vulners.com [aliases: vulners_search, vs]
pown-cli recon transform wappalyzerprofile [options] <nodes...> Enumerate technologies with api.wappalyzer.com [aliases: wappalyzer_profile, wzp]
pown-cli recon transform worker [options] <nodes...> Perform transformation with external worker [aliases: worker]
pown-cli recon transform zonecrunchersubdomains [options] <nodes...> Performs subdomain searching with Zonecruncher [aliases: zonecruncher_subdomains, zcss]
pown-cli recon transform auto [options] <nodes...> Select the most appropriate methods of transformation
Options:
--version Show version number [boolean]
--help Show help [boolean]
-r, --read Read file [string]
-w, --write Write file [string]
Les graphiques générés peuvent être prévisualisés dans SecApps Recon pour plus de commodité, sur lequel cet outil est basé. Vous pouvez accéder à SecApps Recon depuis votre navigateur, mais vous pouvez également l'invoquer depuis la ligne de commande.
Vous devez d'abord avoir @pown/apps installé:```sh
$ pown modules install @pown/apps
Ceci installera le package de commande optionnel apps.
Générez votre graphique en utilisant les options d'écriture :```sh
$ pown recon transform auto -w path/to/file.network --node-type brand target
Une fois la reconnaissance terminée, ouvrez le graphique pour prévisualisation dans SecApps Recon :```sh $ pown apps recon < path/to/file.network
## Scripting
Pown recon est conçu pour être scripté via votre environnement shell préféré, [Pown Script](https://github.com/pownjs/script), [Pown Engine Templates](https://github.com/pownjs/engine) et JavaScript. Les scripts bénéficient d'un contexte préservé entre chaque exécution de commande. Cela signifie que vous pouvez construire un graphe sans avoir besoin de sauvegarder et de restaurer dans des fichiers intermédiaires.
À l'aide de votre éditeur préféré, créez un fichier nommé `example.pown` avec le contenu suivant :```sh
echo This is script
recon add --node-type brand target
recon t auto
Exécutez le script depuis pown :```sh $ pown script path/to/example.pown
Pour plus d'informations, consultez `./examples` pour d'autres idées d'utilisation de scripts.
## Sélecteurs
> Certaines commandes attendent des sélecteurs de graphe. Le reste de la documentation est une copie du manuel des sélecteurs de cytoscape.js avec quelques différences mineures.
Un sélecteur fonctionne de manière similaire à un sélecteur CSS sur les éléments DOM, mais les sélecteurs dans Recon fonctionnent plutôt sur des collections d'éléments de graphe. Ce mécanisme est fourni par le puissant cytoscape.js.
Les sélecteurs peuvent être combinés ensemble pour créer des requêtes puissantes, par exemple :```
pown select 'node[weight >= 50][height < 180]'
Les sélecteurs peuvent être combinés (créant effectivement un OU logique) avec des virgules :``` pown select 'node#j, edge[source = "j"]'
Il est important de noter que les chaînes doivent être entourées de guillemets :```
pown select 'node[type = "domain"]'
Notez que les métacaractères ( ^ $ \ / ( ) | ? + * [ ] { } , . ) doivent être échappés :
pown select '#some\$funky\@id'
node, edge, ou * (sélecteur de groupe) Sélectionne les éléments en fonction du groupe (node pour les nœuds, edge pour les arêtes, * pour tous)..className Sélectionne les éléments qui ont la classe spécifiée (par exemple, utilisez .foo pour une classe nommée "foo").#id Sélectionne l'élément avec l'ID correspondant (par exemple, #foo équivaut à [id = 'foo'])[name] Sélectionne les éléments s'ils ont l'attribut de données spécifié défini, c'est-à-dire non indéfini (par exemple, [foo] pour un attribut nommé « foo »). Ici, null est considéré comme une valeur définie.[^name] Sélectionne les éléments si l'attribut de données spécifié n'est pas défini, c'est-à-dire indéfini (par exemple, [^foo]). Ici, null est considéré comme une valeur définie.[?name] Sélectionne les éléments si l'attribut de données spécifié est une valeur considérée comme vraie (truthy) (par exemple, [?foo]).[!name] Sélectionne les éléments si l'attribut de données spécifié est une valeur considérée comme fausse (falsey) (par exemple, [!foo]).[name = value] Sélectionne les éléments si leur attribut de données correspond à une valeur spécifiée (par exemple, [foo = 'bar'] ou [num = 2]).[name != value] Sélectionne les éléments si leur attribut de données ne correspond pas à une valeur spécifiée (par exemple, ou ).> (sélecteur d'enfant) Correspond aux enfants directs du nœud parent (par exemple, node > node). (sélecteur de descendant) Correspond aux descendants du nœud parent (par exemple, node node).$ (sélecteur de sujet) Définit le sujet du sélecteur (par exemple, $node > node pour sélectionner les nœuds parents au lieu des enfants).Un type complexe de sélection est appelé traversée.
Voici quelques-unes des transformations disponibles dans Recon. Des transformations supplémentaires sont disponibles dans des modules pown optionnels.
Pour démontrer la puissance de Recon et de l'OSINT basée sur les graphes (Open Source Intelligence), examinons l'exemple trivial suivant.
Commençons par interroger tous ceux qui sont membres de l'équipe d'ingénierie de Google et contribuent à leur compte GitHub.```sh pown recon t -w google.network ghlm google
Cette commande générera une table similaire à celle-ci :```
github:member
┌─────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────┬─────────────────────────────────────────────────────────┐
│ uri │ login │ avatar │
├─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤
│ https://github.com/3rf │ 3rf │ https://avatars1.githubusercontent.com/u/1242478?v=4 │
├─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤
│ https://github.com/aaroey │ aaroey │ https://avatars0.githubusercontent.com/u/31743510?v=4 │
├─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤
│ https://github.com/aarongable │ aarongable │ https://avatars3.githubusercontent.com/u/2474926?v=4 │
...
...
...
│ https://github.com/alexpennace │ alexpennace │ https://avatars1.githubusercontent.com/u/2506548?v=4 │
├─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤
│ https://github.com/alexv │ alexv │ https://avatars0.githubusercontent.com/u/30807372?v=4 │
├─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┼─────────────────────────────────────────────────────────┤
│ https://github.com/alexwhouse │ alexwhouse │ https://avatars3.githubusercontent.com/u/1448490?v=4 │
└─────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────┴─────────────────────────────────────────────────────────┘
Vous venez de créer votre premier réseau !
La représentation est tabulaire pour plus de commodité, mais en dessous, nous avons un modèle composé de nœuds reliés par des arêtes.
Si vous vous demandez à quoi cela ressemble, vous pouvez utiliser SecApps Recon. La ligne de commande ne dispose pas du niveau d'interactivité nécessaire pour présenter la complexité des graphes.
L'option de ligne de commande -w google.network a exporté le réseau vers un fichier. Vous pouvez charger le fichier directement dans SecApps Recon avec la fonction d'ouverture de fichier. Le résultat ressemblera à ceci :
Imaginez maintenant que nous voulons interroger les dépôts sur lesquels ces ingénieurs de Google travaillent. C'est simple. Tout d'abord, nous devons sélectionner les nœuds du graphe, puis les transformer avec la transformation "GitHub List Repositories". Voici comment procéder à partir de la ligne de commande :```sh pown recon t ghlr -r google.network -w google2.nework -s 'node[type="github:member"]'
Si vous ne dépassez pas les limites de débit de l'API GitHub, vous verrez ceci :```
github:repo
┌──────────────────────────────────────────────────────────────────────────────────────┬──────────────────────────────────────────────────────────────────────────────────────┐
│ uri │ fullName │
├──────────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┤
│ https://github.com/3rf/2015-talks │ 3rf/2015-talks │
├──────────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┤
│ https://github.com/3rf/codecoroner │ 3rf/codecoroner │
├──────────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┤
│ https://github.com/3rf/DefinitelyTyped │ 3rf/DefinitelyTyped │
...
...
...
│ https://github.com/agau4779/ultimate-tic-tac-toe │ agau4779/ultimate-tic-tac-toe │
├──────────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┤
│ https://github.com/agau4779/worm_scraper │ agau4779/worm_scraper │
├──────────────────────────────────────────────────────────────────────────────────────┼──────────────────────────────────────────────────────────────────────────────────────┤
│ https://github.com/agau4779/zsearch │ agau4779/zsearch │
└──────────────────────────────────────────────────────────────────────────────────────┴──────────────────────────────────────────────────────────────────────────────────────┘
Maintenant que nous avons deux fichiers google.network et google2.network, vous vous demandez peut-être quelle est la différence entre eux. Eh bien, nous avons un outil pour faire exactement cela.```sh
pown recon diff google.network google2.network
Maintenant nous savons ! Cette fonctionnalité est très utile si vous construisez de grandes cartes de reconnaissance et que vous souhaitez connaître les principales différences. Imaginez que votre tâche cron effectue la même reconnaissance chaque jour et que vous souhaitiez savoir si quelque chose de nouveau vient d'apparaître et mérite d'être exploré plus en détail. Bonjour, chasseurs de primes de bogues !
[foo != 'bar'][num != 2][name > value] Sélectionne les éléments si leur attribut de données est supérieur à une valeur spécifiée (par exemple, [foo > 'bar'] ou [num > 2]).[name >= value] Sélectionne les éléments si leur attribut de données est supérieur ou égal à une valeur spécifiée (par exemple, [foo >= 'bar'] ou [num >= 2]).[name < value] Sélectionne les éléments si leur attribut de données est inférieur à une valeur spécifiée (par exemple, [foo < 'bar'] ou [num < 2]).[name <= value] Sélectionne les éléments si leur attribut de données est inférieur ou égal à une valeur spécifiée (par exemple, [foo <= 'bar'] ou [num <= 2]).[name *= value] Sélectionne les éléments si leur attribut de données contient la valeur spécifiée comme sous-chaîne (par exemple, [foo *= 'bar']).[name ^= value] Sélectionne les éléments si leur attribut de données commence par la valeur spécifiée (par exemple, [foo ^= 'bar']).[name $= value] Sélectionne les éléments si leur attribut de données se termine par la valeur spécifiée (par exemple, [foo $= 'bar']).@ (modificateur d'opérateur d'attribut de données) Préfixé à un opérateur pour qu'il soit insensible à la casse (par exemple, [foo @$= 'ar'], [foo @>= 'a'], [foo @= 'bar'])! (modificateur d'opérateur d'attribut de données) Préfixé à un opérateur pour qu'il soit nié (par exemple, [foo !$= 'ar'], [foo !>= 'a'])[[]] (crochets de métadonnées) Utilisez des doubles crochets à la place des simples pour effectuer une correspondance sur les métadonnées plutôt que sur les données (par exemple, [[degree > 2]] correspond aux éléments de degré supérieur à 2). Les propriétés prises en charge incluent degree, indegree et outdegree.