dafthack/powermetaPowerMeta durchsucht mithilfe speziell erstellter Google- und Bing-Suchen nach öffentlich verfügbaren Dateien, die auf verschiedenen Websites für eine bestimmte Domain gehostet werden. Anschließend ermöglicht es das Herunterladen dieser Dateien von der Ziel-Domain. Nach dem Abrufen der Dateien können die zugehörigen Metadaten von PowerMeta analysiert werden. Einige interessante Dinge, die häufig in Metadaten gefunden werden, sind Benutzernamen, Domains, Softwaretitel und Computernamen.
PowerMeta sucht nach öffentlich zugänglichen Dateien, die auf verschiedenen Websites für eine bestimmte Domain gehostet werden, und verwendet dafür speziell angefertigte Google- und Bing-Suchen. Anschließend können diese Dateien von der Zieldomain heruntergeladen werden. Nach dem Abruf der Dateien kann die mit ihnen verbundene Metadaten von PowerMeta analysiert werden. Einige interessante Dinge, die häufig in Metadaten gefunden werden, sind Benutzernamen, Domains, Softwaretitel und Computernamen.
Für viele Organisationen ist es üblich, öffentlich zugängliche Dateien auf ihren externen Websites zu finden. Oft enthalten diese Dateien sensible Informationen, die für einen Angreifer von Nutzen sein könnten, wie Benutzernamen, Domains, Softwaretitel oder Computernamen. PowerMeta durchsucht sowohl Bing als auch Google nach Dateien auf einer bestimmten Domain mit Suchstrings wie „site:targetdomain.com filetype:pdf“. Standardmäßig sucht es nach „pdf, docx, xlsx, doc, xls, pptx und ppt“.
PowerMeta verwendet Exiftool von Phil Harvey, um Metadaten aus Dateien zu extrahieren. Wenn Sie die Binärdatei direkt von seiner Website herunterladen möchten, anstatt die aus diesem Repository zu verwenden, finden Sie sie hier: http://www.sno.phy.queensu.ca/~phil/exiftool/. Stellen Sie einfach sicher, dass sich die ausführbare Datei von exiftool im selben Verzeichnis wie PowerMeta.ps1 befindet, wenn sie ausgeführt wird. Standardmäßig werden nur die Felder „Author“ und „Creator“ extrahiert, da diese häufig Benutzernamen enthalten. Es können jedoch alle Metadaten von Dateien extrahiert werden, indem PowerMeta das Flag -ExtractAllToCsv übergeben wird.
PowerShell Version 3.0 oder höher
Die Anti-Bot-Schutzmaßnahmen von Google sind inzwischen extrem aggressiv, sodass es fast unmöglich ist, Ergebnisse direkt zu scrapen. Daher können Sie mit PowerMeta.ps1 gemischte Ergebnisse erzielen. Die einfachste Lösung, um dies zu umgehen, ist die Verwendung der Google-API. Ich habe hier ein neues Skript namens „PowerMeta-API.ps1“ hinzugefügt, das genau das tut.
Hier Schritt-für-Schritt-Anleitung:
Schritt 1: Google Cloud-Projekt erstellen
Schritt 2: Custom Search API aktivieren
Schritt 3: API-Schlüssel erstellen
Schritt 4: Benutzerdefinierte Suchmaschine erstellen
Führen Sie es aus mit:
.\PowerMeta-API.ps1 -TargetDomain "targetdomain.com" -ApiKey "<API key>" -SearchEngineId "<search engine ID>" -ExtractAllToCsv allmetadata.csv
C:\> powershell.exe -exec bypass
PS C:\> Import-Module PowerMeta.ps1
Dieser Befehl initiiert Google- und Bing-Suchen nach Dateien in der Domain „targetdomain.com“, die mit einer Dateierweiterung von pdf, docx, xlsx, doc, xls, pptx oder ppt enden. Sobald die Liste erstellt wurde, wird der Benutzer gefragt, ob er die Dateien von der Zieldomain herunterladen möchte. Nach dem Herunterladen der Dateien wird erneut zur Extraktion von Metadaten aus diesen Dateien aufgefordert.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com
Dieser Befehl initiiert Google- und Bing-Suchen nach Dateien in der Domain „targetdomain.com“, die mit einer Dateierweiterung von pdf oder xml enden. Anschließend werden sie automatisch von der Zieldomain heruntergeladen und Metadaten extrahiert.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -FileTypes "pdf, xml" -Download -Extract
Dieser Befehl initiiert Google- und Bing-Suchen nach Dateien in der Domain „targetdomain.com“, die mit einer Dateierweiterung von pdf, docx, xlsx, doc, xls, pptx oder ppt enden, und schreibt die gefundenen Dateilinks in eine Datei namens „target-domain-links.txt“.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -TargetFileList target-domain-links.txt
Dieser Befehl initiiert Google- und Bing-Suchen nach Dateien in der Domain „targetdomain.com“, die mit einer Dateierweiterung von pdf, docx, xlsx, doc, xls, pptx oder ppt enden, durchsucht jedoch nur die ersten beiden Seiten. Alle Metadaten (nicht nur die Standardfelder) werden in einer CSV-Datei namens all-target-metadata.csv gespeichert.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -MaxSearchPages 2 -ExtractAllToCsv all-target-metadata.csv
Dieser Befehl extrahiert einfach alle Metadaten aus allen Dateien im Ordner „\2017-03-031-144953\“ und speichert sie in einer CSV-Datei namens all-target-metadata.csv
PS C:\> ExtractMetadata -OutputDir .\2017-03-031-144953\ -ExtractAllToCsv all-target-metadata.csv
TargetDomain - Die Zieldomain, nach der Dateien durchsucht werden sollen.
FileTypes - Eine durch Komma getrennte Liste von Dateierweiterungen, nach denen gesucht werden soll. Standardmäßig sucht PowerMeta nach „pdf, docx, xlsx, doc, xls, pptx, ppt“.
OutputList - Eine Datei, in die die Liste der durch Websuche gefundenen Links ausgegeben wird.
OutputDir - Ein Verzeichnis zum Speichern aller heruntergeladenen Dateien.
TargetFileList - Liste der herunterzuladenden Dateilinks.
Download - Anstatt interaktiv aufgefordert zu werden, übergeben Sie dieses Flag, um gefundene Dateien automatisch herunterzuladen.
Extract - Anstatt interaktiv aufgefordert zu werden, übergeben Sie dieses Flag, um Metadaten aus gefundenen Dateien zu extrahieren.
ExtractAllToCsv - Alle Metadaten (nicht nur die Standardfelder) werden mit diesem Flag in eine CSV extrahiert.
UserAgent - Ändert den Standard-User-Agent, der von PowerMeta verwendet wird.
MaxSearchPages - Die maximale Anzahl von Seiten, die auf jeder Suchmaschine durchsucht werden sollen.