يبحث PowerMeta عن الملفات المتاحة للجمهور المستضافة على مواقع ويب مختلفة لنطاق معين باستخدام عمليات بحث مخصصة في Google، و Bing. ثم يسمح بتنزيل تلك الملفات من النطاق المستهدف. بعد استرداد الملفات، يمكن تحليل البيانات الوصفية المرتبطة بها بواسطة PowerMeta. بعض الأشياء المثيرة للاهتمام التي توجد عادةً في البيانات الوصفية هي أسماء المستخدمين، والنطاقات، وعناوين البرامج، وأسماء أجهزة الكمبيوتر.
يقوم PowerMeta بالبحث عن الملفات المتاحة للعموم المستضافة على مواقع ويب مختلفة لنطاق معين باستخدام عمليات بحث مخصصة في Google و Bing. ثم يتيح تنزيل تلك الملفات من النطاق المستهدف. بعد استرجاع الملفات، يمكن تحليل البيانات الوصفية المرتبطة بها باستخدام PowerMeta. بعض الأشياء المثيرة للاهتمام التي توجد غالبًا في البيانات الوصفية هي أسماء المستخدمين، والنطاقات، وعناوين البرامج، وأسماء أجهزة الكمبيوتر.
بالنسبة للعديد من المؤسسات، من الشائع العثور على ملفات متاحة للعموم منشورة على مواقعها الإلكترونية الخارجية. تحتوي هذه الملفات في كثير من الأحيان على معلومات حساسة قد تفيد المهاجم مثل أسماء المستخدمين، والنطاقات، وعناوين البرامج أو أسماء أجهزة الكمبيوتر. يبحث PowerMeta في كل من Bing و Google عن ملفات في نطاق معين باستخدام سلاسل بحث مثل "site:targetdomain.com filetype:pdf". بشكل افتراضي، يبحث عن "pdf, docx, xlsx, doc, xls, pptx, and ppt".
يستخدم PowerMeta أداة Exiftool بواسطة Phil Harvey لاستخراج معلومات البيانات الوصفية من الملفات. إذا كنت تفضل تنزيل الملف الثنائي من موقعه مباشرة بدلاً من استخدام الملف الموجود في هذا المستودع، فيمكنك العثور عليه هنا: http://www.sno.phy.queensu.ca/~phil/exiftool/. فقط تأكد من وجود الملف القابل للتنفيذ exiftool في نفس الدليل الذي يوجد به PowerMeta.ps1 عند تشغيله. بشكل افتراضي، يقوم باستخراج حقلي 'Author' و 'Creator' فقط، حيث تحتوي هذه الحقول عادةً على أسماء مستخدمين محفوظة. ومع ذلك، يمكن استخراج جميع البيانات الوصفية للملفات عن طريق تمرير العلم -ExtractAllToCsv إلى PowerMeta.
PowerShell الإصدار 3.0 أو أحدث
حماية Google ضد البوتات أصبحت عدوانية للغاية الآن، مما يجعل من المستحيل تقريبًا كشط النتائج مباشرة، لذا قد تحصل على نتائج متباينة باستخدام PowerMeta.ps1. للتغلب على ذلك، الحل الأسهل هو استخدام واجهة برمجة تطبيقات Google (API). لقد أضفت نصًا برمجيًا جديدًا هنا يسمى "PowerMeta-API.ps1" يقوم بذلك بالضبط.
إليك التعليمات خطوة بخطوة:
الخطوة 1: إنشاء مشروع Google Cloud
الخطوة 2: تمكين Custom Search API
الخطوة 3: إنشاء مفتاح API
الخطوة 4: إنشاء محرك بحث مخصص
قم بتشغيله باستخدام:
.\PowerMeta-API.ps1 -TargetDomain "targetdomain.com" -ApiKey "<API key>" -SearchEngineId "<search engine ID>" -ExtractAllToCsv allmetadata.csv
C:\> powershell.exe -exec bypass
PS C:\> Import-Module PowerMeta.ps1
سيبدأ هذا الأمر عمليات بحث في Google و Bing عن ملفات على النطاق 'targetdomain.com' تنتهي بامتدادات ملفات pdf, docx, xlsx, doc, xls, pptx, أو pptx. بمجرد الانتهاء من إنشاء هذه القائمة، سيطلب من المستخدم إذا كان يرغب في تنزيل الملفات من النطاق المستهدف. بعد تنزيل الملفات، سيطلب مرة أخرى استخراج البيانات الوصفية من تلك الملفات.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com
سيبدأ هذا الأمر عمليات بحث في Google و Bing عن ملفات على النطاق 'targetdomain.com' تنتهي بامتدادات ملفات pdf أو xml. ثم سيقوم تلقائيًا بتنزيلها من النطاق المستهدف واستخراج البيانات الوصفية.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -FileTypes "pdf, xml" -Download -Extract
سيبدأ هذا الأمر عمليات بحث في Google و Bing عن ملفات على النطاق 'targetdomain.com' تنتهي بامتدادات ملفات pdf, docx, xlsx, doc, xls, pptx, أو pptx وسيكتب روابط الملفات التي تم العثور عليها على القرص في ملف يسمى "target-domain-links.txt".
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -TargetFileList target-domain-links.txt
سيبدأ هذا الأمر عمليات بحث في Google و Bing عن ملفات على النطاق 'targetdomain.com' تنتهي بامتدادات ملفات pdf, docx, xlsx, doc, xls, pptx, أو pptx ولكن سيبحث فقط في أول صفحتين. سيتم حفظ جميع البيانات الوصفية (وليس فقط الحقول الافتراضية) في ملف CSV يسمى all-target-metadata.csv.
PS C:\> Invoke-PowerMeta -TargetDomain targetdomain.com -MaxSearchPages 2 -ExtractAllToCsv all-target-metadata.csv
سيقوم هذا الأمر ببساطة باستخراج جميع البيانات الوصفية من جميع الملفات الموجودة في المجلد "\2017-03-031-144953" وحفظها في ملف CSV يسمى all-target-metadata.csv
PS C:\> ExtractMetadata -OutputDir .\2017-03-031-144953\ -ExtractAllToCsv all-target-metadata.csv
TargetDomain - النطاق المستهدف للبحث عن ملفات.
FileTypes - قائمة مفصولة بفواصل لامتدادات الملفات للبحث عنها. بشكل افتراضي، يبحث PowerMeta عن "pdf, docx, xlsx, doc, xls, pptx, ppt".
OutputList - ملف لإخراج قائمة الروابط التي تم اكتشافها من خلال البحث على الويب.
OutputDir - دليل لتخزين جميع الملفات التي تم تنزيلها فيه.
TargetFileList - قائمة روابط الملفات لتنزيلها.
Download - بدلاً من أن يُطلب منك بشكل تفاعلي، مرر هذا العلم لتنزيل الملفات التي تم العثور عليها تلقائيًا.
Extract - بدلاً من أن يُطلب منك بشكل تفاعلي، مرر هذا العلم لاستخراج البيانات الوصفية من الملفات التي تم العثور عليها. قم بتمرير هذا العلم لاستخراج أي بيانات وصفية تلقائيًا.
ExtractAllToCsv - سيتم استخراج جميع البيانات الوصفية (وليس فقط الحقول الافتراضية) من الملفات إلى CSV محدد بهذا العلم.
UserAgent - تغيير وكيل المستخدم الافتراضي المستخدم من قبل PowerMeta.
MaxSearchPages - أقصى عدد من الصفحات للبحث في كل محرك بحث.