SharePointDumper

SharePointDumper هي أداة استخراج وتدقيق مبنية على PowerShell، تقوم بتعداد مواقع SharePoint التي يمكن للمستخدم الوصول إليها عبر Microsoft Graph وتنزيل الملفات عبر SharePoint.

تم تصميمها لاختبارات SOC / DLP، وفرق الأرجواني، وتقييمات الفريق الأحمر غير المتطورة، وبالتالي تنتج تقارير مفصلة تتضمن الملفات التي تم تنزيلها وكل طلب HTTP (Graph + SharePoint) لربطها مع SIEM.

الأداة لا تقوم بالمصادقة. بدلاً من ذلك، تتطلب رمز وصول OAuth2 تم الحصول عليه مسبقًا مع الأذونات المناسبة لـ Microsoft Graph (Sites.Read.All أو Sites.ReadWrite.All).
إذا كنت بحاجة إلى مساعدة في الحصول على مثل هذا الرمز، يمكنك استخدام EntraTokenAid (أمثلة مرفقة أدناه)، والذي يبسط توليد رموز الوصول القابلة للاستخدام.

✨ الميزات

• تعداد مواقع SharePoint ومحركات الأقراص والمجلدات والملفات عبر Microsoft Graph
• تفريغ متكرر لمحركات الأقراص والمجلدات (باستخدام روابط ما قبل المصادقة لـ SharePoint)
• لا تبعيات خارجية إلزامية (لا توجد وحدات PowerShell الخاصة بـ Microsoft Graph إلخ.)
• تخصيص User-Agent
• حدود تنزيل عامة: الحد الأقصى للملفات والحد الأقصى للحجم الإجمالي
• تصفية تضمين/استبعاد للمواقع وامتدادات الملفات
• تقليل سرعة الطلبات مع تذبذب عشوائي قابل للتعديل
• إمكانية اختيارية للبحث عن IP العام
• دعم وكيل HTTP بسيط
• تقرير منظم يشمل:
  • ملخص (المدة، الحدود، الفلاتر، IP العام)
  • مواقع SharePoint التي تم الوصول إليها
  • سجلات طلبات HTTP كاملة (CSV أو JSON)
• إخفاء رموز تنزيل SharePoint، مع خيار تسجيلها دون إخفاء
• معالجة أنيقة لـ Ctrl+C تتوقف بعد الملف الحالي ولا تزال تكتب التقرير الكامل وسجل HTTP قبل الخروج
• وضع الاستئناف، الذي يعيد التعداد ولكنه يتخطى الملفات التي تم تنزيلها بالفعل
• تحديث تلقائي اختياري لرمز الوصول (يتطلب EntraTokenAid https://github.com/zh54321/EntraTokenAid.git)

📦 صور

التنفيذ:

مثال على سجل API بتنسيق CSV (يمكن أن يكون CSV أو JSON):

مثال على سجل تنزيل الملفات (يمكن أن يكون CSV أو JSON)

📦 التثبيت

استنساخ المستودع

git clone https://github.com/zh54321/SharePointDumper.git
cd SharePointDumper

🔑 المتطلبات

يتطلب SharePointDumper رمز وصول Microsoft Graph صالحًا بأذونات مفوضة لتعداد المواقع والملفات:

• Sites.Read.All أو
• Sites.ReadWrite.All

علاوة على ذلك، يجب أن يكون عميل OAuth مسموحًا له باستدعاء SharePoint API.

أكثر من 23 تطبيقًا من الطرف الأول من Microsoft لديهم بالفعل أذونات Sites.Read… موافق عليها مسبقًا. يمكنهم تنزيل الملفات من SharePoint، ويمكن استخدامهم للحصول على رمز صالح دون تكوين إضافي للمستأجر.

توصية بمدة صلاحية الرمز

إذا أمكن، استخدم رمز وصول مفعل بـ CAE، والذي يظل صالحًا لمدة تصل إلى 24 ساعة ويقلل الانقطاعات أثناء عمليات التفريغ الطويلة.

الحصول على رمز باستخدام EntraTokenAid

يمكنك استخدام EntraTokenAid للحصول على رمز وصول مناسب عبر PowerShell
(يتم طلب رموز CAE افتراضيًا):

# استنساخ الوحدة
git clone https://github.com/zh54321/EntraTokenAid.git
Import-Module EntraTokenAid/EntraTokenAid.psm1

# الحصول على الرموز
$tokens = Invoke-Auth -ClientID 'b26aadf8-566f-4478-926f-589f601d9c74' -RedirectUrl 'urn:ietf:wg:oauth:2.0:oob'

# اختياري: تخزين في متغير متوافق مع الأمثلة أدناه
$AccessToken = $tokens.access_token

🚀 الاستخدام

الاستخدام الأساسي

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -UserAgent "Not SharePointDumper"

تصفية المواقع

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -IncludeSites "Finance","Projects"

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -ExcludeSites "HR","Legal"

تصفية امتدادات الملفات

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -IncludeExtensions pdf,docx

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -ExcludeExtensions jpg,bmp

تحديد التنزيلات

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -MaxFiles 500

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -MaxTotalSizeMB 100

إبطاء الطلبات

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -RequestDelaySeconds 2

مع التذبذب:

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -RequestDelaySeconds 2 -Variation 3

الاستئناف (مثال بعد انتهاء صلاحية الرمز)

.\Invoke-SharePointDumper.ps1 -AccessToken $accesstoken -Resume -OutputFolder .\20251121_1551_MyTenant

في وضع الاستئناف، يجب أن يشير -OutputFolder إلى مجلد التشغيل السابق.

استخدام التحديث التلقائي للرمز

يمكن لـ SharePointDumper تحديث رمز الوصول منتهي الصلاحية (HTTP 401) تلقائيًا باستخدام رمز التحديث و EntraTokenAid.

# إلزامي: يجب استيراد الوحدة حتى تتمكن الأداة من استخدام أمر Invoke-Refresh
Import-Module .\EntraTokenAid\EntraTokenAid.psm1

# اختياري: الحصول على الرموز باستخدام EntraTokenAid (طرق أخرى ممكنة أيضًا)
$tokens = Invoke-Auth -ClientId 'b26aadf8-566f-4478-926f-589f601d9c74' -RedirectUrl 'urn:ietf:wg:oauth:2.0:oob'

# تشغيل SharePointDumper مع دعم التحديث
.\Invoke-SharePointDumper.ps1 -AccessToken $tokens.access_token -RefreshToken $tokens.refresh_token -RefreshClientId 'b26aadf8-566f-4478-926f-589f601d9c74'

ملاحظة: محاولات تحديث الرمز لا يتم تسجيلها في سجل API.

المعلمات

🧾 هيكل الإخراج

هيكل الدليل

20261115_MySecureTenant/
 ├── SharePointDumper_Report_20261115_080333.txt
 ├── SharePointDumper_ApiLog_20261115_080333.csv
 ├── SharePointDumper_FileLog_20261115_080333.csv
 ├── Site A/
 │    └── Documents/
 │         ├── file1.docx
 │         └── file2.pdf
 └── Site B/
      └── Site Assets/

السجلات

• التقرير: ملخص عالي المستوى (Report_*.txt)
• سجل API: كل طلب HTTP من Graph + SharePoint
  (ApiLog_*.csv أو .json)
• تشغيلات الاستئناف تنشئ:
  • SharePointDumper_ReportResume_*
  • SharePointDumper_ApiLogResume_*

⚠️ أخطاء المصادقة

401 – غير مصرح

رمز الوصول غير صالح أو منتهي الصلاحية.

403 – محظور

رمز الوصول صالح، لكنه يفتقر إلى أذونات Microsoft Graph أو SharePoint المطلوبة.

🔍 الكشف

يتم تسجيل أنشطة SharePointDumper في:

• سجل التدقيق الموحد (UAL): يسجل نشاط البحث والتنزيل في SharePoint.
• سجلات نشاط Graph: تسجل جميع طلبات تعداد المواقع ومحركات الأقراص (/organization، /sites، /drives).

مثال على UAL:

مثال على سجل نشاط Graph:

📝 الترخيص

صدرت بموجب رخصة MIT.