• ثلاثة مصادر استيعاب في أداة واحدة:
  • ingest — تصدير Burp Suite "Save items" بصيغة XML
  • mitm — ملف تدفق mitmproxy ‏.mitm (إطارات HTTP و WebSocket)
  • cdp — ربط مباشر بـ Chrome / Edge عبر بروتوكول DevTools (في الوقت الفعلي، يلتقط HTTP المفكوك بـ TLS و إطارات WebSocket دون شهادة وسيطة؛ يتتبَّع كل تبويب موجود وكل تبويب يُفتح أثناء التشغيل عبر الربط التلقائي على مستوى المتصفح)
• مخزن SQLite قانوني واحد تقرأ منه لوحة التحكم. يمكن تشغيل كل عملية استيعاب مع --append للدمج في قاعدة بيانات موجودة؛ تُحدَّث الرموز المميزة (يتراكم عدد الاستخدامات + العمر المُلاحَظ)، وتُضاف الأحداث والتبادلات، ويسجّل source_tag الخاص بالصف كل عملية رأت الرمز المميز.
• لوحة تحكم ويب مباشرة يقدّمها خادم HTTP من المكتبة القياسية. تستعلم من قاعدة البيانات كل 5 ثوانٍ وتعيد العرض عند تغيّر البيانات الأساسية — لذا فإن التقاط CDP الجاري يحدّث لوحة التحكم في الوقت الفعلي تقريبًا.
• لا تبعيات احتكارية للمسارات الأساسية. استيعاب Burp، وطبقة قاعدة البيانات، وواجهة الويب، وربط CDP كلها من المكتبة القياسية فقط. استيراد mitmproxy هو التبعية الاختيارية الوحيدة (pip install mitmproxy).

تصنيف الرموز المميزة وإثراؤها

• مفاتيح جسم OAuth (access_token، refresh_token، id_token) و استدلالات اسم ملف تعريف الارتباط تحدّد نوع الرمز المميز.
• ملفات تعريف جلسة مايكروسوفت (ESTSAUTH، ESTSAUTHPERSISTENT، ESTSAUTHLIGHT، SignInStateCookie) تُعرَّف صراحةً كرموز مميزة مكافئة للتحديث (وإلا لصُنِّفت خطأً بواسطة تلميح ملف تعريف الارتباط "auth" العام).
• مطالبات JWT (الترويسة + الحمولة) تُفكّ شيفرتها وتُخزَّن حرفيًا — دون اقتطاع أبدًا.
• Microsoft FOCI (عائلة معرّفات العملاء) تُكتشَف عبر حقل foci في استجابات نقطة نهاية الرمز المميز.
• Microsoft BroCI / مصادقة التطبيقات المتداخلة تُكتشَف عبر brk_client_id، وbrk_redirect_uri، ومخططات إعادة التوجيه brk-<guid>:// في جسم الطلب.
• علامة --enrich الاختيارية تجلب firstpartyscopes.json و resources.json من https://entrascopes.com/ وتحلّ معرّفات GUID الخاصة بـ appid / azp / aud إلى أسماء ودّية مع روابط قابلة للنقر.

بطاقات لوحة التحكم

• بلاطات الملخص — أعداد الرموز المميزة، والمضيفين، والتبادلات (مع إشارات FOCI / BroCI )، ومؤشر حالة الإثراء.
• المستخدمون — تجميع الرموز المميزة حسب upn / preferred_username / unique_name / email / name، مع الرجوع إلى sub@iss أو oid، وإبراز حزم التطبيقات فقط والهويات المجهولة بشكل منفصل. يُظهر كل صف هوية شارة captures عندما يظهر المستخدم في ≥2 من source_tags (البقاء عبر الالتقاطات، إشارة البحث الرئيسية لـ --append) بالإضافة إلى نطاق first_seen → last_seen وزر timeline يُبرز كل رمز مميز لذلك المستخدم على تبويب مخطط التسلسل.
• صلاحية الرمز المميز — أعداد رموز الوصول الصالحة حاليًا مقابل المنتهية، وحالة انتهاء صلاحية رمز التحديث (مع "انتهاء صلاحية غير معروف" للرموز المعتمة)، وقائمة أفضل 3 "الأقرب للانتهاء" مع تحديث تلقائي كل 30 ثانية.
• العملاء — كل تطبيق مميز (appid / azp / client_id في جسم النموذج / brk_client_id / brk_nested_id) ظهر في التبادلات، مع شارات FOCI / brokerable / broker / nested.
• الجماهير — كل مطالبة aud مُلاحَظة، محلولة إلى أسماء موارد entrascopes حيثما أمكن.
• المستأجرون — قيم tid المميزة مع أعداد الرموز المميزة / المستخدمين / التطبيقات.
• المضيفون — الأحداث، ومستقبلو bearer المميزون، والمُصدِرون المميزون، وأعداد التبادلات لكل مضيف.
• النطاقات والأدوار ذات الامتيازات — يفحص scp / scope / roles لكل رمز مميز مقابل قائمة مراقبة منسّقة لأذونات Microsoft Graph عالية التأثير ونطاقات موارد Azure.
• عدم تطابق الجمهور / المضيف — يُعلّم كل زوج (token, host) حيث استُخدم الرمز المميز عند مضيف لا يتوافق مع مطالبة aud الخاصة به (يشير إلى تسرّب بيانات اعتماد أو سوء استخدام).
• طرق المصادقة (amr) — توزيع pwd / mfa / pop / smartcard .
• ميزات الأمان — تُعلّم التقييم المستمر للوصول (xms_cc=CP1)، وربط إثبات الحيازة (مطالبة cnf، مع كشف kid المشترك عبر الجماهير)، ومتطلبات المصادقة المتدرجة (acrs)، ومستوى سياق المصادقة acr. كل صف قابل للنقر ويُصفّي تبويب الرموز المميزة ليقتصر على الرموز المميزة التي تحمل ذلك المؤشر.
• سلاسل رمز التحديث — تتبع حواف التبادل لتحديد سلال التدوير، وأطول طول سلسلة، ورموز التحديث الخاملة. تُظهر كل سلسلة عمود Δ scopes (النطاقات المُضافة / المحذوفة عبر القفزات، مع الفرق الكامل لكل قفزة عند التمرير) وتُعلّم السلاسل التي يتطابق فيها نطاق مضاف مع قائمة مراقبة النطاقات ذات الامتيازات بشارة ⚠ priv — إشارة البحث الخاصة بتوسّع الامتيازات على نمط FOCI / BroCI.
• المصادر — أعداد الرموز المميزة لكل source_tag لترى كم صفًا جاء من كل عملية استيعاب.

تبويبا الرموز المميزة / التبادلات

• انقر على ترويسة عمود للترتيب.
• تقود مربعات الاختيار متعددة التحديد شريط أدوات:
  • Highlight in Graph — تمييز أصفر على العُقد المحددة.
  • Isolate in Graph — إعادة رسم المخطط لإظهار الرموز المميزة المحددة فقط بالإضافة إلى الرموز المميزة التي تتبادل معها.
  • Show in Sequence — مخطط تسلسل مُركَّز للرمز (الرموز) المميزة المحددة.
• انقر على صف لتوسيع لوحة مضمّنة تحتوي على ترويسة JWT الكاملة + الحمولة (JSON خام)، وكل الأحداث، والتبادلات ذات الصلة، وأزرار تصدير جاهزة لإعادة التشغيل (raw / Bearer / curl / JSON / ذاكرة تخزين مؤقت لرموز roadtx)، وكتلة معاينة أوامر مع مقتطفات جاهزة للنسخ واللصق لـ roadtx describe، وroadtx auth، وcurl، وPython requests، وPowerShell Invoke-RestMethod.
• عوامل التصفية: شرائح النوع (access / refresh / id / unknown)، وشرائح التنسيق (jwt / opaque)، وقائمة منسدلة مستخدم / غير مستخدم، وقائمة منسدلة للصلاحية (any / valid / expired / unknown expiry)، وFOCI-only، وBroCI-only، وhas-app-match، وhas-resource-match، بالإضافة إلى بحث نصي حر عبر fp / sample / claims / host / app / resource / source_tag / user.
• تصدير CSV / JSON للصفوف المصفّاة + المرتّبة حاليًا.
• استمرارية تجزئة URL — يُسلسَل التبويب النشط وكل حالة تصفية إلى تجزئة URL، لذا تكون الروابط إلى عروض مُصفّاة محددة قابلة للمشاركة.

دعم WebSocket

• تحافظ عمليات التقاط mitmproxy وCDP على كل حمولة إطار WebSocket نصي / ثنائي . يُفحص محتوى الإطارات بحثًا عن رموز مميزة بنفس ماشي JSON / form / raw-JWT الذي يعالج أجسام HTTP.
• الرموز المميزة الموجودة في الإطارات تولّد أحداثًا بدور ws-frame-sent / ws-frame-received، ومصدر ws[body_json[<key>]]، و ws_session_id يجمع كل الإطارات ضمن اتصال WebSocket واحد.
• تُلتقط المصافحة كحدث HTTP عادي لذا تُتبَّع أيضًا ملفات تعريف الارتباط / رموز bearer المحمولة إلى الترقية.

الخصوصية

• تخزّن قاعدة البيانات بصمات SHA-256 (أول 12 حرفًا سداسيًا) وبادئة من 12 حرفًا لكل رمز مميز مُلاحَظ. لا تغادر سلاسل الرموز المميزة الكاملة ملف الإدخال أبدًا.

• تُخزَّن محتويات مطالبات JWT المفكوكة (الترويسة + الحمولة، بما في ذلك oid، وsub، وupn، وemail، وtid، وقوائم النطاقات، إلخ) حرفيًا افتراضيًا لأنها جوهر التحليل. تعامل مع قاعدة البيانات وأي رابط لوحة تحكم مشترك كحساسة كلما وُجدت رموز JWT.

• --redact-claims (متاحة في ingest، وmitm، وcdp) تستبدل قيم المطالبات المدرجة بعناصر نائبة ثابتة للتجزئة قبل أن تصل إلى قاعدة البيانات أصلًا. تغطي قائمة الحقول الافتراضية sub، وoid، وupn، وemail، وname، وunique_name، وpreferred_username، وemails، وmail، وipaddr، وgiven_name، وfamily_name. مرّر قائمة صريحة مفصولة بفواصل (مثل --redact-claims sub,upn,oid) لتجاوز الافتراضي. يُعيَّن نفس الإدخال دائمًا إلى نفس العنصر النائب، لذا يظل تجميع المستخدمين / المستأجرين في لوحة التحكم يعمل دون كشف المستخدم.

• --store-tokens (متاحة في ingest، وmitm، وcdp، معطّلة افتراضيًا) تشترك في كتابة سلسلة الرمز المميز الكاملة إلى قاعدة البيانات لتتمكن لوحة التحكم من تقديم:

  • إجراءات Copy raw / Copy Bearer / Copy curl.
  • تنزيل JSON الرمز المميز (raw + claims + الأحداث المُلاحَظة).
  • نسخ / تنزيل كذاكرة تخزين مؤقت لرموز roadtools (أفلت الملف في .roadtools_auth وسيلتقطه أي أمر فرعي roadtx).
  • كتلة Command preview لكل رمز مميز تملأ مسبقًا استدعاءات إعادة التشغيل الأكثر شيوعًا — roadtx describe، وroadtx auth، وcurl، وPython requests، وPowerShell Invoke-RestMethod — باستخدام مطالبات tid، وappid، و الفعلية للرمز المميز.

التثبيت

المتطلبات

• Python 3.10+ (يستخدم صياغة أنواع متوافقة مع match-statement و dataclasses الحديثة). مُختبَر على 3.12.
• لا خطوة بناء. استنسخ المستودع وشغّل python -m tats مباشرةً.

التبعيات الاختيارية

تثبيت سريع

التشغيل من نسخة مستنسخة (دون تثبيت):```bash git clone tats cd tats python -m tats --help

بعد التثبيت يمكنك استدعاء الأداة باسمها المختصر:```bash tats ingest engagement.xml -o tokens.db --enrich tats serve tokens.db

دمج التقاط Burp مع ملف تدفق mitmproxy في قاعدة بيانات واحدة:```bash tats ingest engagement.xml -o tokens.db --enrich tats mitm chat-session.mitm -o tokens.db --enrich --append tats serve tokens.db

يتم إنهاء المتصفح الذي تم تشغيله وحذف ملف التعريف المؤقت الخاص به عندما تضغط على Ctrl-C لأمر cdp.

إذا كنت تفضل الاتصال بمتصفح قيد التشغيل بالفعل، فابدأه باستخدام --remote-debugging-port=9222 --user-data-dir=/tmp/cdp-profile وشغّل cdp بدون --launch-chrome.

تعقيم قاعدة بيانات قبل مشاركتها (حجب المعلومات الشخصية):```bash tats ingest engagement.xml -o tokens.db
--enrich --redact-claims

every sub / oid / upn / email / name / unique_name / preferred_username

(and a few related claims) is replaced with a stable hash placeholder

أمثلة:```bash

fresh DB, with Microsoft enrichment

tats ingest burp.xml -o tokens.db --enrich

add another Burp export to an existing DB without losing the first one

tats ingest day2.xml -o tokens.db --append
--source-tag burp:day2

يتطلب pip install mitmproxy. ستُصدر الأداة خطأً واضحًا إذا كانت الحزمة مفقودة.

التقط ملف تدفق باستخدام mitmproxy:```bash mitmdump -w session.mitm

... drive the browser ...

Ctrl-C to stop

tats mitm session.mitm -o tokens.db --enrich

ترك الأداة تطلق المتصفح (--launch-chrome)```bash

auto-detect Chrome / Edge / Chromium / Brave

tats cdp -o tokens.db --launch-chrome

explicit path (useful for non-default installs / sandboxed builds)

tats cdp -o tokens.db
--launch-chrome /opt/google/chrome-canary/chrome

يعمل دليل بيانات المستخدم المنفصل على تجنّب الارتباط بملف تعريف شخصي ويمنع المتصفح قيد التشغيل من رفض علامة التصحيح.

بشكل افتراضي، يرتبط cdp على مستوى المتصفح ويتتبّع كل تبويب موجود عند بدء التشغيل وكذلك كل تبويب يُفتح أثناء التشغيل (window.open، النقر مع Ctrl، زر التبويب الجديد). تشترك جميع التبويبات في WebSocket الواحد عبر مُضاعِف جلسات بروتوكول CDP المسطّح، لذا فإن فتح التبويبات أو إغلاقها أثناء تشغيل الالتقاط مدعوم بالكامل. كل ارتباط / فصل تبويب يطبع ملاحظة من سطر واحد إلى stderr عند مستوى INFO.

إذا كنت تفضّل التثبيت على تبويب واحد وإنهاء الارتباط عند إغلاق ذلك التبويب، فاسرد الأهداف المتاحة:```bash curl http://127.0.0.1:9222/json/list

أمثلة:```bash

default — opens a browser tab automatically

tats serve tokens.db

bind to a different port without auto-launching the browser

tats serve tokens.db --port 9000 --no-browser

(do this only on a trusted network — no auth)

tats serve tokens.db --host 0.0.0.0

كل مسار مصدر ينتج نفس كائن Tracker. يقوم ingest_to_db بتحويله إلى صفوف في قاعدة البيانات. يقرأ Store قاعدة البيانات لخادم HTTP، الذي يعرض JSON عبر /api/data و /api/meta و /api/token/<fp> و /api/export و /api/graph و /api/sequence.

مخطط قاعدة البيانات (v4)

• tokens (المفتاح الأساسي fp) — البصمة، بادئة العينة، النوع، التنسيق، العمر الملاحظ، ترويسة / حمولة JWT بصيغة JSON، حقول الإثراء، الحقول المشتقة (user_identity، exp_unix، tenant_id، scopes_text)، source_tag مفصولة بفواصل، raw (سلسلة الرمز الكاملة، NULL ما لم يتم الاستيعاب مع --store-tokens)، و security_features (JSON مضغوط يصف علامات CAE / PoP / step-up المكتشفة — انظر بطاقة Security features). قواعد بيانات v2 / v3 الأقدم تُرحَّل تلقائيًا عند إعادة فتحها في وضع الإلحاق: v2 → v3 يضيف عمود raw القابل للقيمة الفارغة؛ v3 → v4 يضيف عمود security_features القابل للقيمة الفارغة ويعيد تعبئته من jwt_payload_json المخزّن لكل رمز عند أول فتح. تحتفظ الصفوف الموجودة مسبقًا بكلا العمودين بقيمهما السابقة.
• events — كل تفاعل ملاحظ مع الرمز: طلب / استجابة HTTP أو إطار WebSocket. الأدوار: issued / returned / presented / used / exchanged-in / ws-frame-sent / ws-frame-received. يحمل ws_session_id لتجميع الإطارات ضمن اتصال واحد.
• exchanges — عندما أنتج طلب يحمل رمزًا إلى نقطة نهاية رمز رموزًا جديدة في استجابته. يسجّل بيانات FOCI / BroCI الوصفية.
• exchange_inputs، exchange_outputs — بصمات الرموز على كل جانب من كل تبادل.
• hosts — تسميات host:port المتميزة.
• meta — إصدار المخطط، قائمة المصادر، generated_at، last_modified (يستخدمه الاستقصاء المباشر للوحة المعلومات)، الأعداد.

وسم المصدر ووضع الإلحاق

كل صف يُكتب في قاعدة البيانات يحمل source_tag — افتراضيًا burp:<filename> أو mitm:<filename> أو cdp:<host>:<port>، لكن يمكن تجاوزه عبر --source-tag. عندما تُرى نفس البصمة بواسطة أكثر من تمريرة استيعاب واحدة، يتراكم حقل source_tag كقائمة مفصولة بفواصل، حتى تتمكن بطاقة Sources في لوحة المعلومات من عرض المصدر لكل رمز.

يحتفظ --append بقاعدة بيانات موجودة ويدمج فيها عبر UPSERT للرموز (يتراكم عدد الاستخدامات + العمر الملاحظ، وتُرقّى الأنواع غير المعروفة) و INSERT للأحداث / التبادلات (مع إزاحة أرقام seq الخاصة بها بعد الحد الأقصى الموجود، حتى يبقى الجدول الزمني للنشاط متزايدًا). يرفض عدم تطابق إصدار المخطط الدمج لمنع فقدان البيانات الصامت.

التحديثات المباشرة

تُرجع نقطة نهاية /api/meta لخادم الويب جدول meta (~200 بايت). تستقصي لوحة المعلومات هذا كل 5 ثوانٍ وتعيد جلب /api/data الكامل فقط عندما يتغير last_modified. يقوم مسار الاستيعاب cdp بتفريغ متتبعه في الذاكرة إلى قاعدة البيانات كل 25 حدثًا افتراضيًا، لذا فإن زمن الاستجابة من طلب المتصفح إلى تحديث لوحة المعلومات عادةً < 10 ثوانٍ.

القيود

• ملفات مشروع Burp ‎.burp غير مدعومة. استخدم Save items لإنتاج XML الذي يستهلكه الأداة.
• لا توجد إدارة لشهادة CA للوسيط. لا تعترض هذه الأداة TLS بنفسها. استخدمها بعد Burp / mitmproxy، أو استخدم مسار CDP الذي يرى حركة مرور TLS مفكوكة التشفير من داخل المتصفح.
• ربط CDP يغطي أهداف الصفحات من المستوى الأعلى. لا تُربط إطارات iframe خارج العملية (OOPIFs) والعمال المخصصون تلقائيًا بشكل تعاودي، لذا قد تُفوَّت الأحداث التي تمر عبر أنواع الأهداف تلك. بالنسبة لتدفقات Microsoft / OAuth التي بُنيت هذه الأداة حولها، يلتقط الربط بالصفحة من المستوى الأعلى كل ما يهم.
• لا يوجد تحقق من التوقيع على رموز JWT. تفكّ الأداة المطالبات للعرض؛ فحص التوقيع، و alg=none، وهجمات الخلط بين المفاتيح خارج النطاق. استخدم مدقق JWT مخصصًا لتلك الأمور.
• إيجابيات كاذبة للرموز المعتمة. تعامل استدلال "هل هذا رمز؟" مع أي سلسلة آمنة لعناوين URL بطول 20 حرفًا أو أكثر في سياقات شبيهة بـ OAuth كرمز. قد تُعلَّم معرفات عشوائية طويلة بشكل خاطئ. الرموز التي لا يمكن استنتاج نوعها تنتهي كـ unknown وتُخفى افتراضيًا ما لم يُضبط --include-unknown على العلامة الأقدم (الخاصة بـ Burp فقط).
• --enrich يجري طلبات HTTP صادرة إلى https://entrascopes.com/. تجاوز العلامة إذا كانت بيئتك لا تسمح بذلك.
• واجهة الويب بلا مصادقة. اربطها بـ localhost ما لم تضع طبقة مصادقة أخرى أمامها.

استكشاف الأخطاء وإصلاحها

التطوير

تجهيزات اختبار الدخان

يوجد بانيا تجهيزات في examples/:```bash

Burp XML fixture (HTTP-only, includes FOCI + BroCI exchanges)

python examples/make_fixture.py examples/fixture.xml tats ingest examples/fixture.xml -o tokens.db --enrich

mitmproxy flow fixture (HTTP + WebSocket frames carrying tokens)

python examples/make_mitm_fixture.py examples/fixture.mitm tats mitm examples/fixture.mitm -o tokens.db --enrich --append

تغطي المجموعة استخراج الرموز، وتحليل JWT، وتصنيف ملفات تعريف ارتباط جلسة Microsoft، والكشف عن FOCI / BroCI، وملخص المطالبات، وتنقيح PII، ومسار استيعاب Burp XML بدلالات UPSERT في وضع الإلحاق، ومسار استيعاب إطار WebSocket الخاص بـ mitmproxy (يُتخطى تلقائيًا عند غياب الاعتمادية الاختيارية mitmproxy).```text $ pytest tests/ ============================= test session starts ============================= … ======================== 62 passed in 1.4s =================================

…وافتح http://127.0.0.1:8765 يدويًا. يسجّل الخادم كل طلب وأي أخطاء في المعالجات إلى stderr.

تخطيط الملفات

التخطيط أحادي الملف مقصود: الأداة مُصمَّمة لتُقرأ، وتُدقَّق، وتُدرَج في التحقيقات من قِبل أي شخص لديه Python مثبَّت. لا يوجد إعداد خفي، ولا شجرة تبعيات لتقييمها، ولا سطح آخر غير الملف نفسه.

صيانة هذا README

إذا غيّرت الأوامر الفرعية، أو المخطط، أو بطاقات لوحة المعلومات، أو سطح واجهة البرمجة العامة (أعلام CLI، نقاط نهاية /api/*)، فحدّث الأقسام ذات الصلة من هذا الملف في التغيير نفسه. الأقسام الأكثر عرضة للانحراف:

• الميزات — عند إضافة مصادر استيعاب أو بطاقات لوحة معلومات
• الأوامر الفرعية — عند تغيير الأعلام
• الدعم الخاص بـ Microsoft — عند تغيّر منطق الكشف
• البنية — عند تغيّر المخطط أو تدفق التحديث المباشر
• استكشاف الأخطاء وإصلاحها — عند ظهور رسالة خطأ جديدة

الرخصة

رخصة GNU العامة v3.0 أو أحدث — النص الكامل في ملف LICENSE في جذر المستودع. يحمل مصدر السكربت الترويسة القصيرة القياسية التي تشير إلى الشيء نفسه.

يجوز لك إعادة توزيع و/أو تعديل الأداة بموجب شروط رخصة GPL v3 (أو أي إصدار أحدث، حسب اختيارك). وهي موزَّعة دون أي ضمان؛ راجع LICENSE للاطلاع على الشروط الكاملة.

تفعيل هذا يحوّل قاعدة البيانات إلى بيانات اعتماد جملةً — كل بايت مطلوب لإعادة تشغيل أي جلسة مُلتقطة موجود فيها. ادمجه مع --redact-claims لتنقية عرض JWT المفكوك، لكن كن على علم أن الرمز المميز الخام لا يزال يحمل المطالبات غير المنقّحة مُشفَّرة داخله. عندما تكون العلامة معطّلة، تظل كتلة معاينة الأوامر في لوحة التحكم تُعرَض، لكن مع <TOKEN> كعنصر نائب لتعمل كمرجع للصياغة؛ وتعرض أزرار التصدير تلميحًا لإعادة الاستيعاب.