socid_extractor

حوّل أي صفحة ملف شخصي عام إلى سجل حساب منظم — أسماء مستخدمين، أسماء عرض، سير ذاتية، صور رمزية، مواقع، تواريخ الانضمام، أعداد المتابعين، روابط خارجية، والمعرّفات الداخلية الثابتة التي تثبت الحساب بشكل فريد عبر تغيير الأسماء، إعادة التصميم، والحذف.

socid_extractor يوزع صفحات HTML واستجابات API من أكثر من 130 منصة، ويعيد قاموسًا مسطحًا وقابلًا للمعالجة الآلية لحقول الحساب. لا حاجة لمفاتيح API أو متصفح بدون واجهة — مجرد استدعاء دالة واحدة على نص الاستجابة.

لماذا هو مفيد

• معرّفات مستقرة عبر الخدمات. احصل على GAIA ID (Google)، Facebook UID، Yandex Public ID، Instagram pk، وعشرات غيرها — قيم تبقى ثابتة حتى عند تغيير اسم المستخدم وتسمح بربط الحسابات عبر التسريبات، الأرشيفات، وفهارس محركات البحث.
• واجهة موحدة واحدة. نفس استدعاء extract() يعمل مع Instagram، GitHub، VK، Reddit، Substack، Bluesky، TikTok — دون حاجة لكتابة كود خاص بكل منصة.
• أنطولوجيا الحقول. أسماء حقول طبيعية عبر المنصات (username، fullname، created_at، is_verified، …) بحيث لا تحتاج خطوط الأنابيب إلى 130 خريطة.
• مختبر في المعارك. يشغل Maigret وعددًا من أدوات OSINT الأخرى.

التثبيت

Python: 3.10+.

pip install socid-extractor

لتثبيت CLI نظيف على محطة العمل:

pipx install socid-extractor

أحدث إصدار تطويري:

pip install -U git+https://github.com/soxoj/socid-extractor.git

بداية سريعة

كأداة CLI:

$ socid_extractor --url https://www.deviantart.com/muse1908
country: France
created_at: 2005-06-16 18:17:41
gender: female
username: Muse1908
website: www.patreon.com/musemercier
links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']
tagline: Nothing worth having is easy...

كمكتبة Python:

import requests
import socid_extractor

r = requests.get('https://www.patreon.com/annetlovart')
print(socid_extractor.extract(r.text))
# {'patreon_id': '33913189', 'patreon_username': 'annetlovart',
#  'fullname': 'Annet Lovart',
#  'links': "['https://www.facebook.com/322598031832479', ...]"}

نصيحة — تشغيل دفعة: استخدم --skip-fetch-if-no-url-hint لتخطي طلب HTTP عندما لا يتطابق الرابط مع أي تلميح موقع معروف (أسرع، لكن قد يتخطى محركات عامة مثل قوالب المنتديات):

$ socid_extractor --url https://example.com/foo --skip-fetch-if-no-url-hint

المواقع المدعومة

أكثر من 130 مخططًا — راجع METHODS.md للقائمة الكاملة.

عينة غير شاملة:

• الشبكات الكبرى: Facebook (صفحات المستخدم والمجموعة)، Instagram، VK.com، OK.ru، Reddit، TikTok، Bluesky، Tumblr، Flickr
• نظام Google: مساهمات Google docs/maps (مطلوب ملفات تعريف ارتباط)، Google Play، YouTube
• Mail.ru: my.mail.ru صفحة المستخدم الرئيسية، الصورة، الفيديو
• منصات المطورين/الكتابة: GitHub، Stack Overflow (HTML + API)، LeetCode، Hashnode، Medium، Substack، Paragraph، WordPress.org، Virgool
• المنتديات (كشافات عالمية): Discourse، MediaWiki / Fandom wikis، Mastodon
• متخصصة/عمودية: Chess.com، Roblox، MyAnimeList، Scratch، Wikipedia، DailyMotion، SlideShare، Weebly، Calendly، Amazon Author، Boosty، Warpcast (Farcaster)، Fragment (TON/Telegram)، Rarible، CSSBattle، lnk.bio، Spatial، TwitchTracker، Max (max.ru)

…وغيرها الكثير.

للحصول على أمثلة بيانات، راجع tests/test_e2e.py; لمنطق التوزيع، راجع socid_extractor/schemes.py; لأنطولوجيا الحقول، راجع FIELDS.md.

حالات الاستخدام

• انتقل من ملف شخصي إلى كل ما يمكنك رؤيته. استدعاء واحد يُرجع المعلومات المرئية بالإضافة إلى المعرّفات الداخلية المخفية التي تستخدمها المنصة خلف الكواليس. قراءة خلفية: Week in OSINT — Getting a grasp on Google IDs.
• تتبع الحسابات عبر تغيير الأسماء وإعادة التصميم والحذف. المعرّفات الثابتة (GAIA، FB UID، Yandex Public ID، Instagram pk، …) تسمح لك بإعادة التعرف على الشخص نفسه حتى عندما يتغير كل حقل مرئي. خلفية: Aware Online — User IDs in social-media investigations.
• ابحث باستخدام UID عبر الخدمات. بمجرد حصولك على معرّف ثابت يمكنك التنقل إلى:
  • قواعد بيانات SQL / مسربة (نسخ من المنتديات، بيانات الاختراق) حيث يكون UID هو مفتاح الربط،
  • فهارس Google / Yandex / archive.org التي التقطت روابط تحتوي على UID.
• تغذية أدوات OSINT النهائية. السجل الطبيعي أسهل في التغذية مقارنة بجمع البيانات لكل موقع — يستخدمه Maigret وأدوات مشابهة للإثراء.

الاستخدام التجاري

socid_extractor مفتوح المصدر مرخص تحت MIT ومجاني للاستخدام التجاري دون قيود — لكن مُحللات الصفحات تنكسر بمرور الوقت مع تغير المنصات لـ HTML وAPI، وتحتاج إلى صيانة مستمرة.

للاستخدام التجاري الجاد — مع حزمة إضافية خاصة من المحللات المُحدّثة أو واجهة API للاستخراج المستضافة — تواصل معنا: 📧 [email protected]

• ملحق محلل خاص — 100+ فحص إضافي فوق الـ 150+ موقع العامة، يُحافظ عليها محدثة مع تغير المنصات (منفصل عن قاعدة بيانات مفتوحة المصدر العامة)
• واجهة API للاستخراج — ادمج socid_extractor في منتجك

تصنيف SOWEL

يتوافق مع تقنيات SOWEL التالية:

• SOTL-1.4. تحليل المعرّفات الداخلية
• SOTL-11.1. تحقق من الوظائف القديمة وغير المستخدمة

الأدوات التي تستخدم socid_extractor

• Maigret — أداة قوية للتحقق من الأسماء تُنشئ تقريرًا بكل المعلومات المتاحة من الحسابات الموجودة عبر أكثر من 3000 موقع.
• TheScrapper — استخراج عناوين البريد الإلكتروني وأرقام الهواتف وحسابات وسائل التواصل الاجتماعي من موقع ويب.
• InfoHunter — أداة OSINT مفتوحة المصدر للبحث وجمع وتحليل المعلومات عبر الإنترنت.
• YaSeeker — جمع كل المعلومات المتاحة عن حساب Yandex باستخدام اسم المستخدم/البريد الإلكتروني.
• Marple — استخراج نتائج محركات البحث لاسم مستخدم معين.

الاختبار

قم بتثبيت تبعيات الاختبار من pyproject.toml، ثم شغّل pytest:

pip install '.[test]'   # pytest, pytest-rerunfailures, pytest-xdist
python3 -m pytest tests/test_e2e.py -n 10 -k 'not cookies' -m 'not github_failed and not rate_limited'

استخدم pip install '.[dev]' بدلاً من ذلك إذا كنت تريد أيضًا flake8 / mypy / black (المجموعة الكاملة المستخدمة من قبل CI).

يجب أن يكون لكل مخطط جديد اختبار e2e في tests/test_e2e.py يضرب رابطًا/API حقيقيًا. اختبارات الوحدات مع fixtures داخلية (tests/test_socid_improvements.py) مطلوبة أيضًا لكنها لا تغني عن تغطية e2e. راجع docs/testing-and-ci.md للتفاصيل.

وثائق المطور (الهندسة، الوحدات، CI) موجودة في docs/.

المساهمة

راجع دليل المساهمة إذا كنت ترغب في إضافة مخطط جديد أو إصلاح أي شيء.