# socid_extractor

[![PyPI version](https://img.shields.io/pypi/v/socid-extractor.svg)](https://pypi.org/project/socid-extractor/)
[![Downloads/month](https://static.pepy.tech/badge/socid-extractor/month)](https://pepy.tech/project/socid-extractor)
[![Total downloads](https://static.pepy.tech/badge/socid-extractor)](https://pepy.tech/project/socid-extractor)
[![License](https://img.shields.io/pypi/l/socid-extractor.svg)](https://github.com/soxoj/socid-extractor/blob/master/LICENSE)

[![CI](https://img.shields.io/github/actions/workflow/status/soxoj/socid-extractor/python-package.yml?branch=master&label=tests)](https://github.com/soxoj/socid-extractor/actions/workflows/python-package.yml)
[![GitHub stars](https://img.shields.io/github/stars/soxoj/socid-extractor.svg?style=social)](https://github.com/soxoj/socid-extractor/stargazers)
[![GitHub forks](https://img.shields.io/github/forks/soxoj/socid-extractor.svg?style=social)](https://github.com/soxoj/socid-extractor/network/members)

> किसी भी सार्वजनिक प्रोफ़ाइल पेज को एक संरचित खाता रिकॉर्ड में बदलें — उपयोगकर्ता नाम, प्रदर्शित नाम, बायो, अवतार, स्थान, जुड़ने की तिथियाँ, फ़ॉलोअर संख्या, बाहरी लिंक, और वे **स्थिर आंतरिक पहचानकर्ता** जो किसी खाते को नाम बदलने, पुनःडिज़ाइन और हटाए जाने के बावजूद विशिष्ट रूप से पहचानते हैं।

`socid_extractor` 250+ स्कीमों से HTML पेजों और API प्रतिक्रियाओं को पार्स करता है और खाता फ़ील्ड्स का एक सपाट, मशीन-पठनीय डिक्शनरी लौटाता है। किसी API कुंजी की आवश्यकता नहीं, कोई हेडलेस ब्राउज़र नहीं — बस प्रतिक्रिया टेक्स्ट पर एक ही फ़ंक्शन कॉल।

**यह क्यों उपयोगी है**

- **स्थिर क्रॉस-सर्विस ID।** GAIA ID (Google), Facebook UID, Yandex Public ID, Instagram pk, और दर्जनों अन्य प्राप्त करें — ऐसे मान जो उपयोगकर्ता नाम परिवर्तन के बाद भी बने रहते हैं और आपको लीक, अभिलेखागार और सर्च-इंजन इंडेक्स में खातों को सहसंबंधित करने देते हैं।
- **एक समान इंटरफ़ेस।** Instagram, GitHub, VK, Reddit, Substack, Bluesky, TikTok के लिए वही `extract()` कॉल — आपकी ओर से कोई प्रति-प्लेटफ़ॉर्म ग्लू कोड नहीं।
- **फ़ील्ड ऑन्टोलॉजी।** प्लेटफ़ॉर्म्स के पार [सामान्यीकृत फ़ील्ड नाम](https://github.com/soxoj/socid-extractor/blob/master/FIELDS.md) (`username`, `fullname`, `created_at`, `is_verified`, …) ताकि डाउनस्ट्रीम पाइपलाइनों को 130 मैपिंग्स की आवश्यकता न पड़े।
- **परखा हुआ।** [Maigret](https://github.com/soxoj/maigret) और कई अन्य OSINT टूल्स को शक्ति प्रदान करता है।

## इंस्टॉलेशन

Python: 3.10+।

```sh
pip install socid-extractor
```

वर्कस्टेशन पर साफ़ CLI इंस्टॉल के लिए:

```sh
pipx install socid-extractor
```

नवीनतम विकास संस्करण:

```sh
pip install -U git+https://github.com/soxoj/socid-extractor.git
```

## त्वरित शुरुआत

**CLI के रूप में:**

```sh
$ socid_extractor --url https://www.deviantart.com/muse1908
country: France
created_at: 2005-06-16 18:17:41
gender: female
username: Muse1908
website: www.patreon.com/musemercier
links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']
tagline: Nothing worth having is easy...
```

**Python लाइब्रेरी के रूप में:**

```python
import requests
import socid_extractor

r = requests.get('https://www.patreon.com/annetlovart')
print(socid_extractor.extract(r.text))
# {'patreon_id': '33913189', 'patreon_username': 'annetlovart',
#  'fullname': 'Annet Lovart',
#  'links': "['https://www.facebook.com/322598031832479', ...]"}
```

**सुझाव — बैच रन:** जब URL किसी भी ज्ञात साइट संकेत से मेल नहीं खाता तो HTTP अनुरोध को छोड़ने के लिए `--skip-fetch-if-no-url-hint` पास करें (तेज़, लेकिन फ़ोरम टेम्पलेट जैसे सामान्य इंजनों को छोड़ सकता है):

```sh
$ socid_extractor --url https://example.com/foo --skip-fetch-if-no-url-hint
```

## समर्थित साइटें

[**250+ स्कीमें**, जो Maigret द्वारा जाँची जाने वाली लगभग 2,000 साइटों को कवर करती हैं — पूरी सूची के लिए METHODS.md देखें।](https://github.com/soxoj/socid-extractor/blob/master/METHODS.md)

एक अपूर्ण नमूना:

- **प्रमुख नेटवर्क:** Facebook (उपयोगकर्ता और समूह पेज), Instagram, VK.com, OK.ru, Reddit, TikTok, Bluesky, Tumblr, Flickr
- **Google पारिस्थितिकी तंत्र:** Google docs/maps योगदान (कुकीज़ आवश्यक), Google Play, YouTube
- **Mail.ru:** my.mail.ru उपयोगकर्ता मुख्यपृष्ठ, फ़ोटो, वीडियो
- **डेव / लेखन प्लेटफ़ॉर्म:** GitHub, Stack Overflow (HTML + API), LeetCode, Hashnode, Medium, Substack, Paragraph, WordPress.org, Virgool
- **फ़ोरम (सार्वभौमिक डिटेक्टर):** Discourse, MediaWiki / Fandom विकी, Mastodon
- **विशिष्ट / वर्टिकल:** Chess.com, Roblox, MyAnimeList, Scratch, Wikipedia, DailyMotion, SlideShare, Weebly, Calendly, Amazon Author, Boosty, Warpcast (Farcaster), Fragment (TON/Telegram), Rarible, CSSBattle, lnk.bio, Spatial, TwitchTracker, Max (max.ru)

…और कई अन्य।

डेटा उदाहरणों के लिए, [`tests/test_e2e.py`](https://github.com/soxoj/socid-extractor/blob/master/tests/test_e2e.py) देखें; पार्सिंग लॉजिक के लिए, [`socid_extractor/schemes.py`](https://github.com/soxoj/socid-extractor/blob/master/socid_extractor/schemes.py) देखें; फ़ील्ड ऑन्टोलॉजी के लिए, [FIELDS.md](https://github.com/soxoj/socid-extractor/blob/master/FIELDS.md) देखें।

## उपयोग के मामले

- **किसी प्रोफ़ाइल से वह सब कुछ प्राप्त करें जो आप देख सकते हैं।** एक कॉल दृश्यमान जानकारी के साथ-साथ वे छिपे हुए आंतरिक ID भी लौटाती है जिन्हें प्लेटफ़ॉर्म पर्दे के पीछे उपयोग करता है। पृष्ठभूमि पठन: [Week in OSINT — Getting a grasp on Google IDs](https://medium.com/week-in-osint/getting-a-grasp-on-googleids-77a8ab707e43)।
- **नाम परिवर्तन, पुनःडिज़ाइन और विलोपन के दौरान खातों को ट्रैक करें।** स्थिर ID (GAIA, FB UID, Yandex Public ID, Instagram pk, …) आपको उसी व्यक्ति को फिर से पहचानने देते हैं, भले ही हर दृश्यमान फ़ील्ड बदल गया हो। पृष्ठभूमि: [Aware Online — User IDs in social-media investigations](https://www.aware-online.com/en/importance-of-user-ids-in-social-media-investigations/)।
- **क्रॉस-सर्विस UID द्वारा खोजें।** एक बार जब आपके पास एक स्थिर पहचानकर्ता हो, तो आप इनमें जा सकते हैं:
  - SQL / लीक हुए डेटाबेस (फ़ोरम डंप, उल्लंघन डेटा) जहाँ UID जॉइन कुंजी है,
  - Google / Yandex / archive.org इंडेक्स जिन्होंने UID वाले URL कैप्चर किए हैं।
- **डाउनस्ट्रीम OSINT टूलिंग को फ़ीड करें।** एक सामान्यीकृत रिकॉर्ड प्रति-साइट स्क्रैपर की तुलना में बहुत आसानी से इनजेस्ट किया जा सकता है — इसका उपयोग [Maigret](https://github.com/soxoj/maigret) और समान टूल्स द्वारा संवर्धन के लिए किया जाता है।

## व्यावसायिक उपयोग

ओपन-सोर्स `socid_extractor` MIT-लाइसेंस प्राप्त है और बिना किसी प्रतिबंध के व्यावसायिक उपयोग के लिए निःशुल्क है — लेकिन पेज पार्सर समय के साथ टूट जाते हैं क्योंकि प्लेटफ़ॉर्म अपने HTML और API बदलते हैं, और उन्हें सक्रिय रखरखाव की आवश्यकता होती है।

गंभीर व्यावसायिक उपयोग के लिए — एक होस्टेड एक्सट्रैक्शन API, या उन पार्सरों का रखरखाव जिन पर आपका उत्पाद निर्भर करता है — संपर्क करें: 📧 [email protected]

- एक्सट्रैक्शन API — `socid_extractor` को अपने उत्पाद में एकीकृत करें

## SOWEL वर्गीकरण

निम्नलिखित [SOWEL](https://sowel.soxoj.com/) तकनीकों से मैप होता है:
- [SOTL-1.4. Analyze Internal Identifiers](https://sowel.soxoj.com/internal-identifiers)
- [SOTL-11.1. Check Outdated And Unused Functionality](https://sowel.soxoj.com/outdated-unused-functionality)

## socid_extractor का उपयोग करने वाले टूल्स

- [**Maigret**](https://github.com/soxoj/maigret) — एक शक्तिशाली नेमचेकर जो 3000+ साइटों पर पाए गए खातों से सभी उपलब्ध जानकारी के साथ एक रिपोर्ट तैयार करता है।
- [**TheScrapper**](https://github.com/champmq/TheScrapper) — किसी वेबसाइट से ईमेल, फ़ोन नंबर और सोशल-मीडिया खाते स्क्रैप करें।
- [**InfoHunter**](https://github.com/sweetnight19/InfoHunter) — ऑनलाइन जानकारी खोजने, एकत्र करने और विश्लेषण करने के लिए ओपन-सोर्स OSINT टूल।
- [**YaSeeker**](https://github.com/HowToFind-bot/YaSeeker) — लॉगिन/ईमेल द्वारा Yandex खाते के बारे में सभी उपलब्ध जानकारी एकत्र करें।
- [**Marple**](https://github.com/soxoj/marple) — किसी दिए गए उपयोगकर्ता नाम के लिए सर्च-इंजन परिणाम स्क्रैप करें।

## यह भी देखें

- [**ShareTrace**](https://github.com/soxoj/sharetrace) — इस परियोजना की दर्पण छवि: `socid_extractor` एक प्रोफ़ाइल पृष्ठ पढ़ता है, ShareTrace एक *शेयर लिंक* (TikTok, Instagram, ChatGPT, Discord, Telegram और अधिक) लेता है और पता लगाता है कि इसे किसने बनाया या अग्रेषित किया, कुछ शेयर टोकन को ऑफ़लाइन डिकोड करता है। यदि आप इसे आज़माना चाहते हैं तो कुछ भी इंस्टॉल करने की आवश्यकता नहीं है: समुदाय-संचालित [Telegram बॉट](https://t.me/sharetrace_bot?start=c29jaWQtZXh0cmFjdG9yOnJlYWRtZQ) या [वेब UI](https://share.whopostedwhat.com/)।

## परीक्षण

[`pyproject.toml`](https://github.com/soxoj/socid-extractor/blob/master/pyproject.toml) से परीक्षण एक्स्ट्रा इंस्टॉल करें, फिर pytest चलाएँ:

```sh
pip install '.[test]'   # pytest, pytest-rerunfailures, pytest-xdist
python3 -m pytest tests/test_e2e.py -n 10 -k 'not cookies' -m 'not github_failed and not rate_limited'
```

यदि आप flake8 / mypy / black (CI द्वारा उपयोग किया जाने वाला पूरा सेट) भी चाहते हैं तो इसके बजाय `pip install '.[dev]'` का उपयोग करें।

**प्रत्येक नई स्कीम के लिए एक e2e परीक्षण होना चाहिए** `tests/test_e2e.py` में जो किसी वास्तविक URL/API को हिट करे। इनलाइन फ़िक्स्चर वाले यूनिट परीक्षण (`tests/test_socid_improvements.py`) भी आवश्यक हैं, लेकिन वे e2e कवरेज का स्थान नहीं लेते। विवरण के लिए [docs/testing-and-ci.md](https://github.com/soxoj/socid-extractor/blob/master/docs/testing-and-ci.md) देखें।

डेवलपर दस्तावेज़ीकरण (आर्किटेक्चर, मॉड्यूल, CI) [docs/](https://github.com/soxoj/socid-extractor/blob/master/docs) में उपलब्ध है।

## योगदान

यदि आप एक नई स्कीम जोड़ना या कुछ भी ठीक करना चाहते हैं तो [योगदान गाइड](https://github.com/soxoj/socid-extractor/blob/master/CONTRIBUTING.md) देखें।
टूल डाउनलोड करें
socid-extractor

सबसे लोकप्रिय
