soxoj/socid-extractor⛏️ Der Extraktionsmotor hinter Maigret: Wandeln Sie jede Profil-URL in einen strukturierten OSINT-Datensatz auf über 150 Websites um.
# socid_extractor
[](https://pypi.org/project/socid-extractor/)
[](https://pepy.tech/project/socid-extractor)
[](https://pepy.tech/project/socid-extractor)
[](https://github.com/soxoj/socid-extractor/blob/master/LICENSE)
[](https://github.com/soxoj/socid-extractor/actions/workflows/python-package.yml)
[](https://github.com/soxoj/socid-extractor/stargazers)
[](https://github.com/soxoj/socid-extractor/network/members)
> Verwandle jede öffentliche Profilseite in einen strukturierten Account-Datensatz — Benutzernamen, Anzeigenamen, Biografien, Avatare, Standorte, Beitrittsdaten, Follower-Zahlen, externe Links und die **stabilen internen Identifikatoren**, die einen Account über Umbenennungen, Redesigns und Löschungen hinweg eindeutig festmachen.
`socid_extractor` parst HTML-Seiten und API-Antworten aus über 250 Schemata und liefert ein flaches, maschinenlesbares Dictionary von Account-Feldern zurück. Keine API-Schlüssel erforderlich, kein Headless-Browser — nur ein einziger Funktionsaufruf auf dem Antworttext.
**Warum es nützlich ist**
- **Stabile dienstübergreifende IDs.** Erhalte GAIA ID (Google), Facebook UID, Yandex Public ID, Instagram pk und Dutzende mehr — Werte, die Benutzernamenänderungen überstehen und es dir ermöglichen, Accounts über Leaks, Archive und Suchmaschinen-Indizes hinweg zu korrelieren.
- **Eine einheitliche Schnittstelle.** Derselbe `extract()`-Aufruf für Instagram, GitHub, VK, Reddit, Substack, Bluesky, TikTok — kein plattformspezifischer Glue-Code auf deiner Seite.
- **Feld-Ontologie.** [Normalisierte Feldnamen](https://github.com/soxoj/socid-extractor/blob/master/FIELDS.md) über alle Plattformen hinweg (`username`, `fullname`, `created_at`, `is_verified`, …), sodass nachgelagerte Pipelines keine 130 Mappings benötigen.
- **Praxiserprobt.** Treibt [Maigret](https://github.com/soxoj/maigret) und eine Reihe weiterer OSINT-Tools an.
## Installation
Python: 3.10+.
```sh
pip install socid-extractor
```
Für eine saubere CLI-Installation auf einer Workstation:
```sh
pipx install socid-extractor
```
Die neueste Entwicklungsversion:
```sh
pip install -U git+https://github.com/soxoj/socid-extractor.git
```
## Schnellstart
**Als CLI:**
```sh
$ socid_extractor --url https://www.deviantart.com/muse1908
country: France
created_at: 2005-06-16 18:17:41
gender: female
username: Muse1908
website: www.patreon.com/musemercier
links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']
tagline: Nothing worth having is easy...
```
**Als Python-Bibliothek:**
```python
import requests
import socid_extractor
r = requests.get('https://www.patreon.com/annetlovart')
print(socid_extractor.extract(r.text))
# {'patreon_id': '33913189', 'patreon_username': 'annetlovart',
# 'fullname': 'Annet Lovart',
# 'links': "['https://www.facebook.com/322598031832479', ...]"}
```
**Tipp — Batch-Läufe:** Übergeben Sie `--skip-fetch-if-no-url-hint`, um die HTTP-Anfrage zu überspringen, wenn die URL keinem bekannten Site-Hinweis entspricht (schneller, kann aber generische Engines wie Foren-Templates überspringen):
```sh
$ socid_extractor --url https://example.com/foo --skip-fetch-if-no-url-hint
```
## Unterstützte Seiten
[**250+ Schemata**, die etwa 2.000 der von Maigret geprüften Seiten abdecken — die vollständige Liste finden Sie in METHODS.md.](https://github.com/soxoj/socid-extractor/blob/master/METHODS.md)
Eine nicht vollständige Auswahl:
- **Große Netzwerke:** Facebook (Benutzer- & Gruppenseiten), Instagram, VK.com, OK.ru, Reddit, TikTok, Bluesky, Tumblr, Flickr
- **Google-Ökosystem:** Google Docs/Maps-Beiträge (Cookies erforderlich), Google Play, YouTube
- **Mail.ru:** my.mail.ru Benutzer-Hauptseite, Foto, Video
- **Entwickler-/Schreibplattformen:** GitHub, Stack Overflow (HTML + API), LeetCode, Hashnode, Medium, Substack, Paragraph, WordPress.org, Virgool
- **Foren (universelle Detektoren):** Discourse, MediaWiki / Fandom-Wikis, Mastodon
- **Nische / vertikal:** Chess.com, Roblox, MyAnimeList, Scratch, Wikipedia, DailyMotion, SlideShare, Weebly, Calendly, Amazon Author, Boosty, Warpcast (Farcaster), Fragment (TON/Telegram), Rarible, CSSBattle, lnk.bio, Spatial, TwitchTracker, Max (max.ru)
…und viele weitere.
Beispiele für Daten finden Sie in [`tests/test_e2e.py`](https://github.com/soxoj/socid-extractor/blob/master/tests/test_e2e.py); die Parsing-Logik finden Sie in [`socid_extractor/schemes.py`](https://github.com/soxoj/socid-extractor/blob/master/socid_extractor/schemes.py); die Feld-Ontologie finden Sie in [FIELDS.md](https://github.com/soxoj/socid-extractor/blob/master/FIELDS.md).
## Anwendungsfälle
- **Von einem Profil zu allem pivotieren, was Sie sehen können.** Ein einziger Aufruf liefert die sichtbaren Informationen sowie die verborgenen internen IDs, die die Plattform hinter den Kulissen verwendet. Hintergrundlektüre: [Week in OSINT — Getting a grasp on Google IDs](https://medium.com/week-in-osint/getting-a-grasp-on-googleids-77a8ab707e43).
- **Konten über Umbenennungen, Redesigns und Löschungen hinweg verfolgen.** Stabile IDs (GAIA, FB UID, Yandex Public ID, Instagram pk, …) ermöglichen es Ihnen, dieselbe Person erneut zu identifizieren, selbst wenn sich jedes sichtbare Feld geändert hat. Hintergrund: [Aware Online — User IDs in social-media investigations](https://www.aware-online.com/en/importance-of-user-ids-in-social-media-investigations/).
- **Suche nach dienstübergreifender UID.** Sobald Sie eine stabile Kennung haben, können Sie pivotieren zu:
- SQL / geleakten Datenbanken (Forum-Dumps, Breach-Daten), in denen die UID der Join-Schlüssel ist,
- Google / Yandex / archive.org-Indizes, die URLs mit der UID erfasst haben.
- **Nachgelagerte OSINT-Tools speisen.** Ein normalisierter Datensatz ist viel einfacher zu verarbeiten als seitenweise Scraper — verwendet von [Maigret](https://github.com/soxoj/maigret) und ähnlichen Tools zur Anreicherung.
## Kommerzielle Nutzung
Der Open-Source-`socid_extractor` ist MIT-lizenziert und ohne Einschränkung kostenlos für die kommerzielle Nutzung — aber Seitenparser brechen mit der Zeit, wenn Plattformen ihr HTML und ihre APIs ändern, und sie benötigen aktive Wartung.
Für ernsthafte kommerzielle Nutzung — eine gehostete Extraktions-API oder die Wartung der Parser, von denen Ihr Produkt abhängt — kontaktieren Sie uns: 📧 [email protected]
- Extraktions-API — integrieren Sie `socid_extractor` in Ihr Produkt
## SOWEL-Klassifizierung
Ordnet sich den folgenden [SOWEL](https://sowel.soxoj.com/)-Techniken zu:
- [SOTL-1.4. Analyze Internal Identifiers](https://sowel.soxoj.com/internal-identifiers)
- [SOTL-11.1. Check Outdated And Unused Functionality](https://sowel.soxoj.com/outdated-unused-functionality)
## Tools, die socid_extractor verwenden
- [**Maigret**](https://github.com/soxoj/maigret) — leistungsstarker Namechecker, der einen Bericht mit allen verfügbaren Informationen aus Konten erstellt, die auf über 3000 Seiten gefunden wurden.
- [**TheScrapper**](https://github.com/champmq/TheScrapper) — extrahiert E-Mails, Telefonnummern und Social-Media-Konten von einer Website.
- [**InfoHunter**](https://github.com/sweetnight19/InfoHunter) — Open-Source-OSINT-Tool zum Suchen, Sammeln und Analysieren von Informationen online.
- [**YaSeeker**](https://github.com/HowToFind-bot/YaSeeker) — sammelt alle verfügbaren Informationen über ein Yandex-Konto anhand von Login/E-Mail.
- [**Marple**](https://github.com/soxoj/marple) — extrahiert Suchmaschinenergebnisse für einen bestimmten Benutzernamen.
## Siehe auch
- [**ShareTrace**](https://github.com/soxoj/sharetrace) — das Spiegelbild dieses Projekts: `socid_extractor` liest eine Profilseite, ShareTrace nimmt einen *Share-Link* (TikTok, Instagram, ChatGPT, Discord, Telegram und mehr) und ermittelt, wer ihn erstellt oder weitergeleitet hat, wobei einige Share-Tokens offline dekodiert werden. Nichts zu installieren, wenn du es einfach ausprobieren möchtest: der von der Community betriebene [Telegram-Bot](https://t.me/sharetrace_bot?start=c29jaWQtZXh0cmFjdG9yOnJlYWRtZQ) oder die [Web-UI](https://share.whopostedwhat.com/).
## Testen
Installiere die Test-Extras aus [`pyproject.toml`](https://github.com/soxoj/socid-extractor/blob/master/pyproject.toml) und führe dann pytest aus:
```sh
pip install '.[test]' # pytest, pytest-rerunfailures, pytest-xdist
python3 -m pytest tests/test_e2e.py -n 10 -k 'not cookies' -m 'not github_failed and not rate_limited'
```
Verwende stattdessen `pip install '.[dev]'`, wenn du auch flake8 / mypy / black haben möchtest (der vollständige Satz, der von CI verwendet wird).
**Jedes neue Schema muss einen e2e-Test haben** in `tests/test_e2e.py`, der eine echte URL/API anspricht. Unit-Tests mit Inline-Fixtures (`tests/test_socid_improvements.py`) sind ebenfalls erforderlich, ersetzen aber nicht die e2e-Abdeckung. Siehe [docs/testing-and-ci.md](https://github.com/soxoj/socid-extractor/blob/master/docs/testing-and-ci.md) für Details.
Die Entwicklerdokumentation (Architektur, Module, CI) befindet sich in [docs/](https://github.com/soxoj/socid-extractor/blob/master/docs).
## Mitwirken
Siehe den [Beitragsleitfaden](https://github.com/soxoj/socid-extractor/blob/master/CONTRIBUTING.md), wenn du ein neues Schema hinzufügen oder etwas beheben möchtest.