Skip to content
KitploitKITPLOIT
工具漏洞利用博客
Log in
提交
工具漏洞利用博客
提交

黑客、渗透测试和网络安全工具,武装您的安全武器库!

Kitploit 是一个黑客、网络安全和渗透测试工具的目录。发现最新的项目更新,查找漏洞、分析系统、自动化测试并加强你的安全。

订阅源联系隐私© 2026 Kitploit

工具目录

分类

查看所有分类
Loading categories
socid-extractor — ⛏️ Maigret背后的提取引擎:将任何个人资料URL转换为结构化的OSINT记录,覆盖150多个网站 | Kitploit
工具/GitHubGitHub/soxoj/socid-extractor
OSINT (开源情报)侦察信息收集社会工程学网络爬虫
GitHubsoxoj/socid-extractor

socid-extractor

⛏️ Maigret背后的提取引擎:将任何个人资料URL转换为结构化的OSINT记录,覆盖150多个网站

查看仓库
1.1k118481天前Kitploit 审核通过

最受欢迎

查看全部 →

发现我们社区最常用的工具。

探索所有工具

浏览我们的工具集合

查看所有工具 →
分享

socid_extractor

PyPI version Downloads/month Total downloads License

CI GitHub stars GitHub forks

将任意公开个人资料页面转换为结构化的账户记录——用户名、显示名称、简介、头像、位置、注册日期、关注者数量、外部链接,以及那些在账户改名、改版和删除后仍能唯一锁定账户的稳定内部标识符。

socid_extractor 可解析来自 250 多种方案的 HTML 页面和 API 响应,并返回一个扁平、机器可读的账户字段字典。无需 API 密钥,无需无头浏览器——只需对响应文本调用一个函数即可。

它的用处

  • 跨服务的稳定 ID。 获取 GAIA ID(Google)、Facebook UID、Yandex Public ID、Instagram pk 以及数十种其他标识符——这些值在用户名更改后依然存在,让你能够跨泄露数据、存档和搜索引擎索引关联账户。
  • 统一的接口。 对 Instagram、GitHub、VK、Reddit、Substack、Bluesky、TikTok 使用相同的 extract() 调用——你这边无需为每个平台编写胶水代码。
  • 字段本体。 跨平台的规范化字段名(username、fullname、created_at、is_verified 等),因此下游流水线无需 130 个映射。
  • 久经考验。 为 Maigret 及其他多个 OSINT 工具提供支持。

安装

Python:3.10+。

pip install socid-extractor

在工作站上进行干净的 CLI 安装:

pipx install socid-extractor

最新开发版本:

pip install -U git+https://github.com/soxoj/socid-extractor.git

快速开始

作为 CLI:

$ socid_extractor --url https://www.deviantart.com/muse1908
country: France
created_at: 2005-06-16 18:17:41
gender: female
username: Muse1908
website: www.patreon.com/musemercier
links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']
tagline: Nothing worth having is easy...

作为 Python 库:

import requests
import socid_extractor

r = requests.get('https://www.patreon.com/annetlovart')
print(socid_extractor.extract(r.text))
# {'patreon_id': '33913189', 'patreon_username': 'annetlovart',
#  'fullname': 'Annet Lovart',
#  'links': "['https://www.facebook.com/322598031832479', ...]"}

提示 — 批量运行: 传入 --skip-fetch-if-no-url-hint,当 URL 不匹配任何已知站点提示时跳过 HTTP 请求(速度更快,但可能会跳过论坛模板等通用引擎):

$ socid_extractor --url https://example.com/foo --skip-fetch-if-no-url-hint

支持的站点

250+ 种方案,覆盖 Maigret 所检查站点中约 2,000 个——完整列表见 METHODS.md。

以下为部分示例(非完整列表):

  • 主流网络: Facebook(用户页与群组页)、Instagram、VK.com、OK.ru、Reddit、TikTok、Bluesky、Tumblr、Flickr
  • Google 生态: Google 文档/地图贡献(需要 cookies)、Google Play、YouTube
  • Mail.ru: my.mail.ru 用户主页、照片、视频
  • 开发/写作平台: GitHub、Stack Overflow(HTML + API)、LeetCode、Hashnode、Medium、Substack、Paragraph、WordPress.org、Virgool
  • 论坛(通用检测器): Discourse、MediaWiki / Fandom wiki、Mastodon
  • 细分/垂直领域: Chess.com、Roblox、MyAnimeList、Scratch、Wikipedia、DailyMotion、SlideShare、Weebly、Calendly、Amazon Author、Boosty、Warpcast(Farcaster)、Fragment(TON/Telegram)、Rarible、CSSBattle、lnk.bio、Spatial、TwitchTracker、Max(max.ru)

……以及许多其他站点。

数据示例见 tests/test_e2e.py;解析逻辑见 socid_extractor/schemes.py;字段本体见 FIELDS.md。

使用场景

  • 从单个个人资料出发,挖掘所有可见信息。 一次调用即可返回可见信息,以及平台在后台使用的隐藏内部 ID。延伸阅读:Week in OSINT — Getting a grasp on Google IDs。
  • 跨改名、改版和删除追踪账号。 稳定 ID(GAIA、FB UID、Yandex Public ID、Instagram pk 等)让你即使所有可见字段都已改变,也能重新识别同一个人。延伸阅读:Aware Online — User IDs in social-media investigations。
  • 按跨服务 UID 搜索。 一旦获得稳定标识符,你就可以转向:
    • SQL / 泄露数据库(论坛导出、泄露数据),其中 UID 是连接键,
    • 捕获了包含该 UID 的 URL 的 Google / Yandex / archive.org 索引。
  • 为下游 OSINT 工具提供数据。 规范化记录比逐站点爬虫更容易被摄取——Maigret 及类似工具用它进行信息丰富化。

商业使用

开源版 socid_extractor 采用 MIT 许可证,可无限制免费用于商业用途——但页面解析器会随着平台更改其 HTML 和 API 而随时间失效,需要积极维护。

如需严肃的商业使用——托管式提取 API,或维护你的产品所依赖的解析器——请联系:📧 [email protected]

  • 提取 API——将 socid_extractor 集成到你的产品中

SOWEL 分类

对应以下 SOWEL 技术:

  • SOTL-1.4. Analyze Internal Identifiers
  • SOTL-11.1. Check Outdated And Unused Functionality

使用 socid_extractor 的工具

  • Maigret — 强大的用户名检查工具,可生成包含在 3000+ 站点上找到的账号所有可用信息的报告。
  • TheScrapper — 从网站抓取电子邮件、电话号码和社交媒体账号。
  • InfoHunter — 开源 OSINT 工具,用于在线搜索、收集和分析信息。
  • YaSeeker — 通过登录名/电子邮件收集关于 Yandex 账号的所有可用信息。
  • Marple — 针对给定用户名抓取搜索引擎结果。

另见

  • ShareTrace — 本项目的镜像对应工具:socid_extractor 读取个人资料页面,而 ShareTrace 接收分享链接(TikTok、Instagram、ChatGPT、Discord、Telegram 等),并还原出创建或转发该链接的人,部分分享令牌可离线解码。若只想试用,无需安装任何东西:可使用社区运营的 Telegram 机器人 或 Web UI。

测试

从 pyproject.toml 安装测试附加依赖,然后运行 pytest:

pip install '.[test]'   # pytest, pytest-rerunfailures, pytest-xdist
python3 -m pytest tests/test_e2e.py -n 10 -k 'not cookies' -m 'not github_failed and not rate_limited'

如果你还想要 flake8 / mypy / black(CI 使用的完整集合),请改用 pip install '.[dev]'。

每个新方案都必须在 tests/test_e2e.py 中有一个 e2e 测试,访问真实的 URL/API。使用内联夹具的单元测试(tests/test_socid_improvements.py)也是必需的,但不能替代 e2e 覆盖。详情请参阅 docs/testing-and-ci.md。

开发者文档(架构、模块、CI)位于 docs/。

贡献

如果你想添加新方案或修复任何问题,请参阅贡献指南。

下载工具