用于弹性数据的协议内省分块适配器
献给自学成才者、不走寻常路者,以及所有曾被劝诫要安分守己的人。继续构建,继续探索。
本版本献给帕特里克·斯图尔特爵士(1940–2026),他用三十五年时间,让一位星舰舰长成为好奇心、正直以及拒绝接受不必要限制的最有力论据。
PICARD 会加密你的数据,将其切分成块,再把这些块分散到你配置的任意协议端点:DNS TXT 记录、社交媒体 API、MQTT 代理、S3 存储桶、蓝牙广播,或同时使用以上全部。取回时它会重新组装。借助多适配器分散机制,没有任何单一端点持有足以重建任何内容的密文。没有中央服务器。没有每月存储费用。它可作为常规文件系统挂载。
不追求高效。协议无关。
[!IMPORTANT] 研究项目。 PICARD 是一个可运行的计算机科学实验,而非生产级存储系统。继续之前请阅读研究与法律声明。
10,064 个适配器——从 505 个增加而来。22,102 项测试。 本版本将适配器目录扩充了约二十倍,并对底层所有内容进行了全面的安全与核心加固审查。
十五波新适配器扩展了覆盖范围,涵盖 SaaS 平台、DNS 提供商、云基础设施、IoT 与嵌入式、消息传递、区块链与 DeFi、密码与编码基底、文件格式隐写、媒体平台、开发者工具、学术、法律、公民、制药、制造业、AI 平台、安全工具、游戏平台、模拟与物理信道,以及数百种小众协议。下方的层级表展示了代表性适配器;运行 picard adapters 可查看完整列表,适配器指南见 docs/adapters.md。
Tier 3 云与 SaaS 适配器不再是薄薄的桩。超过 7,000 个适配器现在通过 aiohttp 对提供商的真实 API 发起真实 HTTP 调用。它们受凭据门控:除非你提供账户,否则匹配的实时测试会被跳过;没有凭据时,适配器行为与之前相同。
picard wizard <url> 可从 OpenAPI 或 Swagger 规范(直接解析,无需 LLM)生成可用的适配器,也可从 REST 文档页面或 RFC(通过 OpenAI 兼容或 Anthropic LLM)生成。它也在仪表板中提供,作为 picard_wizard MCP 工具,以及作为 adapter-from-spec 技能。_API_DOCS_URL、_API_VERSION、_LAST_VERIFIED、_AUTH_TYPE,以及其 API 文档的内容哈希指纹。adapter_docs_checker.py 会抓取实时文档,剥离结构性噪声,使导航和页脚编辑不会翻转哈希,并标记真实的规范变更;picard_adapter_docs_status MCP 工具和 update-adapter 技能驱动验证波次。本版本完成了一次完整的 SAST 扫描(Bufo-Hirsutus、Semgrep、Trivy)以及对核心的手动审查:
style-src-attr 'none')。注入的标记既无法运行脚本,也无法重新设置页面样式。reassemble() 只信任清单,XML 解析使用 defusedxml,且没有任何服务绑定到 0.0.0.0,也不会在非回环主机上附带默认密钥。rotate-key)和 reseal;密钥环盐值存储在索引中,因此由一个进程密封的数据可被下一个进程读取。rm_mode = purge | tombstone、rm --keep-history,以及 trash、undelete、purge 和 prune。PICARD_PASSPHRASE、系统密钥环、提示符读取口令。密封存储会拒绝在无人值守的情况下启动后台服务,并告诉你该运行什么。PICARD_MCP_READONLY=1,供只应查看而不应改动的代理使用。mv 是单个事务,并且现在会移动目录的子项,recover 会跳过其所属进程仍然存活的那些操作。recover 会清理被终止的 put 操作留下的块,包括密封块——它通过重新计算这些块的相关标签来找到它们,覆盖 RAID 池以及索引的块日志。picard gc 是没有任何文件引用的块的兜底机制,默认只报告,仅在明确要求时才删除。505 个适配器——从 264 个增加而来。4,159 项测试。本版本有五项新增:
新的 erasure RAID 级别封装了 zfec,以提供可配置的 k-of-m 分片恢复。m 个分片中的任意 k 个都能重建原始块;其余 m-k 个是校验分片。可容忍最多 m-k 个适配器同时故障,存储开销为 (m/k - 1)。
[[raid]]
level = "erasure"
erasure_k = 4
erasure_m = 6
adapters = ["s3", "dns", "redis", "dropbox", "onedrive", "matrix"]
安装可选依赖:pip install 'picard-store[erasure]'
十个新适配器将存储推向从未被设计用于承载数据的地方:内核状态、传输中的数据包、进程内存、硬件遥测。这些适配器均不会以传统意义上的静态密文形式留存数据。
[!WARNING] 平台相关、需要高权限,适用范围从“确实有用”到“仅作演示”。使用前请阅读适配器源码。
| 适配器 | 数据存放位置 | 要求 |
|---|---|---|
mempool | 以太坊排队交易池。带有 nonce 间隙的 EIP-1559 交易可阻止打包。数据存于 input 字段。可通过 geth 参数配置最长 50 年的生命周期。每笔交易 128 KB。 | 本地 geth 节点(--txpool.lifetime 438000h)、web3>=6.0 |
latency | 127.x.0.x 回环 IP 上的 Linux tc netem 延迟规则。比特以 RTT 编码。数据是内核流量整形状态,而非文件。容量约 63 字节。 | Linux、CAP_NET_ADMIN、iproute2 |
icmp-inflight | 在回环接口上循环的 ICMP echo 载荷。AF_PACKET 中继线程使每个数据包保持传输中。无静态状态。容量约 87 KB。 | Linux、CAP_NET_RAW、scapy>=2.5 |
proc-mem | 由伴随守护进程通过 memfd_create + SCM_RIGHTS 保持打开的匿名 memfd。无文件系统路径、无名称、无套接字。 | Linux、伴随守护进程 |
thermal | 以 CPU 裸片温度作为隐蔽信道。通过 CPU 负载编码比特;读取 sysfs 热区传感器。仅作演示——热量会消散。 | Linux、sysfs 热区 |
hdd-smart | 通过寻道模式调理 HDD 自适应校准表。SMART 属性差值编码比特。断电重启后仍持久。未经证实的假设——请先运行特征化脚本。 | 旋转盘片 HDD、root、smartmontools |
sip-registrar | 注册服务器位置数据库中的 SIP REGISTER 状态。数据以电话路由绑定形式存在,直至 Expires 过期。原始 UDP SIP、Digest MD5 认证。 | Kamailio、OpenSIPS 或任何 RFC 3261 注册服务器 |
sip-presence | SIP 呈现服务器上的 PIDF+XML 呈现文档。数据以订阅状态形式存在,直至 Expires 过期。 | SIP 呈现服务器(RFC 3903 PUBLISH) |
turn | STUN/TURN 中继分配状态。后台 Refresh 保持分配存活。无静态状态。 | TURN 服务器(RFC 5766)、仅标准库 |
rtp-inflight | 在 UDP 回环通话腿上循环的 RTP 载荷。以 SSRC 为键的中继线程,无静态状态。 | 仅标准库、任意平台 |
已通过集成测试的新增项(基于 Docker,已验证完整的写入/读取/删除/列出周期):
| 适配器 | 说明 |
|---|---|
scylladb-row | 完全重写。现通过 cassandra-driver 使用原生 CQL。移除了此前基于 REST 的实现——ScyllaDB 不暴露 REST API。 |
redis-acl、redis-json、redis-lua、redis-timeseries、redis-module | 五种新的 Redis 存储变体。与现有的 redis、redis-stream、redis-pubsub 和 redis-bitmap 适配器并存。 |
nats-kv、nats-kv-ttl、nats-object-store | 除现有 JetStream 适配器之外的三种 NATS 存储模式。 |
cockroachdb-row | 兼容 PostgreSQL 线协议的分布式 SQL。使用标准 asyncpg 驱动。 |
influxdb、influxdb-field | 使用行协议的时间序列。influxdb-field 变体用于按测量字段分散存储。 |
victoria-metrics、victoria-metrics-metric、victoria-metrics-series、victoria-metrics-tag | 四种 VictoriaMetrics 变体,覆盖推送、指标名称、序列标签和标签存储面。 |
云与 SaaS API 适配器(每个都需要相应服务的凭据):
| 类别 | 服务 |
|---|---|
| 工作与项目管理 | Jira, Confluence, Notion, Linear, Asana, ClickUp, Trello, Airtable, Contentful |
| CRM 与支持 | HubSpot, Freshdesk, Zendesk, Intercom, ServiceNow |
| 可观测性与 APM | Datadog, Datadog Events, New Relic, Splunk, Prometheus, Grafana, Loki, Sentry, WandB, OpenTelemetry, Jaeger(日志 + 追踪), Zipkin(注解 + 跨度) |
| 分析 | Amplitude, Segment, Mixpanel |
| 云数据库 | DynamoDB, Firestore, Firebase RTDB, Azure Table (CosmosDB), ClickHouse, PlanetScale, Supabase, Elasticsearch, OpenSearch, Hazelcast, Qdrant |
| 云存储 | GCS, Azure Blob, Dropbox, OneDrive, Box, Storj, Backblaze B2, DigitalOcean Spaces, Cloudflare KV, Cloudflare R2, Wasabi, Vercel KV, Google Drive |
| 消息队列 | AWS SQS, AWS SNS, GCP Pub/Sub, AWS Lambda |
| 身份与密钥 | Auth0, Okta, AWS Secrets Manager, Azure Key Vault, HashiCorp Vault |
| 通信与告警 | Twilio, Mailgun, Mailchimp, SendGrid, Pushover, PagerDuty, OpsGenie, ntfy |
| Webhook 与机器人 | Slack, Discord, Microsoft Teams, Webex, Telegram bot |
| 商务 | Stripe(支付意图元数据), Shopify(元字段), Algolia(记录) |
| 开发者平台 | GitLab(代码片段 + CI 配置), Bitbucket(代码片段), HackMD, GitHub Actions, GCP Cloud Functions |
| 内容与发布 | Ghost, WordPress, MediaWiki, Fandom |
| 知识与社区 | Stack Overflow, HuggingFace |
在适配器层中发现并修复的注入漏洞:
现在所有输入都在协议层面进行了转义或参数化。
约 45 个适配器在三个类别中得到修正: