
レジリエントデータ向けプロトコル内省型チャンクアダプター
Protocol-Introspecting Chunk Adapter for Resilient Data
独学で学ぶ人、型破りな人、そして「自分の分野に留まれ」と言われたことのあるすべての人へ。作り続け、探求し続けよう。
このリリースは、パトリック・スチュワート卿(1940–2026)に捧げます。彼は35年もの間、宇宙船の船長を通じて、好奇心、品位、そして不必要な限界を受け入れない姿勢を最も説得力ある形で示し続けました。
PICARDはデータを暗号化し、チャンクに分割し、設定したあらゆるプロトコルエンドポイント(DNS TXTレコード、ソーシャルメディアAPI、MQTTブローカー、S3バケット、Bluetoothアドバタイズメント、あるいはそれらすべてを同時に)にそのチャンクを分散させます。取り戻せば再構築されます。マルチアダプタースキャッターでは、単一のエンドポイントが何かを再構築するのに十分な暗号文を保持することはありません。中央サーバーも、月額のストレージ料金も不要です。通常のファイルシステムとしてマウントできます。
効率的ではありません。プロトコル非依存です。
[!IMPORTANT] 研究プロジェクト。 PICARDは動作するコンピュータサイエンスの実験であり、本番用のストレージシステムではありません。進める前に研究および法的通知をお読みください。
10,064個のアダプター -- 505個から増加。22,102件のテスト。 このリリースではアダプターカタログが約20倍に拡大し、その基盤全体に対する完全なセキュリティおよびコア強化レビューが組み込まれています。
15波にわたる新しいアダプターが、SaaSプラットフォーム、DNSプロバイダー、クラウドインフラストラクチャ、IoTおよび組み込み、メッセージング、ブロックチェーンおよびDeFi、暗号およびエンコーディング基盤、ファイルフォーマットのステガノグラフィ、メディアプラットフォーム、開発者ツール、学術、法務、市民、製薬、製造、AIプラットフォーム、セキュリティツール、ゲームプラットフォーム、アナログおよび物理チャネル、そして数百のニッチなプロトコルにわたってカバレッジを拡張します。後述の階層表は代表的なアダプターを示しています。完全なリストはpicard adaptersを実行してください。アダプターガイドはdocs/adapters.mdを参照してください。
Tier 3のクラウドおよびSaaSアダプターは、もはや薄いスタブではありません。7,000以上がaiohttpを通じてプロバイダーの実際のAPIに対して本物のHTTP呼び出しを行うようになりました。これらは認証情報で制限されており、対応するライブテストはアカウントを提供しない限りスキップされます。認証情報がなければ、アダプターは以前と同じように動作します。
picard wizard <url>は、OpenAPIまたはSwagger仕様(直接解析、LLM不要)、あるいはRESTドキュメントページまたはRFC(OpenAI互換またはAnthropicのLLM経由)から動作するアダプターを生成します。ダッシュボードにも、picard_wizard MCPツールとして、またadapter-from-specスキルとしても用意されています。_API_DOCS_URL、_API_VERSION、_LAST_VERIFIED、_AUTH_TYPE、およびAPIドキュメントのコンテンツハッシュフィンガープリントを保持するようになりました。adapter_docs_checker.pyはライブドキュメントを取得し、ナビゲーションやフッターの編集でハッシュが変わらないように構造的なノイズを除去し、実際の仕様変更をフラグします。picard_adapter_docs_status MCPツールとupdate-adapterスキルが検証ウェーブを推進します。完全なSASTパス(Bufo-Hirsutus、Semgrep、Trivy)とコアの手動レビューがこのリリースで実施されました:
style-src-attr 'none')はすべて禁止です。注入されたマークアップはスクリプトを実行することも、ページのスタイルを変更することもできません。reassemble() はマニフェストのみを信頼し、XML解析にはdefusedxmlを使用します。また、どのサービスも 0.0.0.0 にバインドせず、非ループバックホスト上でデフォルトのシークレットを出荷しません。rotate-key)と reseal、そしてインデックスに保存されるキーリングソルトにより、あるプロセスが封緘したデータを次のプロセスが読み取れます。rm_mode = purge | tombstone、rm --keep-history、および trash、undelete、purge、prune。PICARD_PASSPHRASE、次にシステムキーリング、次にプロンプトから読み取ります。封緘されたストアはバックグラウンドサービスを無人で起動することを拒否し、実行すべき内容を通知します。PICARD_MCP_READONLY=1 により、参照のみで変更すべきでないエージェント向けの設定が可能です。mv は単一のトランザクションでありディレクトリの子要素も移動するようになり、recover は所有プロセスがまだ生きている操作をスキップします。recover は強制終了されたputのチャンク(封緘されたチャンクを含む)をクリーンアップします。封緘されたチャンクは、相関タグを再計算することでRAIDプール全体およびインデックスのチャンクログから検出されます。picard gc はどのファイルからも参照されていないチャンクの最後の砦であり、デフォルトでは報告のみを行い、要求された場合にのみ削除します。505個のアダプター -- 264個から増加。4,159件のテスト。このリリースでは5つの追加があります:
新しい erasure RAIDレベルは zfec をラップし、設定可能なk-of-mシャードリカバリを提供します。m個のシャードのうち任意のk個で元のブロックを再構築でき、残りのm-k個はパリティです。最大m-k個の同時アダプター障害を許容し、(m/k - 1)のストレージオーバーヘッドがあります。
[[raid]]
level = "erasure"
erasure_k = 4
erasure_m = 6
adapters = ["s3", "dns", "redis", "dropbox", "onedrive", "matrix"]
オプション依存関係をインストールします: pip install 'picard-store[erasure]'
10 個の新しいアダプターは、データを保持するために設計されたわけではない場所へストレージを押し込みます。カーネル状態、流通するパケット、プロセスメモリ、ハードウェアテレメトリなどです。これらのいずれも、従来の意味での保存時の暗号文を残しません。
[!WARNING] プラットフォーム固有で、高い権限を要求し、「実用的に有用」なものから「デモ専用」のものまで幅があります。使用前にアダプターのソースを読んでください。
| アダプター | データの存在場所 | 要件 |
|---|---|---|
mempool | Ethereum のキューに入ったトランザクションプール。nonce ギャップを持つ EIP-1559 トランザクションはマイニングを妨げます。データは input フィールドに格納されます。geth フラグにより最大 50 年まで有効期間を設定可能。トランザクションあたり 128 KB。 | ローカル geth ノード (--txpool.lifetime 438000h)、web3>=6.0 |
latency | 127.x.0.x ループバック IP 上の Linux tc netem 遅延ルール。ビットは RTT としてエンコードされます。データはファイルではなくカーネルのトラフィックシェーピング状態です。容量は約 63 バイト。 | Linux、CAP_NET_ADMIN、iproute2 |
icmp-inflight | ループバックインターフェース上を流通する ICMP エコーペイロード。AF_PACKET リレースレッドが各パケットを飛行状態に保ちます。保存時の状態はありません。容量は約 87 KB。 | Linux、CAP_NET_RAW、scapy>=2.5 |
proc-mem | コンパニオンデーモンが memfd_create + SCM_RIGHTS を介して開いたままにする匿名 memfd。ファイルシステムパスも名前もソケットもありません。 | Linux、コンパニオンデーモン |
thermal | 隠れチャネルとしての CPU ダイ温度。CPU 負荷を介してビットをエンコードし、sysfs のサーマルゾーンセンサーから読み取ります。デモ専用 -- 熱は放散します。 | Linux、sysfs サーマルゾーン |
hdd-smart | シークパターンの条件付けによる HDD 適応キャリブレーションテーブル。SMART 属性の差分がビットをエンコードします。電源再投入後も永続します。未検証の仮説 -- まずキャラクタリゼーションスクリプトを実行してください。 | 回転プラッタ HDD、root、smartmontools |
sip-registrar | レジストラのロケーションデータベース内の SIP REGISTER 状態。データは Expires が失効するまでテレフォニールーティングバインディングとして存在します。生の UDP SIP、Digest MD5 認証。 | Kamailio、OpenSIPS、または任意の RFC 3261 レジストラ |
sip-presence | SIP プレゼンスサーバー上の PIDF+XML プレゼンスドキュメント。データは Expires が失効するまでサブスクリプション状態として存在します。 | SIP プレゼンスサーバー (RFC 3903 PUBLISH) |
turn | STUN/TURN リレーアロケーション状態。バックグラウンド Refresh がアロケーションを維持します。保存時の状態はありません。 | TURN サーバー (RFC 5766)、標準ライブラリのみ |
rtp-inflight | UDP ループバック通話レッグ上を流通する RTP ペイロード。SSRC をキーとするリレースレッド、保存時の状態はありません。 | 標準ライブラリのみ、任意のプラットフォーム |
統合テスト済みの追加 (Docker ベース、書き込み/読み取り/削除/一覧の完全なサイクルを検証済み):
| アダプター | 備考 |
|---|---|
scylladb-row | 完全な書き直し。cassandra-driver を介したネイティブ CQL を使用するようになりました。以前の REST ベースの実装は削除されました -- ScyllaDB は REST API を公開していません。 |
redis-acl、redis-json、redis-lua、redis-timeseries、redis-module | 5 つの新しい Redis ストレージバリアント。既存の redis、redis-stream、redis-pubsub、redis-bitmap アダプターと並んで配置されます。 |
nats-kv、nats-kv-ttl、nats-object-store | 既存の JetStream アダプターに加えて 3 つの NATS ストレージモード。 |
cockroachdb-row | PostgreSQL ワイヤ互換の分散 SQL。標準の asyncpg ドライバー。 |
influxdb、influxdb-field | ライン プロトコルによる時系列。influxdb-field バリアントは測定フィールドごとの分散用。 |
victoria-metrics、victoria-metrics-metric、victoria-metrics-series、victoria-metrics-tag | push、メトリック名、シリーズラベル、タグの各ストレージサーフェスをカバーする 4 つの VictoriaMetrics バリアント。 |
クラウドおよび SaaS API アダプター (それぞれ該当するサービスの認証情報が必要です):