
내결함성 데이터를 위한 프로토콜 자기분석 청크 어댑터
Resilient Data를 위한 Protocol-Introspecting Chunk Adapter
독학으로 배운 사람, 관습에 얽매이지 않는 사람, 그리고 한때 자기 분야에만 머물라는 말을 들었던 모든 사람을 위해. 계속 만들고, 계속 탐구하세요.
이 릴리스는 서른다섯 해 동안 우주선 함장을 호기심, 품위, 그리고 불필요한 한계를 거부하는 태도에 대한 가장 설득력 있는 논거로 만들어 온 Sir Patrick Stewart(1940–2026)에게 바칩니다.
PICARD는 데이터를 암호화하고, 청크로 잘라내고, 그 청크들을 설정한 프로토콜 엔드포인트 어디에든 흩뿌립니다: DNS TXT 레코드, 소셜 미디어 API, MQTT 브로커, S3 버킷, Bluetooth 광고, 또는 이 모두를 동시에. 다시 가져오면 재조립됩니다. 멀티 어댑터 분산 방식에서는 어떤 단일 엔드포인트도 무언가를 재구성하기에 충분한 암호문을 보유하지 않습니다. 중앙 서버도 없습니다. 월별 스토리지 비용도 없습니다. 일반 파일시스템으로 마운트됩니다.
효율적이지 않습니다. 프로토콜에 구애받지 않습니다.
[!IMPORTANT] 연구 프로젝트. PICARD는 작동하는 컴퓨터 과학 실험이며, 프로덕션 스토리지 시스템이 아닙니다. 진행하기 전에 연구 및 법적 고지를 읽어 보세요.
10,064개의 어댑터 -- 505개에서 증가. 22,102개의 테스트. 이 릴리스는 어댑터 카탈로그를 약 스무 배로 늘리고, 그 아래의 모든 것에 대한 전면적인 보안 및 코어 강화 검토를 통합했습니다.
열다섯 차례의 새로운 어댑터 물결이 SaaS 플랫폼, DNS 제공업체, 클라우드 인프라, IoT 및 임베디드, 메시징, 블록체인 및 DeFi, 암호 및 인코딩 기반, 파일 형식 스테가노그래피, 미디어 플랫폼, 개발자 도구, 학술, 법률, 시민, 제약, 제조, AI 플랫폼, 보안 도구, 게임 플랫폼, 아날로그 및 물리적 채널, 그리고 수백 개의 틈새 프로토콜에 걸쳐 범위를 확장합니다. 아래의 티어 표는 대표적인 어댑터를 보여줍니다; 전체 목록은 picard adapters를 실행하고, 어댑터 가이드는 docs/adapters.md를 참조하세요.
Tier 3 클라우드 및 SaaS 어댑터는 더 이상 얇은 스텁이 아닙니다. 7,000개 이상이 이제 aiohttp를 통해 제공업체의 실제 API에 실제 HTTP 호출을 수행합니다. 이들은 자격 증명으로 제한됩니다: 계정을 제공하지 않으면 해당 라이브 테스트는 건너뛰며, 자격 증명이 없으면 어댑터는 이전과 동일하게 동작합니다.
picard wizard <url>은 OpenAPI 또는 Swagger 스펙(직접 파싱, LLM 불필요)에서, 또는 REST 문서 페이지나 RFC(OpenAI 호환 또는 Anthropic LLM 경유)에서 작동하는 어댑터를 생성합니다. 대시보드에서도 picard_wizard MCP 도구로, 그리고 adapter-from-spec 스킬로 사용할 수 있습니다._API_DOCS_URL, _API_VERSION, _LAST_VERIFIED, _AUTH_TYPE, 그리고 API 문서의 콘텐츠 해시 지문을 포함합니다. adapter_docs_checker.py는 라이브 문서를 가져오고, 내비게이션 및 푸터 편집이 해시를 뒤집지 않도록 구조적 노이즈를 제거하며, 실제 스펙 변경을 표시합니다; picard_adapter_docs_status MCP 도구와 update-adapter 스킬이 검증 물결을 이끕니다.전체 SAST 패스(Bufo-Hirsutus, Semgrep, Trivy)와 코어에 대한 수동 검토가 이 릴리스에 포함되었습니다:
style-src-attr 'none') 모두 불가합니다. 주입된 마크업은 스크립트를 실행할 수도, 페이지 스타일을 바꿀 수도 없습니다.reassemble()은 매니페스트만 신뢰하며, XML 파싱은 defusedxml을 사용하고, 어떤 서비스도 0.0.0.0에 바인딩하거나 비루프백 호스트에서 기본 시크릿을 제공하지 않습니다.rotate-key)과 reseal, 그리고 한 프로세스가 봉인한 데이터를 다음 프로세스가 읽을 수 있도록 인덱스에 저장되는 키링 솔트를 제공합니다.rm_mode = purge | tombstone, rm --keep-history, 그리고 trash, undelete, purge, prune.PICARD_PASSPHRASE, 그다음 시스템 키링, 그다음 프롬프트 순으로 패스프레이즈를 읽습니다. 봉인된 저장소는 무인으로 백그라운드 서비스를 시작하는 것을 거부하고 실행해야 할 명령을 알려줍니다.PICARD_MCP_READONLY=1을 제공합니다.mv는 단일 트랜잭션이 되어 이제 디렉터리의 자식들도 이동시키고, recover는 소유 프로세스가 아직 살아 있는 작업을 건너뜁니다.recover는 강제 종료된 put의 청크를 정리하며, 여기에는 상관 태그를 재계산해 찾아내는 봉인된 청크도 포함되고, RAID 풀 전반과 인덱스의 청크 로그에서 이를 수행합니다. picard gc는 어떤 파일도 참조하지 않는 청크에 대한 최후의 안전장치로, 기본적으로 보고만 하고 요청이 있을 때만 삭제합니다.505개 어댑터 -- 264개에서 증가. 4,159개 테스트. 이번 릴리스의 다섯 가지 추가 사항:
새로운 erasure RAID 레벨은 zfec를 감싸 구성 가능한 k-of-m 샤드 복구를 제공합니다. m개 샤드 중 임의의 k개가 원본 블록을 재구성하며, 나머지 m-k개는 패리티입니다. (m/k - 1)의 저장 오버헤드로 최대 m-k개의 동시 어댑터 장애를 견딥니다.
[[raid]]
level = "erasure"
erasure_k = 4
erasure_m = 6
adapters = ["s3", "dns", "redis", "dropbox", "onedrive", "matrix"]
선택적 종속성 설치: pip install 'picard-store[erasure]'
열 개의 새로운 어댑터는 데이터를 저장하도록 설계된 적이 없는 곳으로 저장 공간을 밀어 넣습니다: 커널 상태, 순환하는 패킷, 프로세스 메모리, 하드웨어 텔레메트리. 이들 중 어느 것도 전통적인 의미에서 저장 시 암호문을 남기지 않습니다.
[!WARNING] 플랫폼별로 다르고, 높은 권한을 요구하며, "실제로 유용한" 것부터 "시연용"에 이르기까지 다양합니다. 사용 전에 어댑터 소스를 읽어보십시오.
| 어댑터 | 데이터가 사는 곳 | 요구 사항 |
|---|---|---|
mempool | 이더리움 대기 트랜잭션 풀. nonce 갭이 있는 EIP-1559 tx는 채굴을 방지합니다. 데이터는 input 필드에 있습니다. geth 플래그를 통해 최대 50년까지 수명 구성 가능. tx당 128 KB. | 로컬 geth 노드 (--txpool.lifetime 438000h), web3>=6.0 |
latency | 127.x.0.x 루프백 IP의 Linux tc netem 지연 규칙. 비트는 RTT로 인코딩됩니다. 데이터는 파일이 아닌 커널 트래픽 셰이핑 상태입니다. ~63 바이트 용량. | Linux, CAP_NET_ADMIN, iproute2 |
icmp-inflight | 루프백 인터페이스에서 순환하는 ICMP 에코 페이로드. AF_PACKET 릴레이 스레드가 각 패킷을 계속 순환시킵니다. 저장 상태 없음. ~87 KB 용량. | Linux, CAP_NET_RAW, scapy>=2.5 |
proc-mem | memfd_create + SCM_RIGHTS를 통해 컴패니언 데몬이 열어 둔 익명 memfd. 파일 시스템 경로도, 이름도, 소켓도 없습니다. | Linux, 컴패니언 데몬 |
thermal | 은밀한 채널로서의 CPU 다이 온도. CPU 부하를 통해 비트를 인코딩하고 sysfs 열 영역 센서를 읽습니다. 시연용 -- 열은 발산합니다. | Linux, sysfs 열 영역 |
hdd-smart | 시크 패턴 컨디셔닝을 통한 HDD 적응형 캘리브레이션 테이블. SMART 속성 델타가 비트를 인코딩합니다. 전원 재순환 후에도 지속됩니다. 미검증 가설 -- 먼저 특성화 스크립트를 실행하십시오. | 회전식 플래터 HDD, root, smartmontools |
sip-registrar | 레지스트라 위치 데이터베이스의 SIP REGISTER 상태. 데이터는 Expires가 만료될 때까지 텔레포니 라우팅 바인딩으로 존재합니다. 원시 UDP SIP, Digest MD5 인증. | Kamailio, OpenSIPS 또는 모든 RFC 3261 레지스트라 |
sip-presence | SIP 프레즌스 서버의 PIDF+XML 프레즌스 문서. 데이터는 Expires가 만료될 때까지 구독 상태로 존재합니다. | SIP 프레즌스 서버 (RFC 3903 PUBLISH) |
turn | STUN/TURN 릴레이 할당 상태. 백그라운드 Refresh가 할당을 활성 상태로 유지합니다. 저장 상태 없음. | TURN 서버 (RFC 5766), 표준 라이브러리만 |
rtp-inflight | UDP 루프백 통화 레그에서 순환하는 RTP 페이로드. SSRC 키 기반 릴레이 스레드, 저장 상태 없음. | 표준 라이브러리만, 모든 플랫폼 |
통합 테스트된 추가 사항 (Docker 기반, 전체 쓰기/읽기/삭제/목록 주기 검증됨):
| 어댑터 | 비고 |
|---|---|
scylladb-row | 완전한 재작성. 이제 cassandra-driver를 통한 네이티브 CQL을 사용합니다. 이전 REST 기반 구현은 제거됨 -- ScyllaDB는 REST API를 노출하지 않습니다. |
redis-acl, redis-json, redis-lua, redis-timeseries, redis-module | 다섯 가지 새로운 Redis 저장 변형. 기존 redis, redis-stream, redis-pubsub, redis-bitmap 어댑터와 함께 위치합니다. |
nats-kv, nats-kv-ttl, nats-object-store | 기존 JetStream 어댑터 외에 세 가지 NATS 저장 모드. |
cockroachdb-row | PostgreSQL 와이어 호환 분산 SQL. 표준 asyncpg 드라이버. |
influxdb, influxdb-field | 라인 프로토콜을 사용하는 시계열. 측정 필드별 분산을 위한 influxdb-field 변형. |
victoria-metrics, victoria-metrics-metric, victoria-metrics-series, victoria-metrics-tag | 푸시, 메트릭 이름, 시리즈 레이블, 태그 저장 표면을 다루는 네 가지 VictoriaMetrics 변형. |
클라우드 및 SaaS API 어댑터 (각각 해당 서비스의 자격 증명 필요):