sixcy — формат контейнеров .6cy

Реализация формата архивов .6cy на Rust с поддержкой:

• Самодокументируемые блоки: каждый блок содержит собственные магию, версию, UUID кодека, размеры и контрольные суммы
• Обязательная проверка целостности: CRC32 заголовков + хеши BLAKE3 содержимого каждого блока
• Несколько кодеков: Zstd (по умолчанию), LZ4, Brotli, LZMA и без сжатия
• Шифрование AES-256-GCM с выводом ключа Argon2id
• Разбиение на блоки по содержимому (Gear64 CDC) для улучшенной дедупликации
• Коррекция ошибок Рида–Соломона для восстановления отсутствующих/повреждённых блоков
• Доказательства Меркла для эффективной проверки целостности
• Схема разделения секрета Шамира для фрагментации ключа
• Базовые утилиты стеганографии для сокрытия данных в младших битах изображений

Быстрый старт

# Pack files into an archive
6cy pack -o archive.6cy -i file1.txt file2.txt

# List archive contents
6cy list archive.6cy

# Extract files
6cy unpack archive.6cy -C ./output_dir

# View archive info
6cy info archive.6cy

# Create encrypted archive
6cy pack -o secure.6cy -i sensitive.dat --password "mypassword"

# Use FEC for error recovery (10 data shards, 4 parity shards)
6cy pack -o resilient.6cy -i data/ --fec 10/4

# Use content-defined chunking for deduplication
6cy pack -o dedup.6cy -i data/ --cdc --merkle

# Recover from damaged archive
6cy recover damaged.6cy -o recovered.6cy

# Merge archives
6cy merge archive1.6cy archive2.6cy -o merged.6cy

Команды CLI

Команда	Описание
pack	Создать архив из файлов/каталогов
unpack	Извлечь файлы из архива
list	Вывести содержимое архива
info	Показать метаданные архива
scan	Сканировать блоки без индекса
recover	Извлечь восстанавливаемые данные из повреждённого архива
optimize	Пересжать на другом уровне
merge	Объединить несколько архивов
bench	Тестировать производительность RLE-префильтра
vanta	Подкоманды стеганографии

Использование библиотеки

use sixcy::Archive;

let opts = sixcy::PackOptions {
    default_codec: sixcy::CodecId::Zstd,
    level: 3,
    use_cdc: true,
    build_merkle: true,
    ..Default::default()
};

let mut ar = Archive::create("data.6cy", opts)?;
ar.add_file("readme.txt", b"Hello, world!")?;
ar.finalize()?;

Архитектура

src/
├── archive.rs      # Высокоуровневый API архива
├── block.rs        # Формат блока (заголовки 84 байта)
├── superblock.rs   # Заголовок архива (512 байт)
├── codec/          # Реестр кодеков сжатия
├── crypto/         # AES-256-GCM + Argon2id
├── cdc.rs          # Разбиение на блоки по содержимому (Gear64)
├── fec.rs          # Помехоустойчивое кодирование Рида–Соломона
├── merkle.rs       # Бинарное дерево Меркла + доказательства
├── sharding.rs     # Схема разделения секрета Шамира
├── stego.rs        # Стеганография в младших битах (LSB)
├── chaos.rs        # Утилиты перемешивания блоков
├── io_stream/      # Чтение/запись архива
├── index/          # Управление индексом файлов
├── recovery/       # Сканер восстановления без индекса
├── perf.rs        # Утилиты производительности
└── plugin.rs      # C-совместимый ABI для плагинов кодеков

Версия формата

Текущая: v2.1.0 (format_version = 2)

Формат .6cy описан в spec.md.

Лицензия

• Код: Apache-2.0
• Спецификация: CC BY 4.0