mkorman90/regipyRegipy — это кроссплатформенная библиотека Python для разбора офлайн-кустов реестра.
# regipy
[](https://securityscorecards.dev/viewer/?uri=github.com/mkorman90/regipy)
> **⚠️ Критические изменения в v6.0.0**
>
> Версия 6.0.0 включает значительные изменения по модернизации:
>
> - **Требуется Python 3.9+** — прекращена поддержка Python 3.6, 3.7 и 3.8
> - **Библиотека `attrs` удалена** — классы данных теперь используют встроенный модуль Python `dataclasses`
> - Если ваш код импортирует внутренние классы (`Cell`, `VKRecord`, `Value`, `Subkey`) и использует функции `attrs`, такие как `attr.asdict()`, переключитесь на `dataclasses.asdict()`
>
> Полные сведения см. в [CHANGELOG](https://github.com/mkorman90/regipy/blob/master/CHANGELOG.md).
Regipy — это библиотека Python для разбора офлайн-кустов реестра (файлов кустов с заголовком REGF). regipy обладает множеством возможностей:
- Использование в качестве библиотеки:
- Рекурсивный обход куста реестра от корня или заданного пути с получением всех подразделов и значений
- Чтение конкретных подразделов и значений
- Применение журналов транзакций к кусту реестра
- Инструменты командной строки
- Выгрузка всего куста реестра в json
- Применение журналов транзакций к кусту реестра
- Сравнение кустов реестра
- Выполнение плагинов из надёжной системы плагинов (например: amcache, shimcache, извлечение имени компьютера...)
**Требуется Python 3.9 или выше.**
## Установка
Последнюю версию Regipy можно установить из pypi:
```bash
pip install regipy[full]
```
ПРИМЕЧАНИЕ: ``regipy[full]`` устанавливает зависимости, требующие инструментов компиляции, и может занять некоторое время.
Можно установить версию с ослабленными зависимостями, опустив ``[full]``.
Также можно установить из исходного кода, клонировав репозиторий и выполнив:
```bash
pip install --editable .[full]
```
### Ускоренный на Rust бэкенд (альфа)
Опциональная реализация основного парсера REGF на Rust доступна как
бэкенд, включаемый по желанию, опубликованный отдельно на PyPI как
[`regipy-rs`](https://pypi.org/project/regipy-rs/):
```bash
pip install regipy[rust]
```
```python
from regipy.registry_rs import RegistryHive # вместо regipy.registry
reg = RegistryHive("/tmp/NTUSER.dat")
# Тот же API: get_key, iter_values, recurse_subkeys, plugins — всё
# работает без изменений, включая все плагины regipy.
```
Это замена «drop-in», проверенная 1:1 против чисто-Python парсера на
всём корпусе тестовых кустов — каждый путь ключа, временная метка, значение и вывод
плагина, заверенные совпадающими SHA-256 дайджестами обхода (см.
`regipy_tests/comparison_test.py` и раздел *Forensic parity evidence*
в [regipy-rs/BENCHMARKS.md](https://github.com/mkorman90/regipy/blob/master/regipy-rs/BENCHMARKS.md)).
Полный обход со значениями (`recurse_subkeys`), лучший из 3 запусков:
| Куст | Ключей | Python | Rust | Ускорение |
| ------ | -----: | -------: | -----: | --------: |
| NTUSER.DAT | 1,812 | 173 ms | 5 ms | **38x** |
| UsrClass.dat | 6,205 | 948 ms | 17 ms | **55x** |
| amcache.hve | 2,105 | 837 ms | 12 ms | **67x** |
| SYSTEM | 30,756 | 23.1 s | 91 ms | **253x** |
| SYSTEM (Win10 1709) | 43,211 | 118.7 s | 111 ms | **1,068x** |
| SOFTWARE | 117,488 | 745.6 s | 292 ms | **2,550x** |
`cProfile` показывает почему: в Python-бэкенде время обхода определяется
разбором структур `construct` для каждой записи и декодированием значений; с Rust-
бэкендом парсер полностью исчезает из профиля, и единственные
оставшиеся затраты Python — это создание возвращаемых датаклассов `Subkey`.
Полные профили, дайджесты по каждому кусту и дисклеймер, документирующий несколько
намеренных расхождений (типы исключений на повреждённых кустах, поведение
защиты от циклов), находятся в [regipy-rs/BENCHMARKS.md](https://github.com/mkorman90/regipy/blob/master/regipy-rs/BENCHMARKS.md);
`python regipy-rs/benchmark.py` пересоздаёт весь отчёт.
Чисто-Python парсер остаётся по умолчанию и не затрагивается, когда Rust-
бэкенд не установлен.
## CLI
#### Разбор заголовка
```bash
regipy-parse-header ~/Documents/TestEvidence/Registry/SYSTEM
```
Пример вывода:
```
╒════════════════════════╤══════════╕
│ signature │ b'regf' │
├────────────────────────┼──────────┤
│ primary_sequence_num │ 11639 │
├────────────────────────┼──────────┤
│ secondary_sequence_num │ 11638 │
├────────────────────────┼──────────┤
│ last_modification_time │ 0 │
├────────────────────────┼──────────┤
│ major_version │ 1 │
├────────────────────────┼──────────┤
│ minor_version │ 5 │
├────────────────────────┼──────────┤
│ file_type │ 0 │
├────────────────────────┼──────────┤
│ file_format │ 1 │
├────────────────────────┼──────────┤
│ root_key_offset │ 32 │
├────────────────────────┼──────────┤
│ hive_bins_data_size │ 10534912 │
├────────────────────────┼──────────┤
│ clustering_factor │ 1 │
├────────────────────────┼──────────┤
│ file_name │ SYSTEM │
├────────────────────────┼──────────┤
│ checksum │ 0 │
╘════════════════════════╧══════════╛
[2019-02-09 13:46:12.111654] WARNING: regipy.cli: Hive is not clean! You should apply transaction logs
```
- При разборе заголовка куста также выполняются проверка контрольной суммы и проверки транзакций
#### Выгрузка всего куста на диск (это может занять некоторое время)
```bash
regipy-dump ~/Documents/TestEvidence/Registry/NTUSER-CCLEANER.DAT -o /tmp/output.json
```
Утилита regipy-dump также может выводить временную шкалу вместо JSON, добавив флаг `-t`
#### Запуск соответствующих плагинов на кусте
```bash
regipy-plugins-run ~/Documents/TestEvidence/Registry/SYSTEM -o /tmp/plugins_output.json
```
Тип куста будет определён автоматически, и будут выполнены соответствующие плагины.
[**Дополнительную информацию см. в разделе о плагинах**](https://github.com/mkorman90/regipy/blob/master/docs/PLUGINS.md)
#### Сравнение кустов реестра
Сравнение кустов реестра одного типа и вывод в CSV (если `-o` не указан, вывод будет напечатан на экран)
```bash
regipy-diff NTUSER.dat NTUSER_modified.dat -o /tmp/diff.csv
```
Пример вывода:
```
[2019-02-11 19:49:18.824245] INFO: regipy.cli: Comparing NTUSER.DAT vs NTUSER_modified.DAT
╒══════════════╤══════════════╤════════════════════════════════════════════════════════════════════════════════╤════════════════════════════════════════════════╕
│ difference │ first_hive │ second_hive │ description │
╞══════════════╪══════════════╪════════════════════════════════════════════════════════════════════════════════╪════════════════════════════════════════════════╡
│ new_subkey │ │ 2019-02-11T19:46:31.832134+00:00 │ \Software\Microsoft\legitimate_subkey │
├──────────────┼──────────────┼────────────────────────────────────────────────────────────────────────────────┼────────────────────────────────────────────────┤
│ new_value │ │ not_a_malware: c:\temp\legitimate_binary.exe @ 2019-02-11 19:45:25.516346+00:00 │ \Software\Microsoft\Windows\CurrentVersion\Run │
╘══════════════╧══════════════╧════════════════════════════════════════════════════════════════════════════════╧════════════════════════════════════════════════╛
[2019-02-11 19:49:18.825328] INFO: regipy.cli: Detected 2 differences
```
## Восстановление куста реестра с использованием журналов транзакций
```bash
regipy-process-transaction-logs NTUSER.DAT -p ntuser.dat.log1 -s ntuser.dat.log2 -o recovered_NTUSER.dat
```
После восстановления сравните кусты с помощью registry-diff, чтобы увидеть, что изменилось
## Использование в качестве библиотеки
#### Инициализация объекта куста реестра
```python
from regipy.registry import RegistryHive
reg = RegistryHive("/Users/martinkorman/Documents/TestEvidence/Registry/Vibranium-NTUSER.DAT")
```
#### Рекурсивный обход всего куста, начиная с корневого ключа
```python
for entry in reg.recurse_subkeys(as_json=True):
print(entry)
```
#### Обход ключа и получение всех подразделов и времени их изменения
```python
for sk in reg.get_key('Software').iter_subkeys():
print(sk.name, convert_wintime(sk.header.last_modified).isoformat())
Adobe 2019-02-03T22:05:32.525965
AppDataLow 2019-02-03T22:05:32.526047
McAfee 2019-02-03T22:05:32.526140
Microsoft 2019-02-03T22:05:32.526282
Netscape 2019-02-03T22:05:32.526352
ODBC 2019-02-03T22:05:32.526521
Policies 2019-02-03T22:05:32.526592
```
#### Получение значений ключа
```python
reg.get_key("Software\Microsoft\Internet Explorer\BrowserEmulation").get_values(as_json=True)
[
{"name": "CVListTTL", "value": 0, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "UnattendLoaded", "value": 0, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "TLDUpdates", "value": 0, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "CVListXMLVersionLow", "value": 2097211, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "CVListXMLVersionHigh", "value": None, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "CVListLastUpdateTime", "value": None, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "IECompatVersionHigh", "value": None, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "IECompatVersionLow", "value": 2097211, "value_type": "REG_DWORD", "is_corrupted": False},
{"name": "StaleCompatCache", "value": 0, "value_type": "REG_DWORD", "is_corrupted": False},
]
```
#### Использование в качестве плагина
```python
from regipy.plugins.ntuser.ntuser_persistence import NTUserPersistencePlugin
NTUserPersistencePlugin(reg, as_json=True).run()
{
"Software\\Microsoft\\Windows\\CurrentVersion\\Run": {
"timestamp": "2019-02-03T22:10:52.655462",
"values": [
{
"name": "Sidebar",
"value": "%ProgramFiles%\\Windows Sidebar\\Sidebar.exe /autoRun",
"value_type": "REG_EXPAND_SZ",
"is_corrupted": False,
}
],
}
}
```
#### Запуск всех соответствующих плагинов для конкретного куста
```python
from regipy.plugins.utils import run_relevant_plugins
reg = RegistryHive("/Users/martinkorman/Documents/TestEvidence/Registry/SYSTEM")
run_relevant_plugins(reg, as_json=True)
{
"routes": {},
"computer_name": [
{
"control_set": "ControlSet001\\Control\\ComputerName\\ComputerName",
"computer_name": "DESKTOP-5EG84UG",
"timestamp": "2019-02-03T22:19:28.853219",
}
],
}
```
## Случаи валидации
[Отчёт о случаях валидации](https://github.com/mkorman90/regipy/blob/master/regipy_tests/validation/plugin_validation.md)
Все новые плагины должны иметь один или несколько базовых случаев валидации (которые могут быть расширены в будущем), например:
```python
from regipy.plugins.system.bam import BAMPlugin
from regipy_tests.validation.validation import ValidationCase
class NTUserUserAssistValidationCase(ValidationCase):
# define your plugin class
plugin = BAMPlugin
# define the test file name, which should be present in `regipy_tests/data`
test_hive_file_name = "SYSTEM_WIN_10_1709.xz"
# Use `expected_entries` to test for presence of a few samples from the plugin results
expected_entries = [
{
"sequence_number": 9,
"version": 1,
"sid": "S-1-5-90-0-1",
"executable": "\\Device\\HarddiskVolume2\\Windows\\System32\\dwm.exe",
"timestamp": "2020-04-19T09:09:35.731816+00:00",
"key_path": "\\ControlSet001\\Services\\bam\\state\\UserSettings\\S-1-5-90-0-1",
}
]
# OR use `exact_expected_result` to test for an exact result:
exact_expected_result = [
{
"sequence_number": 9,
"version": 1,
"sid": "S-1-5-90-0-1",
"executable": "\\Device\\HarddiskVolume2\\Windows\\System32\\dwm.exe",
"timestamp": "2020-04-19T09:09:35.731816+00:00",
"key_path": "\\ControlSet001\\Services\\bam\\state\\UserSettings\\S-1-5-90-0-1",
},
{
"sequence_number": 8,
"version": 1,
"sid": "S-1-5-90-0-1",
"executable": "\\Device\\HarddiskVolume2\\Windows\\System32\\cmd.exe",
"timestamp": "2020-04-19T09:09:34.544224+00:00",
"key_path": "\\ControlSet001\\Services\\bam\\state\\UserSettings\\S-1-5-90-0-1",
},
]
expected_entries_count = 2
```
## Разработка
### Настройка для разработки
```bash
# Clone the repository
git clone https://github.com/mkorman90/regipy.git
cd regipy
# Install in development mode with all dependencies
pip install -e ".[full,dev]"
# Install pre-commit hooks
pre-commit install
```
### Запуск тестов
```bash
# Run all tests
pytest
# Run specific test files
pytest regipy_tests/tests.py
pytest regipy_tests/cli_tests.py
# Run plugin validation
PYTHONPATH=. python regipy_tests/validation/plugin_validation.py
```
### Качество кода
```bash
# Run linter
ruff check .
# Run formatter
ruff format .
# Run type checker
mypy regipy/
```
### Локальное тестирование GitHub Actions
Чтобы протестировать изменения в CI-воркфлоу локально перед отправкой, используйте [act](https://github.com/nektos/act):
```bash
# Install act (Fedora)
sudo dnf install act-cli
# Install act (macOS)
brew install act
# Install act (other)
# See https://nektosact.com/installation/index.html
```
Убедитесь, что Docker запущен, затем:
```bash
# List available jobs
act -l
# Run the lint job
act -j lint
# Run all jobs for a push event
act push
# Run the test job with a specific Python version
act -j test
# Test the build job from publish workflow (simulates a release)
act release -j build --eventpath /dev/stdin <<< '{"action": "published"}'
```
Примечание: Некоторые задания могут требовать секретов. Вы можете предоставить их с помощью:
```bash
act -j publish --secret PYPI_API_TOKEN=your_token
```
## Лицензия
MIT