
Кроссплатформенный парсер для Apple UnifiedLogs!
Простая и высокопроизводительная библиотека на Rust, которая помогает разбирать файлы Unified Log от Apple.
Unified Logs были представлены в macOS 10.12 (Sierra, 2016) в рамках единой системы логирования Apple для macOS, iOS, watchOS и tvOS. Эта библиотека умеет разбирать бинарные файлы tracev3 и выдавать структурированные записи журнала.
Каждая запись содержит: отформатированное сообщение (а также исходное сообщение и исходные элементы журнала), временную метку (Intel и ARM), тип события и тип журнала, пути к процессу и библиотеке с их UUID, подсистему, категорию, PID, идентификатор потока, EUID, идентификатор активности (и родительский), UUID загрузки и часовой пояс.
Примеры бинарных файлов находятся в examples/:
unifiedlog_iterator — разбирает logarchive (или журналы в работающей системе macOS)
в файл JSONL или CSV с поддержкой закладок/возобновления. Выходной файл будет
довольно большим.cargo run --release --manifest-path examples/Cargo.toml -p unifiedlog_iterator -- --mode log-archive --input system_logs.logarchive
См. RUNNING.md для получения дополнительной информации об использовании, о том, как создать logarchive, и об ожидаемых предупреждениях.
Основной тип — LogEntry<'a, 'b> — запись журнала с нулевым копированием, которая напрямую заимствует данные из буферов разобранного файла. Сообщения форматируются лениво по требованию через .message(), что позволяет избежать выделения памяти в куче до тех пор, пока это явно не потребуется. Файлы строк UUIDText и общего кэша (DSC) читаются лениво по мере обращения к ним записей журнала, что поддерживает объём памяти пропорциональным тому, что журналы фактически используют; см. cache::StringStorage::preload для режима предварительной загрузки. Для долго работающих процессов logarchive::VisitOptions::memory_budget ограничивает объём загружаемых строковых данных путём их освобождения между файлами tracev3 (по умолчанию отключено). См. ARCHITECTURE.md для описания полного конвейера.
[dependencies]
macos-unifiedlogs = "0.8"
use macos_unifiedlogs::logarchive::visit_logarchive;
use std::path::Path;
visit_logarchive(Path::new("system_logs.logarchive"), |entry| {
let timestamp = entry.timestamp().to_rfc3339();
let process = entry.process.unwrap_or("");
let message = entry.message();
println!("{timestamp} [{process}] {message}");
}).unwrap();
use macos_unifiedlogs::logarchive::visit_live_system;
visit_live_system(|entry| {
let timestamp = entry.timestamp().to_rfc3339();
let process = entry.process.unwrap_or("");
let message = entry.message();
println!("{timestamp} [{process}] {message}");
}).unwrap();
Для смонтированных образов или нестандартных корневых каталогов используйте filesystem::LiveSystemProvider::with_roots
с logarchive::visit_provider.
use macos_unifiedlogs::logarchive::visit_logarchive_tracev3_file;
use std::path::Path;
visit_logarchive_tracev3_file(
Path::new("system_logs.logarchive"),
"Persist/0000000000000004.tracev3",
|entry| {
let message = entry.message();
println!("{:?} {:?} {message}", entry.event_type, entry.log_type);
},
)
.unwrap();
Реализуйте traits::FileProvider, чтобы передавать данные парсеру из любого места — смонтированного
образа, контейнера с доказательствами или обычной памяти. filesystem::InMemoryProvider
— это готовая реализация в памяти:
use macos_unifiedlogs::filesystem::InMemoryProvider;
use macos_unifiedlogs::logarchive::visit_provider;
let mut provider = InMemoryProvider::default();
provider.tracev3.push(("mem://persist-1.tracev3".into(), tracev3_bytes));
provider.timesync.push(("mem://boot.timesync".into(), timesync_bytes));
provider.uuidtext.insert(some_uuid, uuidtext_bytes);
provider.dsc.insert(dsc_uuid, dsc_bytes);
visit_provider(&provider, |entry| {
println!("{}", entry.message());
})
.unwrap();
Данные UUIDText/DSC запрашиваются лениво по UUID по мере обращения к ним записей. Используйте
logarchive::visit_provider_preloaded, чтобы вместо этого загрузить всё заранее
(максимальная пропускная способность при максимальном потреблении памяти).
Нет поиска кодов ошибок в стиле printf (%m). Библиотека выводит необработанный номер ошибки, а не удобочитаемую строку, которую предоставляет команда log в macOS.
Неподдерживаемые пользовательские объекты журнала кодируются в base64, а не декодируются.