
Концепция доказательства эксплуатации и патч для CVE-2026-57845: RCE через десериализацию pickle в построителе pandas библиотеки Hugging Face datasets, со скриптом воспроизведения и рекомендациями по устранению.
<= 5.1.0Уровень серьёзности: Высокий, CVSS 3.1 8.8
Вектор: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
Затронуто: все версии Hugging Face datasets <= 5.1.0
Компонент: datasets.packaged_modules.pandas.pandas
CWE: CWE-502 (Десериализация недоверенных данных)
Обнаружено и описано: Sai Teja Erukude
Версии Hugging Face datasets вплоть до 5.1.0 включительно допускают выполнение
произвольного кода Python при загрузке контролируемых злоумышленником pickle-файлов через
устаревший, но всё ещё зарегистрированный упакованный сборщик pandas.
Сборщик разрешает переданные вызывающей стороной data_files, открывает каждый файл как байты
и передаёт файловый объект напрямую в pandas.read_pickle() перед преобразованием
результата в таблицу Arrow:
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Десериализация Python pickle может привести к выполнению кода, выбранного атакующим. Когда жертва
загружает вредоносный набор данных на основе pickle с помощью
datasets.load_dataset("pandas", data_files=...), полезная нагрузка выполняется с
привилегиями процесса жертвы до преобразования в Arrow или проверки признаков.
Атакующий, способный заставить жертву загрузить контролируемый им pickle через
сборщик pandas, может выполнить произвольный код Python в процессе жертвы.
Это может затронуть рабочие процессы анализа данных, машинного обучения и автоматизации, которые
загружают наборы данных из недоверенных проектов, репозиториев, загрузок или общих файлов.
Атакующему не нужны привилегии в среде жертвы, но жертва
должна загрузить вредоносный набор данных, что соответствует требованию
взаимодействия с пользователем из отчёта (UI:R).
В зависимости от локальной среды это может позволить:
Уязвимый путь — это упакованный сборщик pandas:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
PoC создаёт pickle-объект, метод __reduce__() которого указывает на вызываемый объект, записывающий безвредный локальный файл-маркер и возвращающий корректный pandas.DataFrame. Во время десериализации этот вызываемый объект выполняется до того, как построитель преобразует возвращённый DataFrame в таблицу Arrow. Загрузка набора данных затем завершается нормально и возвращает одну строку.
Запускающий скрипт вызывает реальный API datasets.load_dataset() из установленного пакета. Свежий локальный кэш и удаление предыдущего маркера гарантируют, что сохранённый результат демонстрирует выполнение во время загрузки набора данных.
Признание построителя устаревшим или проверка возвращённого DataFrame не предотвращают выполнение во время распаковки pickle. Документация pandas также предупреждает о загрузке pickle-данных из недоверенных источников.
run_poc.py генерирует attacker-controlled.pkl, загружает его через построитель pandas и фиксирует доказательства выполнения.
Запускайте только в локальной тестовой среде. Чтобы воспроизвести версию, показанную в сохранённых доказательствах, на Windows:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
Включённый файл requirements.txt в настоящее время указывает
datasets<=5.0.1. Его можно установить с помощью
python -m pip install -r requirements.txt, чтобы проверить этот более ранний диапазон, но он
не выбирает установку 5.1.0, использованную в сохранённых доказательствах. Явное
закрепление версии выше воспроизводит версию datasets из той установки.
Ожидаемые доказательства на продемонстрированной уязвимой версии:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
Важное доказательство состоит в том, что маркер отсутствует до load_dataset(), появляется во время загрузки и содержит ожидаемую строку, при этом загрузка набора данных успешно завершается и возвращает ожидаемую строку.
Эффект выполнения полезной нагрузки — запись локального файла-маркера:
datasets_pandas_pickle_rce_triggered
Скрипт также записывает сгенерированные файлы pickle, кэша и доказательств. Каждый запуск
заменяет attacker-controlled.pkl, marker.txt, cache/ и evidence/ в
каталоге PoC; сохраните существующие доказательства перед повторным запуском.
Сохранённые артефакты:
Точечное исправление заменяет всё тело Pandas._generate_tables()
на безусловную ошибку до того, как какой-либо файл будет открыт или передан в
pandas.read_pickle():
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
Ошибка объясняет риск выполнения pickle и направляет вызывающих к Parquet, Arrow, CSV, JSON или Dataset.from_pandas() для существующего DataFrame. Это блокирует описанный путь выполнения кода для любого имени файла, включая доверенные pickle; при этом не предпринимается попытка определить, какие файлы pickle заслуживают доверия.
Builder остаётся зарегистрированным, и его по-прежнему можно создать через load_dataset_builder("pandas", ...) или Pandas(...). Разрешение файлов и загрузки могут произойти до того, как генерация таблицы завершится ошибкой. При потоковой передаче ошибка возникает при итерации по набору данных. Совместимый подготовленный кэш Arrow по-прежнему можно использовать повторно без вызова _generate_tables() или распаковки входных данных. Изменение исходного кода builder изменяет его хеш, поэтому старые кэши могут перестать совпадать автоматически. Этот патч не отклоняет имя builder в load.py.
Например, загрузите Parquet через его специализированный builder:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
Регрессионные тесты охватывают свежую загрузку, потоковую итерацию, прямое
создание таблиц, построение через builder, повторное использование подготовленного кэша Arrow и поддерживаемые
форматы замены. Они проверяют, что pandas.read_pickle() никогда не вызывается
и что прямое создание таблиц не открывает файлы. Проверка типа объекта после
распаковки pickle выполняется слишком поздно. Переименование файла, вывод предупреждения или преобразование
недоверенного pickle в другой формат путём его предварительной распаковки не устраняет
риск выполнения кода.