<= 5.1.0 Pandas Pickle 远程代码执行严重程度: 高,CVSS 3.1 8.8
向量: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
受影响: 所有 Hugging Face datasets 版本 <= 5.1.0
组件: datasets.packaged_modules.pandas.pandas
CWE: CWE-502(不可信数据反序列化)
发现并报告者: Sai Teja Erukude
Hugging Face datasets 版本至 5.1.0(含)在通过已弃用但仍注册的 pandas 打包构建器加载攻击者控制的 pickle 文件时,允许任意 Python 代码执行。
该构建器解析调用方提供的 data_files,将每个文件以字节形式打开,并在将结果转换为 Arrow 表之前,将文件对象直接传递给 pandas.read_pickle():
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Python pickle 反序列化可以执行攻击者选定的代码。当受害者使用
datasets.load_dataset("pandas", data_files=...) 加载恶意的 pickle 数据集时,
payload 会在 Arrow 转换或特征验证之前,以受害者进程的权限执行。
能够诱使受害者通过 pandas 构建器加载攻击者控制的 pickle 的攻击者,
可以在受害者进程中执行任意 Python 代码。
这可能影响从不受信任的项目、仓库、下载内容或共享文件加载数据集的数据分析、
机器学习和自动化工作流。
攻击者不需要在受害者环境中拥有权限,但受害者必须加载恶意数据集,
这与报告中的用户交互要求(UI:R)一致。
根据本地环境的不同,这可能允许:
存在漏洞的路径是 pandas 打包构建器:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
PoC 创建一个 pickle 对象,其 __reduce__() 方法指定了一个可调用对象,该对象会写入一个无害的本地标记文件,并返回一个有效的 pandas.DataFrame。在反序列化过程中,该可调用对象会在构建器将返回的 DataFrame 转换为 Arrow 表之前执行。随后数据集加载正常完成并返回一行数据。
运行器调用已安装包中真实的 datasets.load_dataset() API。全新的本地缓存以及移除先前的标记文件,确保保存的结果能够证明在数据集加载期间发生了执行。
弃用构建器或验证返回的 DataFrame 并不能阻止在 unpickling 期间执行。pandas 文档也 警告不要从不受信任的来源加载 pickle 数据。
run_poc.py 生成 attacker-controlled.pkl,通过 pandas 构建器加载它,并记录执行证据。
仅在本地测试环境中运行。要在 Windows 上复现保存证据中所示的版本:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
包含的 requirements.txt 目前指定了
datasets<=5.0.1。可以通过
python -m pip install -r requirements.txt 安装它来测试该较早的版本范围,但它
不会选择保存的证据中所使用的 5.1.0 安装版本。上面的显式
固定版本可复现该安装的 datasets 版本。
在演示的易受攻击版本上预期的证据:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
关键证据是:该标记在 load_dataset() 之前不存在,在加载过程中出现,并且包含预期的字符串,同时数据集加载成功完成并返回预期的行。
该载荷的执行效果是写入一个本地标记文件:
datasets_pandas_pickle_rce_triggered
运行器还会写入生成的 pickle、缓存和证据文件。每次运行都会替换 PoC 目录中的 attacker-controlled.pkl、marker.txt、cache/ 和 evidence/;在重新运行之前,请保留现有证据。
已保存的产物:
窄修复方案是在打开任何文件或将其传递给 pandas.read_pickle() 之前,用无条件错误替换 Pandas._generate_tables() 的整个函数体:
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
该错误说明了 pickle 执行风险,并引导调用方改用 Parquet、Arrow、CSV、JSON 或 Dataset.from_pandas() 来处理已有的 DataFrame。这会阻止所报告的针对每个文件名的代码执行路径,包括受信任的 pickle;它并不试图判断哪些 pickle 文件是可信的。
该构建器仍保持注册状态,仍可通过 load_dataset_builder("pandas", ...) 或 Pandas(...) 进行构造。文件解析和下载可能在表生成失败之前发生。在流式模式下,错误会在数据集被迭代时发生。兼容的已准备 Arrow 缓存仍可被复用,而无需调用 _generate_tables() 或对输入进行 unpickle。更改构建器源码会改变其哈希,因此较旧的缓存可能不再自动匹配。此补丁不会在 load.py 中拒绝该构建器名称。
例如,通过其专用构建器加载 Parquet:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
回归测试覆盖了全新加载、流式迭代、直接表生成、构建器构造、预构建 Arrow 缓存复用以及受支持的替换格式。它们验证了 pandas.read_pickle() 从未被调用,并且直接表生成不会打开文件。在反序列化后检查对象类型为时已晚。重命名文件、发出警告,或先反序列化再将不受信任的 pickle 转换为另一种格式,都无法解决执行风险。
有关窄范围补丁、迁移指南和验证命令,请参阅 fix.md。该补丁已应用于此检出副本的源代码;已安装的现有软件包必须单独打补丁或替换。本仓库在下方链接了相关的上游拉取请求;此处未记录已确认修复的版本。
由 Sai Teja Erukude 发现并报告。
披露过程通过 VulnCheck 协调。