
Proof-of-Concept und Patch für CVE-2026-57845: Pickle-Deserialisierungs-RCE im pandas-Builder von Hugging Face datasets, mit Reproduktionsskript und Hinweisen zur Behebung.
<= 5.1.0 Pandas Pickle RCESchweregrad: Hoch, CVSS 3.1 8.8
Vektor: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
Betroffen: alle Hugging Face datasets-Versionen <= 5.1.0
Komponente: datasets.packaged_modules.pandas.pandas
CWE: CWE-502 (Deserialisierung nicht vertrauenswürdiger Daten)
Entdeckt und gemeldet von: Sai Teja Erukude
Hugging Face datasets-Versionen bis einschließlich 5.1.0 ermöglichen die
Ausführung beliebigen Python-Codes beim Laden von angreifergesteuerten
Pickle-Dateien über den veralteten, aber weiterhin registrierten
pandas-Packaged-Builder.
Der Builder löst vom Aufrufer übergebene data_files auf, öffnet jede Datei
als Bytes und übergibt das Dateiobjekt direkt an pandas.read_pickle(), bevor
das Ergebnis in eine Arrow-Tabelle umgewandelt wird:
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Die Python-Pickle-Deserialisierung kann vom Angreifer ausgewählten Code ausführen. Wenn ein Opfer einen bösartigen, auf Pickle basierenden Datensatz mit
datasets.load_dataset("pandas", data_files=...) lädt, wird die Nutzlast mit
den Rechten des Opferprozesses ausgeführt, bevor die Arrow-Konvertierung oder die Feature-Validierung erfolgt.
Ein Angreifer, der ein Opfer dazu bringen kann, ein vom Angreifer kontrolliertes Pickle über
den pandas-Builder zu laden, kann beliebigen Python-Code im Opferprozess ausführen.
Dies kann Datenanalyse-, Machine-Learning- und Automatisierungsworkflows betreffen, die
Datensätze aus nicht vertrauenswürdigen Projekten, Repositories, Downloads oder gemeinsam genutzten Dateien
laden. Der Angreifer benötigt keine Berechtigungen in der Umgebung des Opfers, aber das Opfer
muss den bösartigen Datensatz laden, was der Benutzerinteraktionsanforderung des Berichts (UI:R) entspricht.
Je nach lokaler Umgebung kann dies Folgendes ermöglichen:
Der anfällige Pfad ist der paketierte pandas-Builder:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
Das PoC erstellt ein Pickle-Objekt, dessen __reduce__()-Methode ein Callable angibt, das eine harmlose lokale Marker-Datei schreibt und ein gültiges pandas.DataFrame zurückgibt. Während der Deserialisierung wird dieses Callable ausgeführt, bevor der Builder das zurückgegebene DataFrame in eine Arrow-Tabelle umwandelt. Das Laden des Datasets wird dann normal abgeschlossen und gibt eine Zeile zurück.
Der Runner ruft die echte datasets.load_dataset()-API aus dem installierten Paket auf. Ein frischer lokaler Cache und das Entfernen des vorherigen Markers stellen sicher, dass das gespeicherte Ergebnis die Ausführung während des Ladens des Datasets belegt.
Das Deprecaten des Builders oder das Validieren des zurückgegebenen DataFrame verhindert die Ausführung während des Unpicklings nicht. Die pandas-Dokumentation warnt ebenfalls davor, Pickle-Daten aus nicht vertrauenswürdigen Quellen zu laden.
run_poc.py generiert attacker-controlled.pkl, lädt es über den pandas-Builder und zeichnet Ausführungsnachweise auf.
Nur in einer lokalen Testumgebung ausführen. Um die in den gespeicherten Nachweisen gezeigte Version unter Windows zu reproduzieren:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
Die enthaltene requirements.txt gibt derzeit
datasets<=5.0.1 an. Sie kann mit
python -m pip install -r requirements.txt installiert werden, um diesen früheren Bereich zu testen, aber sie
wählt nicht die 5.1.0-Installation aus, die in den gespeicherten Nachweisen verwendet wurde. Die explizite
Pinnung oben reproduziert die datasets-Version dieser Installation.
Erwarteter Nachweis bei der demonstrierten verwundbaren Version:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
Der wichtige Nachweis ist, dass der Marker vor load_dataset() fehlt,
während des Ladens erscheint und die erwartete Zeichenkette enthält, während das Laden des Datensatzes
erfolgreich abgeschlossen wird und die erwartete Zeile zurückgibt.
Die Ausführungswirkung der Payload ist ein lokales Schreiben einer Marker-Datei:
datasets_pandas_pickle_rce_triggered
Der Runner schreibt außerdem die generierten Pickle-, Cache- und Evidenzdateien. Jeder Lauf
ersetzt attacker-controlled.pkl, marker.txt, cache/ und evidence/ im
PoC-Verzeichnis; bewahren Sie vorhandene Evidenz auf, bevor Sie ihn erneut ausführen.
Gespeicherte Artefakte:
Der eng gefasste Fix ersetzt den gesamten Rumpf von Pandas._generate_tables() durch
einen bedingungslosen Fehler, bevor eine Datei geöffnet oder an
pandas.read_pickle() übergeben wird:
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
Der Fehler erläutert das Risiko der Pickle-Ausführung und verweist Aufrufer auf Parquet, Arrow, CSV, JSON oder Dataset.from_pandas() für ein vorhandenes DataFrame. Dies blockiert den gemeldeten Code-Ausführungspfad für jeden Dateinamen, einschließlich vertrauenswürdiger Pickles; es wird nicht versucht, festzustellen, welche Pickle-Dateien vertrauenswürdig sind.
Der Builder bleibt registriert und kann weiterhin über load_dataset_builder("pandas", ...) oder Pandas(...) konstruiert werden. Dateiauflösung und Downloads können erfolgen, bevor die Tabellengenerierung fehlschlägt. Beim Streaming tritt der Fehler auf, wenn das Dataset iteriert wird. Ein kompatibler vorbereiteter Arrow-Cache kann weiterhin wiederverwendet werden, ohne _generate_tables() aufzurufen oder die Eingabe zu entpickeln. Eine Änderung der Builder-Quelle ändert ihren Hash, sodass ältere Caches möglicherweise nicht mehr automatisch übereinstimmen. Dieser Patch lehnt den Builder-Namen in load.py nicht ab.
Laden Sie beispielsweise Parquet über seinen dedizierten Builder:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
Entdecken Sie die meistgenutzten Tools unserer Community.
Noch keine Beliebtheitsdaten.