
CVE-2026-57845 के लिए प्रूफ-ऑफ-कॉन्सेप्ट और पैच: Hugging Face datasets के pandas builder में pickle डीसेरियलाइज़ेशन RCE, पुनरुत्पादन स्क्रिप्ट और उपचार मार्गदर्शन के साथ।
<= 5.1.0 Pandas Pickle RCEगंभीरता: उच्च, CVSS 3.1 8.8
वेक्टर: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
प्रभावित: Hugging Face datasets के सभी संस्करण <= 5.1.0
घटक: datasets.packaged_modules.pandas.pandas
CWE: CWE-502 (अविश्वसनीय डेटा का डीसीरियलाइज़ेशन)
खोजकर्ता और रिपोर्टर: Sai Teja Erukude
Hugging Face datasets के 5.1.0 सहित और उससे पहले के संस्करण, पुराने (deprecated) लेकिन अभी भी पंजीकृत pandas पैकेज्ड बिल्डर के माध्यम से हमलावर-नियंत्रित pickle फ़ाइलें लोड करते समय मनमानी Python कोड निष्पादन की अनुमति देते हैं।
यह बिल्डर कॉलर द्वारा प्रदान किए गए data_files को हल करता है, प्रत्येक फ़ाइल को बाइट्स के रूप में खोलता है, और परिणाम को Arrow तालिका में परिवर्तित करने से पहले फ़ाइल ऑब्जेक्ट को सीधे pandas.read_pickle() को पास करता है:
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Python pickle deserialization हमलावर द्वारा चुने गए कोड को निष्पादित कर सकता है। जब कोई पीड़ित
datasets.load_dataset("pandas", data_files=...) के साथ एक दुर्भावनापूर्ण pickle-आधारित
डेटासेट लोड करता है, तो payload Arrow रूपांतरण या फ़ीचर सत्यापन से पहले
पीड़ित प्रक्रिया के विशेषाधिकारों के साथ निष्पादित होता है।
एक हमलावर जो किसी पीड़ित को pandas बिल्डर के माध्यम से हमलावर-नियंत्रित
pickle लोड करने के लिए प्रेरित कर सकता है, वह पीड़ित प्रक्रिया में मनमाना Python कोड निष्पादित कर सकता है।
यह उन डेटा विश्लेषण, मशीन लर्निंग, और ऑटोमेशन वर्कफ़्लो को प्रभावित कर सकता है जो
अविश्वसनीय प्रोजेक्ट्स, रिपॉज़िटरीज़, डाउनलोड्स, या साझा की गई फ़ाइलों से डेटासेट लोड करते हैं।
हमलावर को पीड़ित वातावरण में विशेषाधिकारों की आवश्यकता नहीं है, लेकिन पीड़ित को
दुर्भावनापूर्ण डेटासेट लोड करना होगा, जो रिपोर्ट की उपयोगकर्ता-इंटरैक्शन
आवश्यकता (UI:R) के अनुरूप है।
स्थानीय वातावरण के आधार पर, यह निम्नलिखित की अनुमति दे सकता है:
संवेदनशील पथ pandas पैकेज्ड बिल्डर है:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
PoC एक pickle ऑब्जेक्ट बनाता है जिसकी __reduce__() विधि एक callable निर्दिष्ट करती है
जो एक हानिरहित स्थानीय marker फ़ाइल लिखता है और एक वैध
pandas.DataFrame लौटाता है। deserialization के दौरान, वह callable builder द्वारा
लौटाए गए DataFrame को Arrow table में बदलने से पहले निष्पादित होता है। इसके बाद dataset लोडिंग
सामान्य रूप से पूरी होती है और एक row लौटाती है।
runner इंस्टॉल किए गए package से वास्तविक datasets.load_dataset() API को आमंत्रित करता है।
एक नया स्थानीय cache और पिछले marker को हटाना यह सुनिश्चित करता है कि
सहेजा गया परिणाम dataset लोडिंग के दौरान निष्पादन को प्रदर्शित करता है।
builder को deprecate करना या लौटाए गए DataFrame को validate करना unpickling के दौरान निष्पादन को नहीं रोकता। pandas दस्तावेज़ भी अविश्वसनीय स्रोतों से pickle डेटा लोड करने के विरुद्ध चेतावनी देते हैं।
run_poc.py attacker-controlled.pkl उत्पन्न करता है, इसे
pandas builder के माध्यम से लोड करता है, और निष्पादन का प्रमाण रिकॉर्ड करता है।
केवल स्थानीय परीक्षण वातावरण में चलाएँ। Windows पर सहेजे गए प्रमाण में दिखाए गए संस्करण को पुनः उत्पन्न करने के लिए:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
शामिल requirements.txt वर्तमान में
datasets<=5.0.1 निर्दिष्ट करता है। उस पुरानी श्रेणी का परीक्षण करने के लिए इसे
python -m pip install -r requirements.txt के साथ इंस्टॉल किया जा सकता है, लेकिन यह
सहेजे गए साक्ष्य में उपयोग किए गए 5.1.0 इंस्टॉलेशन का चयन नहीं करता है। ऊपर दिया गया स्पष्ट
pin उस इंस्टॉलेशन के datasets संस्करण को पुनः उत्पन्न करता है।
प्रदर्शित किए गए कमजोर संस्करण पर अपेक्षित साक्ष्य:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
महत्वपूर्ण साक्ष्य यह है कि मार्कर load_dataset() से पहले अनुपस्थित है,
लोडिंग के दौरान प्रकट होता है, और अपेक्षित स्ट्रिंग शामिल करता है जबकि डेटासेट लोडिंग
सफलतापूर्वक पूरी होती है और अपेक्षित पंक्ति लौटाती है।
पेलोड का निष्पादन प्रभाव एक स्थानीय मार्कर-फ़ाइल लेखन है:
datasets_pandas_pickle_rce_triggered
रनर जनरेट किए गए pickle, cache, और evidence फ़ाइलें भी लिखता है। प्रत्येक रन
PoC निर्देशिका में attacker-controlled.pkl, marker.txt, cache/, और evidence/ को
बदल देता है; इसे दोबारा चलाने से पहले मौजूदा evidence सुरक्षित रखें।
सहेजे गए आर्टिफ़ैक्ट्स:
संकीर्ण फ़िक्स किसी भी फ़ाइल को खोलने या
pandas.read_pickle() को पास करने से पहले Pandas._generate_tables() के पूरे बॉडी को
एक बिना शर्त त्रुटि से बदल देता है:
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
यह त्रुटि pickle निष्पादन जोखिम को समझाती है और कॉलर को Parquet, Arrow, CSV, JSON, या किसी मौजूदा DataFrame के लिए Dataset.from_pandas() की ओर निर्देशित करती है। यह प्रत्येक फ़ाइलनाम के लिए रिपोर्ट किए गए कोड-निष्पादन पथ को अवरुद्ध करती है, जिसमें विश्वसनीय pickles भी शामिल हैं; यह यह निर्धारित करने का प्रयास नहीं करती कि कौन सी pickle फ़ाइलें विश्वसनीय हैं।
builder पंजीकृत रहता है और इसे अभी भी load_dataset_builder("pandas", ...) या Pandas(...) के माध्यम से बनाया जा सकता है। तालिका निर्माण विफल होने से पहले फ़ाइल रिज़ॉल्यूशन और डाउनलोड हो सकते हैं। streaming के साथ, त्रुटि तब होती है जब dataset पर पुनरावृत्ति की जाती है। एक संगत तैयार Arrow cache को अभी भी _generate_tables() को कॉल किए बिना या इनपुट को unpickle किए बिना पुनः उपयोग किया जा सकता है। builder स्रोत को बदलने से उसका hash बदल जाता है, इसलिए पुराने caches स्वचालित रूप से मेल नहीं खा सकते। यह patch load.py में builder नाम को अस्वीकार नहीं करता है।
उदाहरण के लिए, Parquet को उसके समर्पित builder के माध्यम से लोड करें:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
रिग्रेशन परीक्षण नए लोडिंग, स्ट्रीमिंग पुनरावृत्ति, सीधे तालिका
निर्माण, बिल्डर निर्माण, तैयार Arrow कैश पुन: उपयोग, और समर्थित
प्रतिस्थापन प्रारूपों को कवर करते हैं। वे सत्यापित करते हैं कि pandas.read_pickle() तक कभी नहीं पहुँचा जाता
और यह कि सीधा तालिका निर्माण फ़ाइलें नहीं खोलता। अनपिकलिंग के बाद किसी ऑब्जेक्ट का
प्रकार जाँचना बहुत देर हो चुकी होती है। किसी फ़ाइल का नाम बदलना, चेतावनी जारी करना, या किसी
अविश्वसनीय पिकल को पहले अनपिकल करके किसी अन्य प्रारूप में परिवर्तित करना
निष्पादन जोखिम का समाधान नहीं करता है।