
CVE-2026-57845에 대한 개념 증명 및 패치: Hugging Face datasets의 pandas 빌더에서 발생하는 pickle 역직렬화 RCE로, 재현 스크립트와 완화 지침을 포함합니다.
<= 5.1.0 Pandas Pickle RCE심각도: 높음, CVSS 3.1 8.8
벡터: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
영향 범위: 모든 Hugging Face datasets 버전 <= 5.1.0
구성 요소: datasets.packaged_modules.pandas.pandas
CWE: CWE-502 (신뢰할 수 없는 데이터의 역직렬화)
발견 및 보고: Sai Teja Erukude
Hugging Face datasets 버전 5.1.0 이하에서는 더 이상 사용되지 않지만 여전히 등록되어 있는 pandas 패키지 빌더를 통해 공격자가 제어하는 pickle 파일을 로드할 때 임의의 Python 코드 실행이 가능합니다.
해당 빌더는 호출자가 제공한 data_files를 확인하고, 각 파일을 바이트로 열고, 결과를 Arrow 테이블로 변환하기 전에 파일 객체를 직접 pandas.read_pickle()에 전달합니다:
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Python pickle 역직렬화는 공격자가 선택한 코드를 실행할 수 있습니다. 피해자가
datasets.load_dataset("pandas", data_files=...)를 사용하여 악성 pickle 기반
데이터셋을 로드하면, Arrow 변환 또는 feature 검증 이전에 피해자 프로세스의
권한으로 페이로드가 실행됩니다.
피해자가 pandas 빌더를 통해 공격자가 제어하는 pickle을 로드하도록 유도할 수
있는 공격자는 피해자 프로세스에서 임의의 Python 코드를 실행할 수 있습니다.
이는 신뢰할 수 없는 프로젝트, 저장소, 다운로드 또는 공유 파일에서 데이터셋을
로드하는 데이터 분석, 머신러닝 및 자동화 워크플로에 영향을 미칠 수 있습니다.
공격자는 피해자 환경에서 권한이 필요하지 않지만, 보고서의 사용자 상호작용
요구사항(UI:R)에 부합하도록 피해자가 악성 데이터셋을 로드해야 합니다.
로컬 환경에 따라 다음이 가능할 수 있습니다:
취약한 경로는 pandas 패키지 빌더입니다:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
PoC는 __reduce__() 메서드가 무해한 로컬 마커 파일을 작성하고 유효한 pandas.DataFrame을 반환하는 호출 가능 객체를 지정하는 pickle 객체를 생성합니다. 역직렬화 중에 이 호출 가능 객체는 빌더가 반환된 DataFrame을 Arrow 테이블로 변환하기 전에 실행됩니다. 그런 다음 데이터셋 로딩이 정상적으로 완료되고 한 개의 행을 반환합니다.
러너는 설치된 패키지의 실제 datasets.load_dataset() API를 호출합니다. 새 로컬 캐시와 이전 마커의 제거를 통해 저장된 결과가 데이터셋 로딩 중 실행되었음을 보여줍니다.
빌더를 사용 중단(deprecate)하거나 반환된 DataFrame을 검증하는 것만으로는 unpickling 중 실행을 방지할 수 없습니다. pandas 문서에서도 신뢰할 수 없는 출처의 pickle 데이터를 로드하지 말 것을 경고하고 있습니다.
run_poc.py는 attacker-controlled.pkl을 생성하고, 이를 pandas 빌더를 통해 로드하며, 실행 증거를 기록합니다.
로컬 테스트 환경에서만 실행하십시오. Windows에서 저장된 증거에 표시된 버전을 재현하려면:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
포함된 requirements.txt는 현재 datasets<=5.0.1을 지정합니다. python -m pip install -r requirements.txt로 설치하여 해당 이전 버전 범위를 테스트할 수 있지만, 저장된 증거에서 사용된 5.1.0 설치를 선택하지는 않습니다. 위의 명시적 고정은 해당 설치의 datasets 버전을 재현합니다.
시연된 취약 버전에서 예상되는 증거:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
중요한 증거는 마커가 load_dataset() 이전에는 없고, 로딩 중에 나타나며, 데이터셋 로딩이 성공적으로 완료되어 예상한 행을 반환하는 동안 예상한 문자열을 포함한다는 점입니다.
페이로드의 실행 효과는 로컬 마커 파일 쓰기입니다:
datasets_pandas_pickle_rce_triggered
러너는 생성된 피클, 캐시, 증거 파일도 작성합니다. 각 실행은
PoC 디렉터리의 attacker-controlled.pkl, marker.txt, cache/, evidence/를
교체하므로, 다시 실행하기 전에 기존 증거를 보존하세요.
저장된 아티팩트:
좁은 범위의 수정은 파일이 열리거나
pandas.read_pickle()에 전달되기 전에 Pandas._generate_tables()의 전체 본문을
무조건적인 오류로 교체합니다:
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
이 오류는 pickle 실행 위험을 설명하고 호출자에게 기존 DataFrame에는 Parquet, Arrow, CSV, JSON 또는 Dataset.from_pandas()를 사용하도록 안내합니다. 이는 신뢰할 수 있는 pickle을 포함한 모든 파일 이름에 대해 보고된 코드 실행 경로를 차단합니다. 어떤 pickle 파일이 신뢰할 수 있는지 판단하려고 시도하지는 않습니다.
빌더는 계속 등록된 상태로 남아 있으며 load_dataset_builder("pandas", ...) 또는 Pandas(...)를 통해 여전히 구성할 수 있습니다. 파일 확인 및 다운로드는 테이블 생성이 실패하기 전에 발생할 수 있습니다. 스트리밍을 사용하는 경우, 데이터셋을 반복할 때 오류가 발생합니다. 호환되는 준비된 Arrow 캐시는 _generate_tables()를 호출하거나 입력을 unpickle하지 않고도 여전히 재사용할 수 있습니다. 빌더 소스를 변경하면 해시가 변경되므로 이전 캐시는 더 이상 자동으로 일치하지 않을 수 있습니다. 이 패치는 load.py에서 빌더 이름을 거부하지 않습니다.
예를 들어, 전용 빌더를 통해 Parquet을 로드합니다:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
회귀 테스트는 새로 로드하기, 스트리밍 반복, 직접 테이블 생성, 빌더 구성, 준비된 Arrow 캐시 재사용, 지원되는 대체 형식을 다룹니다. 이 테스트들은 pandas.read_pickle()에 절대 도달하지 않는지, 그리고 직접 테이블 생성이 파일을 열지 않는지 검증합니다. 언피클링 후에 객체의 타입을 확인하는 것은 너무 늦습니다. 파일 이름을 바꾸거나, 경고를 출력하거나, 신뢰할 수 없는 피클을 먼저 언피클링하여 다른 형식으로 변환하는 것은 실행 위험을 해결하지 못합니다.
좁은 범위의 패치, 마이그레이션 지침, 검증 명령은 fix.md를 참조하세요. 이 패치는 이 체크아웃의 소스에 적용되어 있으며, 이미 설치된 패키지는 별도로 패치하거나 교체해야 합니다. 이 저장소는 아래에 관련 업스트림 풀 리퀘스트를 링크하고 있으며, 수정이 확인된 릴리스는 여기에 문서화되어 있지 않습니다.
Sai Teja Erukude가 발견하고 보고했습니다.
공개는 VulnCheck를 통해 조율되었습니다.