<= 5.1.0 における Pandas Pickle RCE深刻度: 高、CVSS 3.1 8.8
ベクター: CVSS:3.1/AV:N/AC:L/PR:N/UI:R/S:U/C:H/I:H/A:H
影響範囲: Hugging Face datasets の全バージョン <= 5.1.0
コンポーネント: datasets.packaged_modules.pandas.pandas
CWE: CWE-502 (信頼できないデータのデシリアライズ)
発見・報告者: Sai Teja Erukude
Hugging Face datasets のバージョン 5.1.0 以下では、非推奨ながら依然として登録されている pandas パッケージビルダーを介して攻撃者が制御する pickle ファイルを読み込む際に、任意の Python コード実行が可能になります。
このビルダーは呼び出し元が指定した data_files を解決し、各ファイルをバイト列として開き、そのファイルオブジェクトを結果を Arrow テーブルに変換する前に pandas.read_pickle() へ直接渡します:
with open(file, "rb") as f:
pa_table = pa.Table.from_pandas(pd.read_pickle(f))
Python pickle のデシリアライズは、攻撃者が選択したコードを実行する可能性があります。被害者が
datasets.load_dataset("pandas", data_files=...) を使用して悪意のある pickle ベースのデータセットを
読み込むと、Arrow 変換や特徴量検証の前に、ペイロードが被害者プロセスの権限で実行されます。
被害者に pandas ビルダーを介して攻撃者が制御する pickle を読み込ませることができる攻撃者は、
被害者プロセス内で任意の Python コードを実行できる可能性があります。
これは、信頼できないプロジェクト、リポジトリ、ダウンロード、または共有ファイルからデータセットを
読み込むデータ分析、機械学習、自動化ワークフローに影響を与える可能性があります。
攻撃者は被害者の環境における権限を必要としませんが、被害者は悪意のあるデータセットを読み込む
必要があり、これはレポートのユーザーインタラクション要件(UI:R)と一致します。
ローカル環境に応じて、以下が可能になる場合があります:
脆弱な経路は pandas パッケージ化ビルダーです:
datasets.load_dataset("pandas", data_files=...)
-> dataset_module_factory(...)
-> registered pandas packaged builder
-> Pandas._split_generators(...)
-> resolve or download caller-supplied data_files
-> Pandas._generate_tables(...)
-> open(file, "rb")
-> pandas.read_pickle(f)
-> pyarrow.Table.from_pandas(...)
PoC は __reduce__() メソッドが、無害なローカルマーカーファイルを書き込み、有効な pandas.DataFrame を返す呼び出し可能オブジェクトを指定する pickle オブジェクトを作成します。デシリアライズ中、ビルダーが返された DataFrame を Arrow テーブルに変換する前に、その呼び出し可能オブジェクトが実行されます。その後、データセットの読み込みは正常に完了し、1 行を返します。
ランナーは、インストール済みパッケージから実際の datasets.load_dataset() API を呼び出します。新しいローカルキャッシュと以前のマーカーの削除により、保存された結果がデータセット読み込み中の実行を実証することが保証されます。
ビルダーを非推奨にしたり、返された DataFrame を検証したりしても、アンピクル中の実行は防止できません。pandas のドキュメントもまた、信頼できないソースからの pickle データの読み込みに対して警告しています。
run_poc.py は attacker-controlled.pkl を生成し、pandas ビルダーを通じて読み込み、実行の証拠を記録します。
ローカルのテスト環境でのみ実行してください。Windows で保存された証拠に示されているバージョンを再現するには:
python -m venv .venv
.\.venv\Scripts\python.exe -m pip install "datasets==5.1.0"
.\.venv\Scripts\python.exe -B run_poc.py
同梱のrequirements.txtは現在datasets<=5.0.1を指定しています。この以前の範囲をテストするにはpython -m pip install -r requirements.txtでインストールできますが、保存された証拠で使用された5.1.0のインストールは選択されません。上記の明示的な固定により、そのインストールのdatasetsバージョンが再現されます。
実証された脆弱なバージョンで期待される証拠:
datasets_version: 5.1.0
installed_package: True
load_error: None
row_count: 1
first_row: {'value': 'benign dataframe returned after pickle execution'}
marker_before_load_dataset: False
marker_after_load_dataset: True
marker_contents:
datasets_pandas_pickle_rce_triggered
success: True
重要な証拠は、マーカーが load_dataset() の前に存在せず、ロード中に出現し、データセットのロードが正常に完了して期待される行を返す間に期待される文字列を含んでいることです。
ペイロードの実行効果は、ローカルへのマーカーファイルの書き込みです:
datasets_pandas_pickle_rce_triggered
ランナーは生成された pickle、キャッシュ、証拠ファイルも書き込みます。各実行は
PoC ディレクトリ内の attacker-controlled.pkl、marker.txt、cache/、evidence/ を
置き換えるため、再実行する前に既存の証拠を保存してください。
保存されたアーティファクト:
限定的な修正では、ファイルが開かれたり pandas.read_pickle() に渡されたりする前に、
Pandas._generate_tables() の本体全体を無条件のエラーに置き換えます:
def _generate_tables(self, files):
raise ValueError(PANDAS_PICKLE_DISABLED_ERROR)
このエラーは pickle 実行のリスクを説明し、呼び出し元に対して既存の DataFrame には Parquet、Arrow、CSV、JSON、または Dataset.from_pandas() を使用するよう案内します。これにより、信頼された pickle を含むすべてのファイル名に対して報告されたコード実行経路がブロックされますが、どの pickle ファイルが信頼できるかを判断しようとするものではありません。
ビルダーは登録されたままであり、load_dataset_builder("pandas", ...) または Pandas(...) を通じて引き続き構築できます。ファイルの解決とダウンロードは、テーブル生成が失敗する前に発生する可能性があります。ストリーミングを使用する場合、エラーはデータセットが反復されるときに発生します。互換性のある準備済み Arrow キャッシュは、_generate_tables() を呼び出したり入力を unpickle したりすることなく、引き続き再利用できます。ビルダーのソースを変更するとそのハッシュが変わるため、古いキャッシュは自動的に一致しなくなる可能性があります。このパッチは load.py 内のビルダー名を拒否するものではありません。
例えば、専用のビルダーを通じて Parquet を読み込みます:
from datasets import load_dataset
dataset = load_dataset("parquet", data_files="data.parquet", split="train")
回帰テストは、新規ロード、ストリーミング反復、直接テーブル生成、ビルダー構築、準備済み Arrow キャッシュの再利用、およびサポート対象の置換フォーマットをカバーしています。これらのテストは、pandas.read_pickle() が決して呼び出されないこと、および直接テーブル生成がファイルを開かないことを検証します。アンピクル後にオブジェクトの型を確認するのでは遅すぎます。ファイル名を変更したり、警告を出力したり、信頼できない pickle をまずアンピクルしてから別のフォーマットに変換したりしても、実行リスクは解消されません。
限定的なパッチ、移行ガイダンス、および検証コマンドについては fix.md を参照してください。パッチはこのチェックアウトのソースに適用されています。既にインストール済みのパッケージは別途パッチを適用するか置き換える必要があります。このリポジトリは以下に関連するアップストリームのプルリクエストにリンクしていますが、修正が確認されたリリースはここでは文書化されていません。
Sai Teja Erukude によって発見・報告されました。
開示は VulnCheck を通じて調整されました。