trailofbits/ficklingDecompilatore e analizzatore statico per il pickling di Python.
Fickling è un decompilatore, analizzatore statico e riscrittore di bytecode per le serializzazioni di oggetti Python pickle. Puoi usare fickling per rilevare, analizzare, fare reverse engineering o persino creare file pickle o basati su pickle malevoli, inclusi i file PyTorch.
Fickling può essere utilizzato sia come libreria python che come CLI.
Fickling richiede Python 3.11 o versioni successive e ha pochissime dipendenze. Sia la libreria che l'utility da riga di comando possono essere installate tramite pip o uv:
# Using pip
python -m pip install fickling
# Using uv
uv pip install fickling
PyTorch è una dipendenza opzionale di Fickling. Pertanto, per utilizzare i moduli pytorch e polyglot di Fickling, è necessario eseguire:
# Using pip
python -m pip install fickling[torch]
# Using uv
uv pip install fickling[torch]
Fickling può aiutare a proteggere le codebase AI/ML scansionando automaticamente i file pickle contenuti nei modelli. Fickling intercetta il modulo pickle e verifica le importazioni effettuate durante il caricamento di un modello. Controlla le importazioni solo rispetto a un elenco di importazioni consentite provenienti da librerie ML considerate sicure, e blocca i file che contengono altre importazioni.
Aggiungi le seguenti righe il prima possibile, prima di importare torch, numpy o qualsiasi altra libreria che utilizza pickle:
import fickling
# This sets global hooks on pickle
fickling.hook.activate_safe_ml_environment()
Per rimuovere la protezione:
fickling.hook.deactivate_safe_ml_environment()
È possibile che i modelli che stai utilizzando contengano import non consentiti da Fickling. Se desideri comunque caricare il modello, puoi semplicemente consentire import aggiuntivi per il tuo caso d'uso specifico con l'argomento also_allow:
fickling.hook.activate_safe_ml_environment(
also_allow=[
"some.import",
"another.allowed.import",
]
)
Importante: dovresti sempre assicurarti che gli import aggiunti manualmente siano effettivamente sicuri e non possano consentire agli attaccanti di eseguire codice arbitrario. Se non sei sicuro di come farlo, puoi aprire una issue sul repository GitHub di Fickling indicando gli import/modelli in questione, e il nostro team potrà esaminarli e includerli nella allow list se possibile.
Fickling può essere integrato senza problemi nella tua codebase per rilevare e bloccare il caricamento di file malevoli a runtime.
Di seguito mostriamo i diversi modi in cui puoi utilizzare fickling per applicare controlli di sicurezza sui file pickle.
Sotto il cofano, intercetta la libreria pickle per aggiungere controlli di sicurezza in modo che il caricamento di un file pickle
sollevi un'eccezione UnsafeFileError se nel file viene rilevato contenuto malevolo.
# This enforces safety checks every time pickle is used to deserialize
fickling.always_check_safety()
# Attempt to load an unsafe file now raises an exception
with open("file.pkl", "rb") as f:
try:
pickle.load(f)
except fickling.UnsafeFileError:
print("Unsafe file!")
with fickling.check_safety():
# All pickle files loaded within the context manager are checked for safety
try:
with open("file.pkl", "rb") as f:
pickle.load("file.pkl")
except fickling.UnsafeFileError:
print("Unsafe file!")
# Files loaded outside of context manager are NOT checked
pickle.load("file.pkl")
All'uscita, il context manager ripristina qualunque cosa fosse installata al momento dell'ingresso, quindi un hook già presente rimane attivo invece di lasciare pickle senza hook.
# Use fickling.load() in place of pickle.load() to check safety and load a single pickle file
try:
fickling.load("file.pkl")
except fickling.UnsafeFileError as e:
print("Unsafe file!")
# Perform a safety check on a pickle file without loading it
if not fickling.is_likely_safe("file.pkl"):
print("Unsafe file!")
È possibile accedere ai dettagli dell'analisi di sicurezza di fickling dall'interno dell'eccezione sollevata:
>>> try:
... fickling.load("unsafe.pkl")
... except fickling.UnsafeFileError as e:
... print(e.info)
{
"severity": "OVERTLY_MALICIOUS",
"analysis": "Call to `eval(b'[5, 6, 7, 8]')` is almost certainly evidence of a malicious pickle file. Variable `_var0` is assigned value `eval(b'[5, 6, 7, 8]')` but unused afterward; this is suspicious and indicative of a malicious pickle file",
"detailed_results": {
"AnalysisResult": {
"OvertlyBadEval": "eval(b'[5, 6, 7, 8]')",
"UnusedVariables": [
"_var0",
"eval(b'[5, 6, 7, 8]')"
]
}
}
}
Se si utilizza un linguaggio diverso da Python, è comunque possibile usare la CLI di fickling per verificare la sicurezza dei file pickle:
fickling --check-safety -p pickled.data
La CLI di Fickling consente di tracciare in modo sicuro l'esecuzione della macchina virtuale Pickle senza
eseguire alcun codice malevolo:
fickling --trace file.pkl
Fickling consente di iniettare codice arbitrario in un file pickle che verrà eseguito ogni volta che il file viene caricato
fickling --inject "print('Malicious')" file.pkl > malicious.pkl
Fickling può essere utilizzato per decompilare un file pickle per ulteriori analisi
>>> import ast, pickle
>>> from fickling.fickle import Pickled
>>> fickled_object = Pickled.load(pickle.dumps([1, 2, 3, 4]))
>>> print(ast.dump(fickled_object.ast, indent=4))
Module(
body=[
Assign(
targets=[
Name(id='result', ctx=Store())],
value=List(
elts=[
Constant(value=1),
Constant(value=2),
Constant(value=3),
Constant(value=4)],
ctx=Load()))],
type_ignores=[])
PyTorch contiene diversi formati di file con cui è possibile creare file polyglot, ovvero file che possono essere interpretati validamente come più di un formato di file. Fickling supporta l'identificazione, l'ispezione e la creazione di polyglot con i seguenti formati di file PyTorch: