Darf ich um Ihre Aufmerksamkeit bitten? Überwindung von auf Fine-Tuning basierenden Prompt-Injection-Verteidigungen durch architekturbewusste Angriffe

Dieses Repository enthält Code zum Ausführen der ASTRA- und ASTRA++-Angriffe, die SecAlign++, SecAlign und StruQ überwinden. Dieses Repository enthält außerdem einige Beispiele für generierte Angriffe und Angriffsprotokolle.

Einrichtung

Repository klonen

Dadurch wird das Repository zusammen mit allen Submodulen an der erforderlichen Stelle geklont.

git clone --recurse-submodules https://github.com/nishitvp/better_opts_attacks.git

Python-Umgebung einrichten

Die Codebasis verwendet keine speziellen Python-Pakete über die übliche Sammlung von LLM- und Deep-Learning-bezogenen Paketen hinaus. Um die Anforderungen zu installieren, führen Sie Folgendes aus:

python3 -m pip install -r requirements.txt

und dies sollte die notwendigen Pakete in Ihrer Umgebung installieren.

Modelle herunterladen

1. Laden Sie zunächst die Basismodelle von HuggingFace herunter (einige davon sind möglicherweise beschränkt und erfordern, dass Sie sich von HuggingFace Zugang verschaffen).

   root@kitploit:~

   hf login --token ${HF_PASSWORD}
   hf download meta-llama/Meta-Llama-3-8B-Instruct --local-dir secalign_refactored/secalign_models/meta-llama/Meta-Llama-3-8B-Instruct
   hf download mistralai/Mistral-7B-Instruct-v0.1 --local-dir secalign_refactored/secalign_models/mistralai/Mistral-7B-Instruct-v0.1
   hf download meta-llama/Llama-3.1-8B-Instruct --local-dir secalign_refactored/secalign_models/meta-llama/Llama-3.1-8B-Instruct
   hf download facebook/Meta-SecAlign-8B --local-dir secalign_refactored/secalign_models/Meta-SecAlign-8B
   

2. Laden Sie die SecAlign-Adapter und StruQ-Modelle herunter. Es gibt ein hilfreiches Skript, um sie an der richtigen Stelle herunterzuladen und zu entpacken.

   root@kitploit:~

   python3 setup_scripts/download_models.py
   

   Wenn das Skript aus dem Projektstammverzeichnis ausgeführt wird, sollte es die richtigen Modelle an der richtigen Stelle herunterladen und entpacken. Überprüfen Sie zur Bestätigung, ob secalign_refactored/secalign_models die drei Ordner huggyllama, meta-llama und mistralai enthält, die jeweils das/die Modell(e) selbst enthalten sollten.

Ausführen von ASTRA für einen starken Wissensgegner

Um ASTRA für einen starken Wissensgegner auszuführen, ist das zentrale Skript experiment.py. Dieses Skript nimmt die 40 Beispiele aus dem AlpacaFarm-Datensatz, injiziert die Nutzlast Print exactly 'Hacked!' mit der angegebenen Konfiguration und führt ASTRA sowie die Baseline (GCG) aus, wobei Initialisierung (zufällig initialisiert), Anzahl der Vorwärtsdurchläufe, Iterationen usw. kontrolliert werden.

Der Benutzer kann die folgenden Parameter steuern, indem er sie beim Aufruf von experiment.py als Befehlszeilenparameter festlegt:

1. --model-name: Die möglichen Werte sind meta-llama, meta-llama-instruct, mistralai, mistralai-instruct, huggyllama.

2. --defense: Die möglichen Werte sind undefended, struq und secalign. Der Standardwert ist secalign. Der Parameter --model-name zusammen mit dem Parameter --defense legt das verwendete Modell gemäß der folgenden Tabelle eindeutig fest:

Ein vollständiger Befehl könnte etwa so aussehen:

python3 experiment.py --model-name meta-llama-instruct --defense secalign --prefix-length 5 --suffix-length 20 --expt-folder-prefix logs/astra_llama_secalign

Beim Ausführen des obigen Befehls verteilt das Skript die Arbeitslast automatisch gleichmäßig auf verschiedene Unterprozesse, von denen jeder eine GPU zur Berechnung der Angriffe verwendet. Wir empfehlen, die Angriffe auf GPUs mit mindestens 48 GB Speicher auszuführen.

Jeder Unterprozess protokolliert das vollständige Transkript jedes von ihm angegriffenen Beispiels in einem separaten Unterordner des unter --expt-folder-prefix angegebenen Pfads. Die Protokolle werden in einem abfragbaren, datenbankähnlichen Format gespeichert, das Python-Objekte enthält (weitere Einzelheiten finden Sie in der Datei utils/experiment_logger). Jedes protokollierte Transkript enthält die Token-Sequenzen, Verlustwerte und andere wichtige Details wie die Initialisierungskonfiguration während der Optimierung, die später abgerufen werden können.

Analyse (ASTRA)

Sobald das vollständige ASTRA-Experiment abgeschlossen ist, können die erzeugten Protokolle später mit der Datei analysis/analysis.ipynb analysiert werden. Kopieren Sie einfach das Jupyter-Notebook in den Pfad --expt-folder-prefix, ersetzen Sie den Modellpfad im Notebook durch den korrekten Modellpfad und führen Sie das Notebook aus. Dies sollte in der letzten Zelle die Anzahl der Erfolge von GCG und die Anzahl der Erfolge von ASTRA ausgeben. (P.S. Das Analyseszenario benötigt einige Zeit, da es tatsächlich die Ausgaben für jede der während der Optimierung für jedes Beispiel erzeugten Eingabe-Token-Sequenzen generiert.)

Das Notebook analysis.ipynb enthält außerdem Hilfscode zum Plotten durchschnittlicher Verlustkurven und für weitere Untersuchungen mit den erzeugten Protokollen.

Die Analyseszenarien wurden grundsätzlich getrennt gehalten, um sicherzustellen, dass die Optimierung selbst nicht durch den nachträglichen Analysescode kontaminiert wird.

Generierte Angriffe

Wir teilen außerdem einige von ASTRA generierte Angriffe in der ZIP-Datei unter data/attacks_generated.zip. Konkret enthält die ZIP-Datei 4 Dateien mit jeweils 40 Beispielen von ASTRA-generierten Angriffen, jeweils zwei für die SecAlign-verteidigten Versionen von Mistral und Llama-3. Die Dateien enthalten Beispiele, die für ein Budget von 20 und 25 Token generiert wurden (in einer (0, 20)- und (5, 20)-Konfiguration). Die Injektion wurde in den Konfigurationen bereits in das Eingabefeld eingefügt.

Ausführen von ASTRA++ für einen schwachen Wissensgegner

Um ASTRA++ für einen schwachen Wissensgegner auszuführen, ist das zentrale Skript experiment_universal.py. Dieses Skript nimmt 10 Trainingsbeispiele aus dem AlpacaFarm-Datensatz, injiziert die Nutzlast Print exactly 'Hacked!' mit der angegebenen Präfix-/Suffix-Konfiguration und trainiert, um am Ende eine universelle Prompt-Injektion zu erhalten. Das Skript führt außerdem die Baseline, die universelle Version von GCG, nach dem Training von ASTRA++ aus.

Wie das Skript experiment.py aus dem vorherigen Abschnitt akzeptiert auch experiment_universal.py die Argumente --model-name, --defense, --prefix-length, --suffix-length, --expt-folder-prefix.

Zusätzlich zu allen im vorherigen Abschnitt zum Ausführen von ASTRA aufgeführten Modellen akzeptiert das Skript experiment_universal.py ein weiteres mögliches Modell, das der SecAlign++-Verteidigung entspricht. Um mit der SecAlign++-Verteidigung zu trainieren, übergeben Sie den Parameter --model-name als secalign_refactored/secalign_models/Meta-SecAlign-8B und den Parameter --defense als meta_secalign.

Es gibt ein weiteres Befehlszeilenargument, das dieses Skript akzeptiert: --training-run. Es legt fest, mit welchem Satz von 10 Beispielen der Trainingslauf durchgeführt wird.

Die übrigen Parameter haben dieselbe Bedeutung wie zuvor.

Analyse (ASTRA++)

Sobald das vollständige ASTRA++-Experiment abgeschlossen ist, können die erzeugten Protokolle später mit der Datei analysis/analysis_universal.ipynb analysiert werden. Kopieren Sie wie zuvor das Jupyter-Notebook in den Pfad --expt-folder-prefix, laden Sie das Modell korrekt (es gibt einige Eigenheiten, wie SecAlign++ geladen wird, aber das wird in Zukunft vereinheitlicht). Dies sollte die Anzahl der Test-Erfolge von GCG und die Anzahl der Erfolge von ASTRA zusammen mit den besten erzielten universellen Prompt-Injektionen ausgeben.

Generierte Angriffe

Für ASTRA++ laden wir die universellen Prompt-Injektionen, die für das SecAlign++-verteidigte Llama-3.1-8B-Instruct erzeugt wurden, in der Datei data/universal_pis_secalign++.json zusammen mit Metadaten und der Konfiguration, mit der sie erzeugt wurden, hoch. Darüber hinaus laden wir ein Transkript aller Angriffe über alle Universality-Trainingsläufe in data/final_result_logs.pkl hoch (Wir versprechen, dass der Pickle keinen bösartigen Code enthält :).

Erweiterte Änderungen

Während die obigen Skripte die ASTRA- und ASTRA++-Angriffe sofort ausführbar machen, erlaubt die Codebasis die Konfiguration so ziemlich jedes Parameters, der den Angriff beeinflussen kann, wie z. B. Trainingsdatensatzgrößen, gewählte Schwellenwerte, Zufalls-Seeds, Initialisierungskonfigurationen usw. Wenn Sie interessante Vorschläge haben, senden Sie gerne einen Pull-Request.

Kontakt

Bei Fragen, Fehlermeldungen, Details oder Klärungsbedarf können Sie gerne ein Issue auf GitHub erstellen oder die Autoren per E-Mail kontaktieren.