敵対的攻撃

thinwayliu/multimodal-unlearnable-examples

ACM MM2024（マルチモーダル学習不能例：マルチモーダル対比学習からデータを保護する）のコード

jinxhy/awesome-moai-security

モバイルオンデバイスAIシステムの攻撃と防御研究に関する厳選された読書リストと分類法。敵対的攻撃、バックドア攻撃、モデル窃取攻撃、エネルギー遅延攻撃とともに、難読化、TEE、ウォーターマーキング防御を網羅しています。

ye-ze-yu/epireal-bench

商用画像生成器における視覚的誤情報リスクを評価するためのレッドチーミングベンチマークおよびブラックボックス攻撃フレームワーク。10k件の虚偽主張プロンプトとスコアリングスクリプトを備える。

wang-yanting/agentwatcher

LLMエージェントにおける間接的なプロンプトインジェクションに対する因果的文脈帰属とルールベースのモニターLLM防御。AgentDynおよび他のベンチマークで最先端のパフォーマンスを達成。

borealisai/stepjack

コンピューター操作AIエージェントを多段階の間接プロンプトインジェクションに対して評価するためのベンチマークフレームワーク。自動的な敵対的目標分解とAWSサンドボックス化されたテスト環境を備えています。

sej2020/manipulating-web-agents

自律型LLMベースのWebエージェントを制御する間接プロンプトインジェクション攻撃の研究デモンストレーション。トリガー最適化と評価のためのツールを備えています。

phil-fan/fs-attack

論文「Rethinking Latency Denial-of-Service: Attack the LLM Serving Framework, Not the Model」の実装

dtrecherel/dnsspoof

Python3で書かれたDNSスプーファーツール。

canonicalmg/reverse-captcha-eval

通常のテキストに埋め込まれた不可視のUnicodeエンコード命令を大規模言語モデルが従うかどうかをテストする評価フレームワーク。複数のモデルとツール条件にわたる統計分析を備えています。

multimodal-ai-lab/tobac

Token by Token, Compromised: 統合自己回帰モデルにおけるバックドア脆弱性 (NeurIPS'26)

kevinchunye/prompt_injection

ツールを使用するLLMエージェントパイプラインにおいて、プロンプトインジェクション防御がどこで発火するかを測定するベンチマークハーネス。公開、永続化、中継、実行の各段階にわたってカナリートークンを追跡する。

stardust457/sldr

LLMの悪意あるファインチューニングを、選択的レイヤー復元と動的ルーティングを用いて軽減する防御フレームワーク。トレーニング、有害性スコアリング、ジェイルブレイク評価スクリプトを備える。

azzzzliao/aegis-audio-defense

音声言語モデルを凍結したまま、推論時に音声ジェイルブレイクをブロックするための中間層リスクゲートと後段層セーフティアダプタを追加する防御フレームワーク。

ericyoc/ai-security-literacy

公開ベンチマークと調査マイクロデータに基づいてAIセキュリティリテラシーの6つのコンピテンシー次元を根拠づけ、図表や再開可能な結果を生成する再現可能なColabパイプライン。

sliu11-byte/mea-bench

ブラックボックスLLM抽出攻撃、防御、および適応型攻撃のためのライフサイクルベンチマーク。

gmh5225/llm-attack-prompt

ジェイルブレイク、プロンプトリーク、プロンプトインジェクション、LLM攻撃。大規模言語モデル攻撃プロンプト集

rakib-nyc/nullorigin

研究専用AIウォーターマーク堅牢性ツールキット：ローカルリバースプロキシがC2PA/EXIF/XMP、Unicode、画像/音声ステゴ、OOXML/PDFメタデータを除去し、Trojan Sourceをスキャンする。