Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
ツール/GitHubGitHub/thinwayliu/multimodal-unlearnable-examples
プライバシー論文と研究AIセキュリティ敵対的攻撃
GitHubthinwayliu/multimodal-unlearnable-examples

Multimodal-Unlearnable-Examples

ACM MM2024(マルチモーダル学習不能例:マルチモーダル対比学習からデータを保護する)のコード

リポジトリを見る
共有
15462年前未レビュー

マルチモーダル非学習可能例:マルチモーダル対比学習からデータを保護する(ACM MM2024)

概要: マルチモーダル対比学習(MCL)は、インターネットから収集された何百万もの画像-キャプションペアを学習することで、ゼロショット分類において目覚ましい進歩を遂げています。しかし、この依存関係はプライバシーリスクをもたらします。ハッカーが画像テキストデータを無断でモデルトレーニングに悪用し、個人情報や機密性の高い情報を含む可能性があるためです。近年の研究では、保護のためのショートカットを構築するために、トレーニング画像に知覚不能な摂動を追加して非学習可能な例を生成することを提案しています。しかし、これらは単一モーダル分類用に設計されており、MCLではほとんど調査されていません。我々はまず、既存手法の性能を画像-キャプションペアで評価することによりこの文脈を探求し、それらの手法はマルチモーダルデータには効果的に一般化されず、MCLにおけるラベルの欠如とペアの分散によりショートカット構築への影響が限定的であることを見出しました。本論文では、マルチモーダル非学習可能例を生成するための新しい最適化プロセスであるMulti-step Error Minimization(MEM)を提案します。これはError-Minimization(EM)フレームワークを拡張して、画像ノイズと追加のテキストトリガーの両方を最適化し、最適化空間を拡大して、ノイズ特徴とテキストトリガー間のショートカットをモデルに効果的に学習させ誤誘導します。具体的には、射影勾配降下法を用いてノイズ最小化問題を解き、HotFlipを用いて勾配を近似し単語を置換して最適なテキストトリガーを探索します。大規模な実験により、MEMの有効性が実証され、保護後の検索結果はランダム推測のほぼ半分となり、異なるモデル間での高い転移可能性を示しました。

Editor

要件

本コードは CleanCLIP のソースコードに依存しています。

  • Linux と Windows の両方に対応していますが、パフォーマンスと互換性の理由から Linux を強く推奨します。
  • 64ビット版 Python 3.7 以上のインストール。

環境構築と依存関係のインストール

Conda(推奨)

以下のリンクの手順に従って anaconda をセットアップしてください: Anaconda のセットアップ

以下のコマンドで、リポジトリ内に依存関係を含む conda 環境を作成します。

conda env create --prefix ./env -f environment.yml
source activate ./env

Pip

conda 環境を作成しなくても、依存関係を直接インストールできます。

pip install -r requirements.txt

データセット

これらのデータセットは、トレーニングセット、バリデーションセット、テストセットに分割済みです。分割結果は ~/Data/Dataset/train.csv などにあります。

Flickr8k

Flickr 8k データセットには 8092 枚の画像と、各画像に対して最大 5 つのキャプションが含まれています。データセットは こちら からダウンロードできます。

Flickr30k

Flickr30k データセットには、Flickr から収集された 31,000 枚の画像と、人間のアノテーターによって提供された 5 つの参照文が含まれています。データセットは こちら からダウンロードできます。

MSCOCO

データセットは こちら からダウンロードできます。

マルチモーダル非学習可能例の生成

Flick8K によるクリーントレーニング

python -m src.main --name clean_flick8k --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 0

マルチモーダル非学習可能例による保護(MEM)

テキストトリガーの長さを 3 に設定

python -m src.poison --name poison_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv  --image_key images  --caption_key caption  --device_id 0 --token_num 3 --lr 1e-4 

テキストトリガーの長さを 5 に設定

python -m src.poison --name poison_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv  --image_key images  --caption_key caption  --device_id 1 --token_num 5 --lr 1e-4

性能評価

python -m src.poison_main --name eval_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 0 --save_pert poison_token_3_shuffle --token_num 3  --lr 5e-4
python -m src.poison_main --name eval_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images  --caption_key caption  --device_id 1 --save_pert poison_token_5_shuffle --token_num 5  --lr 5e-4

謝辞

このリポジトリ内のコードの一部は、以下のリポジトリから改変したものです:CleanCLIP、openai、universal-triggers。

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    732
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    405
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    342
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    261
  • 6

    antifox

    antifox-ai/antifox

    偵察、攻撃対象領域の探索、エクスプロイト検証、証拠に基づくレポート提供を実行するAIマルチエージェント自律ペネトレーションテストプラットフォーム。

    259

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →