摘要：多模态对比学习（MCL）通过从互联网抓取的数百万图像-文本对进行学习，在零样本分类方面取得了显著进展。然而，这种依赖带来了隐私风险，因为黑客可能未经授权利用图像-文本数据进行模型训练，其中可能包含个人和隐私敏感信息。近期研究提出通过向训练图像添加不可感知的扰动来生成不可学习样本，从而构建保护性捷径。然而，这些方法是为单模态分类设计的，在多模态对比学习中尚未得到充分探索。我们首先评估现有方法在图像-文本对上的表现，发现它们无法有效泛化到多模态数据，并且由于缺乏标签以及多模态对比学习中样本对的分散性，其在构建捷径方面效果有限。在本文中，我们提出了多步误差最小化（MEM），一种用于生成多模态不可学习样本的新型优化过程。它扩展了误差最小化（EM）框架，同时优化图像噪声和额外的文本触发器，从而扩大优化空间，并有效误导模型学习噪声特征与文本触发器之间的捷径。具体而言，我们采用投影梯度下降求解噪声最小化问题，并使用HotFlip近似梯度并替换词以寻找最优文本触发器。大量实验证明了MEM的有效性，保护后的检索结果约为随机猜测的一半，且在不同模型间具有较高的可迁移性。
我们的代码依赖于 CleanCLIP 源码。
请按照以下链接中的说明设置 anaconda：Anaconda 安装
以下命令将在仓库内创建一个包含依赖项的 conda 环境。
conda env create --prefix ./env -f environment.yml
source activate ./env
无需创建 conda 环境，可直接安装依赖。
pip install -r requirements.txt
我们已经将这些数据集划分为训练集、验证集和测试集。划分结果可在 ~/Data/Dataset/train.csv 等文件中查看。
Flickr 8k 数据集包含 8092 张图像，每张图像最多有五个标题。该数据集可在此处下载：这里。
Flickr30k 数据集包含从 Flickr 收集的 31,000 张图像，以及由人工标注者提供的 5 个参考句子。该数据集可在此处下载：这里。
该数据集可在此处下载：这里。
python -m src.main --name clean_flick8k --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images --caption_key caption --device_id 0
设置文本触发器长度为 3
python -m src.poison --name poison_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv --image_key images --caption_key caption --device_id 0 --token_num 3 --lr 1e-4
设置文本触发器长度为 5
python -m src.poison --name poison_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv --image_key images --caption_key caption --device_id 1 --token_num 5 --lr 1e-4
python -m src.poison_main --name eval_token_3_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images --caption_key caption --device_id 0 --save_pert poison_token_3_shuffle --token_num 3 --lr 5e-4
python -m src.poison_main --name eval_token_5_shuffle --train_data /data/clip/Flicker-8k/train.csv --eval_test_data_dir /data/clip/Flicker-8k/test.csv --image_key images --caption_key caption --device_id 1 --save_pert poison_token_5_shuffle --token_num 5 --lr 5e-4
本仓库中的部分代码改编自以下仓库：CleanCLIP、openai 和 universal-triggers。