Yue Liu, Shengfang Zhai, Mingzhe Du
Yulin Chen, Tri Cao, Hongcheng Gao, Cheng Wang
Xinfeng Li, Kun Wang, Junfeng Fang, Jiaheng Zhang, Bryan Hooi
1National University of Singapore, 2Nanyang Technological University
VLM の安全性を高めるため、本論文では、推論に基づく新しい VLM ガードモデル GuardReasoner-VL を紹介します。核となるアイデアは、オンライン RL によって、ガードモデルがモデレーション判断を下す前に熟慮して推論するように促すことです。まず、テキスト、画像、テキスト＋画像の入力を網羅する、123K サンプルと 631K の推論ステップからなる推論コーパス GuardReasoner-VLTrain を構築します。次に、これに基づいて SFT によりモデルの推論能力をコールドスタートさせます。さらに、オンライン RL によりモデレーションに関する推論をさらに強化します。具体的には、サンプルの多様性と難易度を高めるため、拒否サンプリングを実施し、その後、提案する安全性を考慮したデータ連結（safety-aware data concatenation）によるデータ拡張を行います。また、動的クリッピングパラメータを使用して、初期段階では探索を促進し、後期段階では活用を促進します。パフォーマンスとトークン効率のバランスを取るため、精度、形式、トークンコストを統合した、長さを考慮した安全性報酬（length-aware safety reward）を設計します。大規模な実験により、本モデルの優位性が実証されました。注目すべきことに、平均 F1 スコアで次点モデルを 19.27% 上回ります。
図 1: GuardReasoner-VL の概要。
GuardReasoner-VL を評価するには、以下のコードを実行してください。
python ./evaluate.py
結果は result.csv ファイルに保存されます。
Performance of GuardReasoner-VL (GuardReasoner-VL-7B):
ToxicChat ,HarmBenchPrompt ,OpenAIModeration ,AegisSafetyTest ,SimpleSafetyTests ,WildGuardTest ,Average (Text) ,HarmImageTest ,SPA-VL-Eval ,Average (All)
76.51 ,98.30 ,70.98 ,90.13 ,98.99 ,88.35 ,79.88 ,70.84 ,85.60 ,79.07
HarmBenchResponse ,SafeRLHF ,BeaverTails ,XSTestReponseHarmful,WildGuardTest ,Average (Text) ,SPA-VL-Eval ,Average (All)
87.22 ,66.37 ,84.76 ,92.72 ,79.04 ,79.42 ,73.22 ,77.58
Performance of GuardReasoner-VL (GuardReasoner-VL-Eco-7B):
ToxicChat ,HarmBenchPrompt ,OpenAIModeration ,AegisSafetyTest ,SimpleSafetyTests ,WildGuardTest ,Average (Text) ,HarmImageTest ,SPA-VL-Eval ,Average (All)
76.26 ,98.73 ,70.82 ,90.34 ,99.50 ,88.54 ,79.82 ,64.84 ,85.26 ,77.49
HarmBenchResponse ,SafeRLHF ,BeaverTails ,XSTestReponseHarmful,WildGuardTest ,Average (Text) ,SPA-VL-Eval ,Average (All)
86.22 ,66.15 ,85.51 ,93.33 ,78.60 ,79.51 ,70.81 ,76.94
Performance of GuardReasoner-VL (GuardReasoner-VL-3B):
ToxicChat ,HarmBenchPrompt ,OpenAIModeration ,AegisSafetyTest ,SimpleSafetyTests ,WildGuardTest ,Average (Text) ,HarmImageTest ,SPA-VL-Eval ,Average (All)
74.45 ,89.10 ,70.83 ,88.79 ,99.50 ,88.92 ,78.77 ,70.93 ,86.47 ,78.73
HarmBenchResponse ,SafeRLHF ,BeaverTails ,XSTestReponseHarmful,WildGuardTest ,Average (Text) ,SPA-VL-Eval ,Average (All)
85.76 ,66.37 ,85.16 ,93.08 ,76.07 ,78.83 ,71.19 ,76.56
Performance of GuardReasoner-VL (GuardReasoner-VL-Eco-3B):
ToxicChat ,HarmBenchPrompt ,OpenAIModeration ,AegisSafetyTest ,SimpleSafetyTests ,WildGuardTest ,Average (Text) ,HarmImageTest ,SPA-VL-Eval ,Average (All)
73.47 ,88.58 ,70.87 ,89.04 ,99.50 ,89.16 ,78.43 ,66.79 ,85.82 ,77.39
HarmBenchResponse ,SafeRLHF ,BeaverTails ,XSTestReponseHarmful,WildGuardTest ,Average (Text) ,SPA-VL-Eval ,Average (All)
84.72 ,66.96 ,85.39 ,93.59 ,77.39 ,79.31 ,72.01 ,77.14
図 2: マルチモーダルガードレールベンチマークにおける GuardReasoner-VL の平均パフォーマンス。
表 1: プロンプト有害性検出タスクのパフォーマンス。
表 2: レスポンス有害性検出タスクのパフォーマンス。
GuardReasoner-VL の生成プロセスを再現するには、以下のコードを実行してください。
bash test.sh
GuardReasoner-VL を使用するには、以下のコードを実行してください。
CUDA_VISIBLE_DEVICES=0 python deploy.py
GuardReasoner のトレーニングプロセスを再現するには、トレーニングパイプライン を参照してください。
本手法は以下のリソースに一部基づいています。素晴らしい成果に感謝します。
このリポジトリが役立つ場合は、私たちの論文を引用してください。
@article{GuardReasoner,
title={GuardReasoner: Towards Reasoning-based LLM Safeguards},
author={Liu, Yue and Gao, Hongcheng and Zhai, Shengfang and Jun, Xia and Wu, Tianyi and Xue, Zhiwei and Chen, Yulin and Kawaguchi, Kenji and Zhang, Jiaheng and Hooi, Bryan},
journal={arXiv preprint arXiv:2501.18492},
year={2025}
}
@article{GuardReasoner-VL,
title={GuardReasoner-VL: Safeguarding VLMs via Reinforced Reasoning},
author={Liu, Yue and Zhai, Shengfang and Du, Mingzhe and Chen, Yulin and Cao, Tri and Gao, Hongcheng and Wang, Cheng and Li, Xinfeng and Wang, Kun and Fang, Junfeng and Zhang, Jiaheng and Hooi, Bryan},
journal={arXiv preprint arXiv:2505.11049},
year={2025}
}
(トップに戻る)