Skip to content
KitploitKITPLOIT
ツールエクスプロイトブログ
Log in
提出
ツールエクスプロイトブログ
提出

ハッキング、侵入テスト、サイバーセキュリティツールをあなたのセキュリティアーセナルに!

Kitploitはハッキング、サイバーセキュリティ、ペネトレーションテストのツールディレクトリです。最新のプロジェクトアップデートを見つけて、脆弱性の発見、システム分析、テストの自動化、セキュリティの強化を行いましょう。

フィードお問い合わせプライバシー© 2026 Kitploit

ツールディレクトリ

カテゴリ

すべてのカテゴリを見る
Loading categories
RLCDAlignBench — AIアラインメントの失敗を検出するためのベンチマークスイートとコード。10種類の失敗タイプにわたる44のベンチマークと、7,193件のラベル付きインスタンスで評価されたゼロショットRLCD検出器を含む。 | Kitploit
ツール/GitHubGitHub/sumleo/rlcdalignbench
脆弱性分析機械学習論文と研究学習と教育厳選リソースAIセキュリティ異常検知
GitHubsumleo/rlcdalignbench

RLCDAlignBench

AIアラインメントの失敗を検出するためのベンチマークスイートとコード。10種類の失敗タイプにわたる44のベンチマークと、7,193件のラベル付きインスタンスで評価されたゼロショットRLCD検出器を含む。

リポジトリを見る
3151261ヶ月前Kitploit レビュー済み
ウェブサイト
共有

Just Ask Jev: キャリブレーションされた意思決定のための強化学習によるAIアラインメント失敗のゼロショット検出器

arXiv Project page Hugging Face Code license: MIT Data license: CC BY-NC 4.0

このリポジトリには RLCDAlignBench と論文のコードが含まれています。 このベンチマークは、言語モデルの出力がアラインメント失敗であるかどうかを検出器が判別できるかを測定します。 10種類の失敗タイプ(迎合、ジェイルブレイク、欺瞞、プロンプトインジェクション、ハルシネーション、プライバシー侵害、社会的バイアス、報酬ハッキング、不確実性の隠蔽、権力追求)にわたる 44のベンチマーク と 5つのターゲットモデル を備え、7,193件のラベル付き検出インスタンス を含みます。 ラベルは各ベンチマーク独自のスコアラーから得られており、さらに2つの追加セットには人手によるラベルが付いています。

私たちはこれを用いてJevをテストします。Jevはキャリブレーションされた意思決定のための強化学習(RLCD)で訓練されたモデルであり、1つの入力に対して多数の型付き質問に、1回の呼び出しでキャリブレーションされた確率で回答します。 鍵となる考え方は、Jevに尋ねられる質問を、それが目にするコンテキストとは別に測定することです。 汎用的な質問はゼロショットでAUROC中央値0.886に達し、31のベンチマークのうち25で教師ありTF-IDFおよび長さベースラインを上回ります。 サンプル外では、質問の文言による効果はほとんどありません。回答をargmaxの決定ではなく確率として読むことは非常に重要です。コンテキストは主に、ラベルをエンコードするフィールドを通じて役立ちます。

RLCDAlignBench overview

引用

@misc{guo2026justaskjevreinforcement,
      title={Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures}, 
      author={Ruoqi Guo and Yi Liu and Gelei Deng and Yuekang Li and Lida Zhao and Yutao Wu and Simin Chen and Ying Zhang and Leo Yu Zhang},
      year={2026},
      eprint={2609.29429},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.29429}, 
}

免責事項

このデータセットには、ジェイルブレイクやその他の敵対的プロンプトに対する小規模オープンモデルのフィルタリングされていない出力が含まれており、その多くは有害です。 これはアラインメントの失敗を検出および軽減する研究のためにのみ公開されており、Hugging Face でのアクセスは制限されています。 有害なシステムの構築や改善に使用しないでください。

データ

データは Hugging Face の sumleo/RLCDAlignBench にあります。そこでアクセスをリクエストし、その後:

from datasets import load_dataset

ds = load_dataset("sumleo/RLCDAlignBench", "harmbench", split="test")   # one benchmark
all_ = load_dataset("sumleo/RLCDAlignBench", "all", split="test")       # all 7,193 instances

各インスタンスには、検出器が参照するフィールド(state)、バイナリのlabel(1 = 検出器がフラグを立てるべき失敗出力)、label_source、target_model、および来歴ファイルへリンクするmetaレコードが含まれます。 データセットカードには、すべてのフィールドとファイルが記載されています。

失敗タイプベンチマークインスタンス数対象モデル
迎合(Sycophancy)4639Qwen3.5-2B
ジェイルブレイク4414Phi-4-mini
欺瞞4540Gemma-2-2B
プロンプトインジェクション41,036Qwen3.5-2B
ハルシネーション61,164Llama-3.2-3B
プライバシー侵害4808Phi-4-mini
社会的バイアス4199Olmo-3-7B
報酬ハッキング6714Qwen3.5-2B
不確実性の隠蔽4748Olmo-3-7B
権力志向4931Llama-3.2-3B
合計447,1935モデル

人手ラベル付きセット:StrongREJECT(1,361件の応答、各5名の評価者)およびHarmBench検証セット(602件の応答、各3票)。

data/benchmarks.csvは44行のインデックスです(名前、失敗タイプ、ヒルクライムまたはホールドアウトの分割、スコアラー、ラベルソース、n、陽性数、ステータス)。分割の役割はChen et al. (2026)のAARスイートに由来します。 data/variants.csvは、コンテキスト実験で使用された132個の入力バリアントすべてを一覧にしています。 results/には論文レベルの表が格納されています。

Hugging Faceでは、リリースは次のように構成されています:

data/benchmarks/<failure_type>/<benchmark>.jsonl   canonical instances (the paper's n)
data/human/<set>.jsonl                             human-labelled sets
data/variants/<benchmark>/<variant>.jsonl          every input view: ablation, official track, oracle, exclusion, ...
jev/responses/<benchmark>/<variant>/<battery>.jsonl   Jev's per-question probabilities for every instance
jev/metrics/<benchmark>/<variant>/<battery>.json      per-strategy precision, recall, F1, AUROC
provenance/                                        target-model generations, reference-scorer calls, official scores, logs

コード

コンポーネント場所
AARハーネス周辺の生成と判定のリプレイcode/generation/run_generate.py
検出サンプルビルダー(バッテリーファミリーごとに1つ)code/build_samples_*.py
質問バッテリー(Jevと読み出し戦略に対して尋ねられる質問)code/battery_*.py
Jevランナー、キャッシュ、メトリクスcode/run_jev.py、code/run_batch.sh
バッテリーリンター(基準の漏洩、フォーマット)code/lint_battery.py、code/lint_criteria_leak.py
結果サマリーcode/make_results_summary.py
リリースツールtools/build_release.py、tools/legacy_layout.py

コードはPython 3.10以降(論文では3.12を使用)と標準ライブラリのみを必要とします。リリースツールにはpandasも必要です。

メトリクスをオフラインで再計算する

これはリクエストを送信せず、キーも必要としません。すべてのメトリクスはJevのキャッシュされた回答から再計算されます。

pip install -U "huggingface_hub[cli]" pandas
huggingface-cli login                                   # after your access request is approved
huggingface-cli download sumleo/RLCDAlignBench --repo-type dataset --local-dir hf

python tools/legacy_layout.py --release hf --out work   # rebuilds the layout the scripts expect, checks sha256
python work/code/restore_layout.py
python work/code/run_jev.py --leg harmbench --battery battery_a_judge \
    --samples work/code/samples/harmbench__microsoft__Phi-4-mini-instruct__attack.jsonl --rescore

最後のコマンドは、読み出し戦略ごとに1行の表(precision、recall、F1、balanced accuracy、AUROC、bootstrap CI)を出力します。これはリリース内の jev/metrics/harmbench/attack/battery_a_judge_v2.json と一致します。

ゼロから再実行する

  1. AARリポジトリをリポジトリルートにクローンし(サンプルビルダーはそこにある aar_repo/ を探します)、ラベルの構築元となったコミットをチェックアウトします:
    git clone https://github.com/YuehHanChen/automated_alignment_researcher aar_repo
    git -C aar_repo checkout 02dbe9d2cadc553720d17cdf6259c0b8727e6cde
    
  2. ターゲットモデルの出力を生成し(GPU)、参照スコアラーをリプレイします(APIキーは aar_repo/REPRODUCE.md と同様):
    python code/generation/run_generate.py --axis refusal --repo aar_repo            # phase 1, judges stubbed
    python code/generation/run_generate.py --axis refusal --repo aar_repo --replay   # phase 2, real judges
    
  3. code/build_samples_*.py で検出サンプルをビルドします(判定スコア対象のファミリー a、bc、f は --attach-judges を取ります)。ビルダーはラベルから各公式集計スコアを再計算し、公式のものと異なる場合は停止します。
  4. TYPESAFE_API_KEY を設定して Jev にクエリを送信します:
    python code/run_jev.py --leg harmbench --battery battery_a_judge --samples <file> --limit 20   # pilot
    python code/run_jev.py --leg harmbench --battery battery_a_judge --samples <file>              # full
    

データフロー: calls.jsonl → run_generate.py --replay → judge_calls.jsonl → build_samples_*.py → detection samples → run_jev.py → responses + metrics。

リポジトリ構造

ツールをダウンロード

人気

すべて見る →

コミュニティで最も使われているツールを見つけましょう。

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 究極のOSINTツールキット:調査グラフ、信頼度スコアリング、エイリアスファミリー、マップ、タイムライン、レポート。49個のモジュール、400以上のサイト、APIキー不要。

    786
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock ワンタップ実行アプリ(CVE-2026-43499)

    506
  • 3

    ARTEX

    baarai/artex

    プランナー/ワーカーエージェント、資産グラフと探索グラフ、MITMトラフィック記録、脆弱性の再テストを備えたLLMマルチエージェント自律ペネトレーションテストプラットフォーム。

    429
  • 4

    redforge

    cybersecurity91/redforge

    ブラウザ側のレッドチームツールキット。偵察、ペイロード生成、認証情報攻撃、暗号、エンコーディング、エンゲージメントレポート向けの102のオフラインツールを備えています。

    345
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    AIネイティブなサイバーセキュリティのためのアクションシステム。意図がガバナンスされた実行に変わり、証拠が運用記憶となり、すべての操作が次の操作を改善する。

    262
  • 6

    looking-glass

    anonghosty/looking-glass

    ShadowserverレポートをMongoDBに取り込み、インタラクティブなマップ、分析、調査結果、アドバイザリ、エグゼクティブダッシュボードとして再生するCSIRTプラットフォーム。

    256

すべてのツールを探索

ツールコレクションを閲覧

すべてのツールを見る →