CTFTiny: 大規模言語モデルにおける攻撃的サイバースキルの軽量ベンチマーク
これは、「Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark」(AAAI'26) で発表された CTFTiny の公式リポジトリです。[論文]
CTFJudge については、CTFJudge 公式リポジトリ を参照してください。
チャレンジ一覧
| カテゴリ | イベント | 名前 | 難易度 |
|---|
| cry | 2017f | ecxor | 難しい |
| cry | 2017f | lupin | 難しい |
| cry | 2018q | babycrypto | 簡単 |
| cry | 2019q | super_curve | 簡単 |
| cry | 2020f | hybrid2 | 非常に簡単 |
| cry | 2020q | perfect_secrecy | 難しい |
| cry | 2021f | collision_course | 中程度 |
| cry | 2022q | beyond_quantum | 難しい |
| cry | 2022f | open_ellipti_ph | 難しい |
| cry | 2022f | polly_crack_this | 中程度 |
| cry | 2022f | the_lengths_we_extend_ourselves | 難しい |
| cry | 2023f | describeme | 中程度 |
| for | 2018q | whyos | 難しい |
| for | 2023q | 1black0white | 簡単 |
| pwn | 2017q | pilot | 難しい |
| pwn | 2018q | bigboy | 中程度 |
| pwn | 2018q | get_it | 中程度 |
| pwn | 2019q | baby_boi | 難しい |
| pwn | 2019q | got_milk | 難しい |
| pwn | 2020q | roppity | 難しい |
| pwn | 2020q | slithery | 難しい |
| pwn | 2021q | password_checker | 中程度 |
| pwn | 2023q | puffin | 非常に簡単 |
| pwn | 2023q | target_practice | 簡単 |
| pwn | 2023q | unlimited_subway | 難しい |
| rev | 2017q | tablez | 中程度 |
| rev | 2018q | a_walk_through_x86_part_2 |
使い方
CTFTiny は NYU CTF Bench と同じベンチマーク構造を採用しています。詳細な使い方については NYU CTF Bench を参照してください。
