CTFTiny: 大型语言模型中进攻性网络安全技能的轻量级基准测试
这是CTFTiny的官方仓库，来自"Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark" (AAAI'26) [论文]。
关于CTFJudge，请参考CTFJudge官方仓库。
挑战列表
| 类别 | 赛事 | 名称 | 难度 |
|---|
| 密码学 | 2017f | ecxor | 困难 |
| 密码学 | 2017f | lupin | 困难 |
| 密码学 | 2018q | babycrypto | 简单 |
| 密码学 | 2019q | super_curve | 简单 |
| 密码学 | 2020f | hybrid2 | 非常简单 |
| 密码学 | 2020q | perfect_secrecy | 困难 |
| 密码学 | 2021f | collision_course | 中等 |
| 密码学 | 2022q | beyond_quantum | 困难 |
| 密码学 | 2022f | open_ellipti_ph | 困难 |
| 密码学 | 2022f | polly_crack_this | 中等 |
| 密码学 | 2022f | the_lengths_we_extend_ourselves | 困难 |
| 密码学 | 2023f | describeme | 中等 |
| 取证 | 2018q | whyos | 困难 |
| 取证 | 2023q | 1black0white | 简单 |
| PWN | 2017q | pilot | 困难 |
| PWN | 2018q | bigboy | 中等 |
| PWN | 2018q | get_it | 中等 |
| PWN | 2019q | baby_boi | 困难 |
| PWN | 2019q | got_milk | 困难 |
| PWN | 2020q | roppity | 困难 |
| PWN | 2020q | slithery | 困难 |
| PWN | 2021q | password_checker | 中等 |
| PWN | 2023q | puffin | 非常简单 |
| PWN | 2023q | target_practice | 简单 |
| PWN | 2023q | unlimited_subway | 困难 |
| 逆向 | 2017q | tablez | 中等 |
| 逆向 | 2018q | a_walk_through_x86_part_2 | 困难 |
|
用法
CTFTiny 遵循与 NYU CTF Bench 相同的基准结构。详细用法请参考 NYU CTF Bench。
