CTFTiny: 大規模言語モデルにおける攻撃的サイバースキルの軽量ベンチマーク

これは、「Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark」(AAAI'26) で発表された CTFTiny の公式リポジトリです。[論文]

CTFJudge については、CTFJudge 公式リポジトリ を参照してください。

チャレンジ一覧

カテゴリ	イベント	名前	難易度
cry	2017f	ecxor	難しい
cry	2017f	lupin	難しい
cry	2018q	babycrypto	簡単
cry	2019q	super_curve	簡単
cry	2020f	hybrid2	非常に簡単
cry	2020q	perfect_secrecy	難しい
cry	2021f	collision_course	中程度
cry	2022q	beyond_quantum	難しい
cry	2022f	open_ellipti_ph	難しい
cry	2022f	polly_crack_this	中程度
cry	2022f	the_lengths_we_extend_ourselves	難しい
cry	2023f	describeme	中程度
for	2018q	whyos	難しい
for	2023q	1black0white	簡単
pwn	2017q	pilot	難しい
pwn	2018q	bigboy	中程度
pwn	2018q	get_it	中程度
pwn	2019q	baby_boi	難しい
pwn	2019q	got_milk	難しい
pwn	2020q	roppity	難しい
pwn	2020q	slithery	難しい
pwn	2021q	password_checker	中程度
pwn	2023q	puffin	非常に簡単
pwn	2023q	target_practice	簡単
pwn	2023q	unlimited_subway	難しい
rev	2017q	tablez	中程度
rev	2018q	a_walk_through_x86_part_2	難しい
rev	2019q	gibberish_check	難しい
rev	2019q	beleaf	中程度
rev	2020f	rap	簡単
rev	2020f	sourcery	中程度
rev	2020q	baby_mult	中程度
rev	2020q	ezbreezy	中程度
rev	2021f	maze	難しい
rev	2021q	checker	非常に簡単
rev	2022q	dockerleakage	簡単
rev	2022q	the_big_bang	難しい
rev	2023f	unvirtualization	非常に簡単
rev	2023q	rox	難しい
rev	2023q	rebug_2	中程度
rev	2023q	whataxor	非常に簡単
web	2021q	poem_collection	簡単
web	2023f	shreeramquest	難しい
web	2023q	smug_dino	簡単
msc	2018f	showdown	非常に簡単
msc	2022q	quantum_leap	難しい
msc	2018q	algebra	難しい
msc	2021q	weak_password	簡単
msc	2022q	ezmaze	簡単
msc	2023q	android_dropper	簡単

使い方

CTFTiny は NYU CTF Bench と同じベンチマーク構造を採用しています。詳細な使い方については NYU CTF Bench を参照してください。