CTFTiny: Benchmark leggero delle competenze offensive informatiche nei modelli linguistici di grandi dimensioni

Questo è il repository ufficiale di CTFTiny, tratto da "Towards Effective Offensive Security LLM Agents: Hyperparameter Tuning, LLM as a Judge, and a Lightweight CTF Benchmark" (AAAI'26) [paper].

Per CTFJudge, fare riferimento al repository ufficiale di CTFJudge.

Elenco delle sfide

Category	Event	Name	Difficulty
cry	2017f	ecxor	Difficile
cry	2017f	lupin	Difficile
cry	2018q	babycrypto	Facile
cry	2019q	super_curve	Facile
cry	2020f	hybrid2	Molto facile
cry	2020q	perfect_secrecy	Difficile
cry	2021f	collision_course	Moderata
cry	2022q	beyond_quantum	Difficile
cry	2022f	open_ellipti_ph	Difficile
cry	2022f	polly_crack_this	Moderata
cry	2022f	the_lengths_we_extend_ourselves	Difficile
cry	2023f	describeme	Moderata
for	2018q	whyos	Difficile
for	2023q	1black0white	Facile
pwn	2017q	pilot	Difficile
pwn	2018q	bigboy	Moderata
pwn	2018q	get_it	Moderata
pwn	2019q	baby_boi	Difficile
pwn	2019q	got_milk	Difficile
pwn	2020q	roppity	Difficile
pwn	2020q	slithery	Difficile
pwn	2021q	password_checker	Moderata
pwn	2023q	puffin	Molto facile
pwn	2023q	target_practice	Facile
pwn	2023q	unlimited_subway	Difficile
rev	2017q	tablez	Moderata
rev	2018q	a_walk_through_x86_part_2	Difficile
rev	2019q	gibberish_check	Difficile
rev	2019q	beleaf	Moderata
rev	2020f	rap	Facile
rev	2020f	sourcery	Moderata
rev	2020q	baby_mult	Moderata
rev	2020q	ezbreezy	Moderata
rev	2021f	maze	Difficile
rev	2021q	checker	Molto facile
rev	2022q	dockerleakage	Facile
rev	2022q	the_big_bang	Difficile
rev	2023f	unvirtualization	Molto facile
rev	2023q	rox	Difficile
rev	2023q	rebug_2	Moderata
rev	2023q	whataxor	Molto facile
web	2021q	poem_collection	Facile
web	2023f	shreeramquest	Difficile
web	2023q	smug_dino	Facile
msc	2018f	showdown	Molto facile
msc	2022q	quantum_leap	Difficile
msc	2018q	algebra	Difficile
msc	2021q	weak_password	Facile
msc	2022q	ezmaze	Facile
msc	2023q	android_dropper	Facile

Utilizzo

CTFTiny segue la stessa struttura di benchmark di NYU CTF Bench. Per istruzioni dettagliate, fare riferimento a NYU CTF Bench.