llm-circuit-finder

Reproduje el método RYS de Ng y descubrí que duplicar 3 capas específicas en Qwen2.5-32B mejora el razonamiento en un 17% y duplicar las capas 12-14 en Devstral-24B mejora la deducción lógica de 0.22→0.76 en BBH — sin entrenamiento, sin cambios de pesos, solo redirigiendo los estados ocultos a través del mismo circuito dos veces. Herramientas incluidas. Dos GPUs AMD, una tarde.

llm-circuit-finder

Duplica 3 capas. Sin entrenamiento. La deducción lógica pasa de 0.22 → 0.76.

Este kit de herramientas encuentra y explota "circuitos de razonamiento" ocultos dentro de modelos transformadores. La idea: ciertos bloques contiguos de capas actúan como unidades cognitivas indivisibles. Duplícalos en el pase hacia adelante — mismos pesos, sin entrenamiento, sin fusión — y el modelo se vuelve mediblemente más inteligente en capacidades específicas.

Construido sobre el método RYS de David Ng y ampliado con nuevos hallazgos. Todo lo aquí descubierto fue encontrado en dos GPUs de consumo AMD (RX 7900 XT + RX 6950 XT) en una tarde.

Resultados

Devstral-Small-2-24B: Capas 12, 13, 14 duplicadas una vez

Ejecuté las pruebas completas en una instancia H200 en Vast.ai y comparé la base de devstral contra el modelo de cirugía, y los resultados están: Así que la cirugía está haciendo algo real y específico: está impulsando el razonamiento matemático y el razonamiento causal pero a costa de seguir instrucciones y generar código. El modelo piensa más intensamente pero sigue las instrucciones con menos precisión.

En la carpeta de resultados puedes ver los resultados bajo eval_base y eval_surgery. También agregué al repositorio vastai_rys_eval.sh que es el script utilizado para ejecutar todo el wacamole en Vast.ai. instancia vastai creada con

vastai create instance somenumberhere --image vastai/base-image:cuda-12.8.1-cudnn-devel-ubuntu22.04 --disk 80 --direct --ssh

=================================================================================
lm_eval Results Comparison
=================================================================================
Metric                                              base  rys_12_15 Δ(last-first)
---------------------------------------------------------------------------------
bbh/causal_judgement [exact_match]                0.5775     0.6364     +0.0588

bbh/date_understanding [exact_match]              0.9440     0.9000     -0.0440

bbh/logical_deduction_five_objects [exact_match]     0.7440     0.7320     -0.0120

bbh/navigate [exact_match]                        0.9600     0.9440     -0.0160

gsm8k_cot [flexible-extract]                      0.8650     0.8787     +0.0136
gsm8k_cot [strict-match]                          0.8408     0.8704     +0.0296

ifeval [inst_level_loose_acc]                     0.7446     0.7206     -0.0240
ifeval [inst_level_strict_acc]                    0.6990     0.6595     -0.0396
ifeval [prompt_level_loose_acc]                   0.6728     0.6488     -0.0240
ifeval [prompt_level_strict_acc]                  0.6229     0.5767     -0.0462

mbpp [pass_at_1]                                  0.7000     0.6700     -0.0300
=================================================================================

Average (all metrics)                             0.7610     0.7488     -0.0122

Qwen2.5-Coder-32B: Capas 7, 8, 9 duplicadas una vez

Medido en el conjunto de sondas personalizado (derivado de BBH + estilo EQ-Bench + GSM8K):

Prueba	Base	+3 capas	Cambio
Razonamiento (causal + lógica + nav)	76.5%	94.1%	+23%
EQ (inteligencia emocional)	92.1	93.6	+1.6%

¿Qué está pasando?

Los transformadores se organizan durante el entrenamiento en circuitos funcionales — unidades de procesamiento de múltiples capas que realizan operaciones cognitivas completas. Estos circuitos son indivisibles: duplicar una sola capa no hace casi nada, pero duplicar el bloque correcto de 3-4 capas le da al modelo un segundo pase a través de su pipeline de razonamiento.

Diferentes modelos tienen diferentes circuitos en diferentes lugares:

• Devstral-24B (40 capas): circuito de razonamiento en las capas 12-14
• Qwen2.5-32B (64 capas): circuito de razonamiento en las capas 7-9

Los límites son precisos. Desplazar el bloque una capa en cualquier dirección hace que la mejora desaparezca o se invierta.

El descubrimiento de los "modos"

Diferentes patrones de duplicación crean perfiles cognitivos distintos a partir de los mismos pesos:

Patrón	Matemáticas	EQ	Carácter
Pase doble 13-16	↑↑	↑	Especialista en matemáticas
Pase triple 13-16	↑	↑↑	Especialista en EQ
Intercalado 13,13,14,14,15,15,16	↑↑↑	↓	Modo matemático puro
Pase cuádruple 13-16	—	↑↑	Modo EQ, matemáticas neutro

Mismos pesos en disco. Misma VRAM para el modelo base. Solo diferente enrutamiento.

Inicio rápido

Encuentra circuitos en tu modelo

pip install gguf requests tqdm

python sweep.py \
    --model /path/to/model.gguf \
    --llama-server /path/to/llama-server \
    --tmpdir /dev/shm/rys \
    --results pass.jsonl \
    --block-sizes 3 4 5 \
    --stride 1 \
    --start-min 10 --start-max 20 \
    --skip-baseline \
    --port 8099 \
    --server-args --device Vulkan1,Vulkan2

Aplica un circuito conocido

# Duplicate layers 12-14 in Devstral (the result validated above)
python layer_path.py model.gguf improved.gguf \
    -p "0..14,12,13,14,15..39" -v

# Duplicate layers 7-9 in Qwen2.5-32B
python layer_path.py model.gguf improved.gguf \
    -p "0..9,7,8,9,10..63" -v

# Go wild: triple-pass, interleaved, skip layers, whatever you want
python layer_path.py model.gguf experiment.gguf \
    -p "0..16,13,14,15,16,13,14,15,16,17..39" -v

Valida con benchmarks establecidos

# Start the server with modified model
llama-server -m improved.gguf --port 8089 -ngl 99 --device Vulkan1,Vulkan2

# Run lm-evaluation-harness
lm_eval --model local-chat-completions \
    --model_args model=test,base_url=http://localhost:8089/v1/chat/completions,num_concurrent=1,max_retries=3,tokenized_requests=False \
    --tasks gsm8k_cot,ifeval,mbpp,bbh_cot_fewshot_logical_deduction_five_objects \
    --apply_chat_template --limit 50 \
    --output_path ./eval_results

# Compare runs
python compare_eval.py ./eval_base ./eval_improved

Archivos

Archivo	Qué hace
sweep.py	Herramienta principal de barrido — encuentra configuraciones óptimas de duplicación de capas
layer_path.py	Construye cualquier GGUF con una ruta de ejecución de capas explícita
gguf_surgery.py	Duplicación de capas GGUF de bajo nivel (usado por sweep.py)
math_probe.py	Sonda de aritmética difícil (puntuación de crédito parcial de Ng)
eq_probe.py	Sonda de inteligencia emocional (estilo EQ-Bench)
reasoning_probe.py	Problemas de palabras de razonamiento causal/lógico/navegación/matemáticas derivados de BBH
compare_eval.py	Compara resultados de lm-evaluation-harness entre ejecuciones
visualize.py	Mapas de calor en texto y PNG de los resultados del barrido

Cómo funciona el barrido

1. Para cada configuración de capa (i, j):
   • La cirugía GGUF crea un modelo donde las capas i..j-1 están duplicadas físicamente
   • El nuevo pase hacia adelante: layers 0..j-1 → layers i..j-1 again → layers j..N-1
   • llama-server carga el modelo modificado
   • Se ejecutan tres sondas: matemáticas, EQ, razonamiento (derivadas de BBH)
   • Las puntuaciones se comparan con la línea base, los resultados se imprimen en vivo
   • El servidor se elimina, el GGUF modificado se borra, siguiente configuración