Pesquisa BitCoder-v2

Organização: Bytepro AI
Status: Pesquisa ativa — repositório privado
Alvo: arXiv Q3 2026 + ARC Prize Paper Track Nov 2026

Objetivo da Pesquisa

Documentar empiricamente que o teto de prompt único observado em raciocínio matemático (SAIR, arXiv:2504.18897) se replica em detecção de vulnerabilidades de segurança de código, confirmando a hipótese do roteador é independente de domínio.

Afirmação do Artigo

gpt-oss-20b + cheatsheet estruturada iguala modelos de fronteira em distribuições sintéticas (Juliet, OWASP Benchmark) mas colapsa sob mudança de distribuição para dados do mundo real (CVEfixes, VUDENC), documentando um teto de generalização em LLMs para tarefas de segurança de código.

Categorias de Vulnerabilidade

Design Experimental

Matriz de avaliação cruzada:

• Sintético → Sintético (linha de base)
• Sintético → Real (mudança de distribuição — colapso esperado)
• Real → Real (teto de capacidade)
• Real → Sintético (verificação de transferência)

Modelos

• Linha de base: gpt-oss-20b via OpenRouter (raciocínio suprimido, baixa temperatura — corresponde à metodologia SAIR)
• Referência de fronteira: GPT-4o ou Claude Sonnet via Together AI
• Alvo: Qwen2.5-14B ajustado fino no conjunto de dados BitCoder

Estrutura do Repositório

• scripts/ — scripts de processamento de dados e avaliação
• data/processed/ — conjuntos de dados processados (gitignorados quando privado)
• experiments/ — resultados e análise
• cheatsheets/ — conhecimento estruturado de vulnerabilidade (privado)
• models/ — configurações de ajuste fino (checkpoints gitignorados)
• papers/ — rascunhos de artigos