#1Herramientas de seguridad LLM, inyección de prompts, extracción de modelos, IA adversaria y red teaming de IA.
Recomendado por Kitploit

Andamio de investigación de alineación (estilo autoresearch) para barreras de seguridad de LLM: búsqueda sobre una única superficie policy.md

Sandboxes de Linux ligeros y seguros para procesos no confiables. Se ejecuta en el navegador y en el servidor.

Código de investigación para ataques de envenenamiento sobre el PGM-index, que demuestra cómo elaborar datos adversariales para degradar el…

Marco de ataque de caja negra que secuestra el razonamiento en sistemas de generación aumentada por recuperación agénticos mediante la inyección de…

un guardián que bloquea acciones catastróficas del agente

Protección potente para agentes de IA: seguridad y seguimiento de costos de código abierto para aplicaciones de IA

Informe profesional de evaluación de vulnerabilidad para el riesgo de inyección de comandos en LiteLLM, que incluye resumen ejecutivo, impacto…

Código de reproducción para un estudio controlado de ataques de inferencia de pertenencia sobre OLMo 2, que abarca la inserción de documentos, el…

Entrena, evalúa y explora redes neuronales con herramientas integradas de robustez adversarial, incluyendo ataques PGD, entrenamiento adversarial y…

Huella de LLMs compatibles con OpenAI a partir de señales de tokenizador y comportamiento.

Descubrimiento de vulnerabilidades zero-shot mediante LLMs


Código de investigación para añadir expertos de seguridad controlables a las capas de LLM mediante entrenamiento de upcycling en dos etapas, con…

Forense de LLM a nivel de pesos: compara los pesos de los modelos, detecta fine-tunes, fusiones y derivados encubiertos, y expone los tokens que un…

Código y fuente del artículo para un estudio de NeurIPS EvoRobust que muestra que las características simples de bag-of-words y de metadatos superan…

Harness de agente en sandbox de código abierto para equipos. Brindando a cada empleado un agente personal seguro.

Atrapa a los scrapers web de IA en un pozo de veneno sin fin.

Marco de Ejercicios de Equipo Púrpura