Skip to content
KitploitKITPLOIT
HerramientasExploitsBlog
Log in
Enviar
HerramientasExploitsBlog
Enviar

¡Herramientas de Hacking, PenTest y Ciberseguridad para tu Arsenal de Seguridad!

Kitploit es un directorio de herramientas de hacking, ciberseguridad y pentesting. Descubre las últimas actualizaciones de proyectos para encontrar vulnerabilidades, analizar sistemas, automatizar pruebas y fortalecer tu seguridad.

FeedsContactoPrivacidad© 2026 Kitploit

Directorio de Herramientas

Categorías

Ver todas las categorías
Loading categories
giskard-oss — 🐢 Librería de código abierto para la evaluación y pruebas de agentes de LLM | Kitploit
Herramientas/GitHubGitHub/giskard-ai/giskard-oss
Escáneres de VulnerabilidadesFuzzingAprendizaje AutomáticoRed TeamingSeguridad de IAAtaque AdversarioTop en Ataque Adversario #11Top en Seguridad de IA #6Top en Aprendizaje Automático #10
6.0k576151hace 9h 29mRevisado por Kitploit
GitHub
giskard-ai/giskard-oss

giskard-oss

🐢 Librería de código abierto para la evaluación y pruebas de agentes de LLM

Ver RepositorioSitio web

Más Populares

Ver todos →

Descubre las herramientas más usadas por nuestra comunidad.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 El kit de herramientas OSINT definitivo: grafo de investigación, puntuación de confianza, familias de alias, mapa, línea de tiempo e informes. 49 módulos, más de 400 sitios, sin necesidad de claves API.

    968
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Aplicación de Ejecución con un Solo Toque GhostLock (CVE-2026-43499)

    556
  • 3

    looking-glass

    anonghosty/looking-glass

    Plataforma CSIRT que ingiere informes de Shadowserver en MongoDB y los reproduce como mapas interactivos, análisis, hallazgos, avisos y paneles ejecutivos.

    347
  • 4

    redforge

    cybersecurity91/redforge

    Kit de herramientas de red team del lado del navegador con 102 herramientas offline para reconocimiento, generación de payloads, ataques de credenciales, criptografía, codificación y elaboración de informes de compromiso.

    346
  • 5

    ARTEX

    baarai/artex

    Plataforma de pruebas de penetración autónoma multiagente basada en LLM con agentes planificadores/trabajadores, grafos de activos y de exploración, registro de tráfico MITM y reevaluación de vulnerabilidades.

    319
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    El sistema de acción para la ciberseguridad nativa de IA—donde la intención se convierte en ejecución gobernada, la evidencia se convierte en memoria operativa y cada operación mejora la siguiente.

    297

Explora todas las herramientas

Explora nuestra colección de herramientas

Ver todas las herramientas →
Compartir
<p align="center">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Evaluaciones, Red Teaming y Generación de Pruebas para Sistemas Agénticos</h1>
<h3 align="center" weight='300' >Modular, Ligero, Dinámico y Async-first </h3>
<div align="center">

[![GitHub release](https://img.shields.io/github/v/release/Giskard-AI/giskard-oss)](https://github.com/Giskard-AI/giskard-oss/releases)
[![License](https://img.shields.io/badge/License-Apache_2.0-blue.svg)](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[![Downloads](https://static.pepy.tech/badge/giskard/month)](https://pepy.tech/project/giskard)
[![CI](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[![Giskard on Discord](https://img.shields.io/discord/939190303397666868?label=Discord)](https://gisk.ar/discord)

<a rel="me" href="https://fosstodon.org/@Giskard"></a>

</div>
<h3 align="center">
   <a href="https://docs.giskard.ai/oss"><b>Documentación</b></a> &bull;
  <a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Sitio web</b></a> &bull;
  <a href="https://gisk.ar/discord"><b>Comunidad</b></a>
 </h3>
<br />

> [!IMPORTANT]
> **Giskard v3** es una reescritura completamente nueva diseñada para pruebas dinámicas y de múltiples turnos de agentes de IA. Esta versión elimina dependencias pesadas para mejorar la eficiencia, a la vez que introduce un escáner de vulnerabilidades de IA más potente y una evaluación RAG mejorada — ambos ahora incluidos de forma nativa en `giskard-scan`, sin dependencia de la v2. Solo el escaneo heredado para **modelos tabulares/ML** sigue siendo exclusivo de la v2.
> **Giskard v2 sigue disponible pero ya no se mantiene activamente.**
> Sigue el progreso → [Lee el Anuncio de la v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Hoja de ruta](https://github.com/Giskard-AI/giskard-oss/issues/2252)

## Instalación

```sh
pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```

Requiere Python 3.12+.

| Extra | Añade |
| --- | --- |
| *(ninguno)* | `giskard-checks` y dependencias |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | SDKs de proveedores (ver dependencias opcionales en `pyproject.toml`) |

**Telemetría:** analítica agregada opcional mediante `giskard-core`. No se envían prompts ni salidas.
Desactívela con `export DO_NOT_TRACK=1` o `export GISKARD_TELEMETRY_DISABLED=1` (o las mismas claves en un archivo `.env` en el directorio de trabajo). Establécelas antes de la importación para evitar la creación de `~/.giskard/id`; establecerlas más tarde también detiene los envíos posteriores.
Detalles: [README de `giskard-core`](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).

---

Giskard es una biblioteca de Python de código abierto para **probar y evaluar sistemas agénticos**. La arquitectura v3 es un conjunto modular de paquetes enfocados — cada uno con solo las dependencias que necesita — construidos desde cero para envolver cualquier cosa: un LLM, un agente de caja negra o un pipeline de múltiples pasos.

| Estado         | Paquete          | Descripción                                                                                                                                                              |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Estable      | `giskard-checks` | Pruebas y evaluación — API de escenarios, comprobaciones integradas, LLM-as-judge                                                                                                       |
| ✅ Estable      | `giskard-scan`   | Escáner de vulnerabilidades de agentes + evaluación de calidad RAG — red teaming, inyección de prompts, jailbreaks y contenido dañino (`vulnerability_scan`, sucesor de [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), además de evaluación de calidad de la base de conocimiento (`quality_scan`, sucesor de [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |

Estos se basan en tres bibliotecas fundamentales — `giskard-core` (utilidades compartidas y telemetría), `giskard-llm` (enrutamiento de LLM independiente del proveedor) y `giskard-agents` (orquestación de agentes y flujos de trabajo) — que se incorporan automáticamente y rara vez se usan directamente.

## Giskard Checks — crea y aplica evaluaciones para probar agentes

```sh
pip install giskard-checks
```

**[Giskard Checks](https://docs.giskard.ai/oss/checks)** es una librería ligera para crear evaluaciones (evals) que prueban sistemas basados en LLM — desde simples aserciones hasta evaluaciones con LLM como juez. A diferencia de las pruebas unitarias tradicionales, las evals están diseñadas para **salidas no deterministas** donde la misma entrada puede producir diferentes respuestas válidas.

Usa Giskard Checks para:

- **Detectar regresiones** — verificar que tu sistema sigue comportándose correctamente tras los cambios
- **Validar la calidad de RAG** — comprobar si las respuestas están fundamentadas en el contexto recuperado
- **Aplicar reglas de seguridad** — asegurar que las salidas cumplen con tus políticas de contenido
- **Evaluar agentes multiturno** — probar conversaciones completas, no solo intercambios individuales

Las evals integradas incluyen coincidencia de cadenas, comparaciones, regex, similitud semántica y comprobaciones con LLM como juez (`Groundedness`, `Conformity`, `LLMJudge`).

### Conceptos

- **Target** — tu sistema bajo prueba: cualquier callable síncrono/asíncrono `(inputs) -> outputs` (opcionalmente con `trace`)
- **Scenario** — una eval: interacciones + comprobaciones
- **Check** — aserción o juez LLM sobre la traza
- **Suite** — muchos escenarios ejecutados juntos

`giskard.agents.Generator` es un cliente LLM para flujos de trabajo/jueces — no es lo mismo que
los generadores de entrada de `giskard.checks` (`LLMGenerator`) que sintetizan mensajes de usuario.

### Inicio rápido

En un script sin un bucle de eventos en ejecución:

```python
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()
```

En una celda de notebook o dentro de una función asíncrona, utiliza await con el escenario en su lugar:

```python
result = await scenario.run()
result.print_report()
```

`Groundedness` es un juez LLM — instala un extra de proveedor (por ejemplo, `pip install "giskard[openai]"`) y configura la clave de API correspondiente. Modelo predeterminado: `openai/gpt-4o-mini`.

Consulta la [documentación completa](https://docs.giskard.ai/oss/checks) para `Suites`, `LLMJudge`, escenarios multiturno y más.

---

## Giskard Scan — escáner de vulnerabilidades para agentes de IA

```sh
pip install "giskard[scan]"   # or: pip install giskard-scan
```

**Giskard Scan** es la capa de red-teaming y escaneo de vulnerabilidades para sistemas agénticos. Genera automáticamente suites de pruebas adversariales a partir de una descripción en lenguaje natural de tu agente, cubriendo inyección de prompts, contenido dañino, estereotipos, desinformación y más.

Usa Giskard Scan para:

- **Hacer red-teaming de tu agente** — genera automáticamente entradas adversariales en las categorías de amenazas del OWASP LLM Top-10
- **Ejecutar sondas de inyección de prompts** — conjunto de datos integrado de payloads de inyección listos para usar
- **Extender con generadores personalizados** — pasa tus propias instancias de `ScenarioGenerator` a `generate_suite`, o regístralas en `vulnerability_suite_generator_registry`

### Inicio rápido

```python
import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())
```

Los generadores de escaneo también necesitan un extra de proveedor de LLM y una clave de API (igual que los jueces de Checks anteriores).

## ¿Buscas Giskard v2?

Giskard v2 incluía **Scan** (detección automática de vulnerabilidades) y **RAGET** (generación de conjuntos de pruebas de evaluación de RAG).

Para **agentes LLM**, ambos quedan reemplazados en v3 por `giskard-scan`: usa [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) en lugar del escaneo LLM de v2, y `quality_scan` (con `KnowledgeBase`) en lugar de RAGET.

v3 también funciona con modelos ML — envuelve uno como target y evalúalo con `giskard-checks` o `giskard-scan`. Lo que cubren los ejemplos siguientes es el **escaneo tabular automático exclusivo de v2** — la suite de detectores que inspecciona un `giskard.Model` + `giskard.Dataset` para detectar automáticamente problemas de rendimiento, sesgo y robustez — junto con la suite de pruebas ML `giskard.testing` y Giskard Hub. Estos no están previstos para v3.

```sh
pip install "giskard[llm]>2,<3"
```

### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — detecta automáticamente problemas de rendimiento, sesgo y seguridad

Envuelve tu modelo y ejecuta el escaneo:

```python
import giskard
import pandas as pd


# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
    """The function takes a DataFrame and must return a list of outputs (one per row)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Ejemplo de escaneo" width="800">
</p>

### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — genera conjuntos de datos de evaluación para aplicaciones RAG

Genera automáticamente preguntas, respuestas de referencia y contexto a partir de tu base de conocimiento:

```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="Ejemplo de RAGET" width="800">
</p>

[Documentación completa de la v2](https://legacy-docs.giskard.ai)

<h1 id="community">👋 Comunidad</h1>

¡Damos la bienvenida a las contribuciones de la comunidad de IA! Lee esta [guía](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md) para comenzar y únete a nuestra próspera comunidad en [Discord](https://gisk.ar/discord).

Sigue el progreso y comparte tus comentarios:
[Anuncio de la v3](https://github.com/orgs/Giskard-AI/discussions/2250) · [Hoja de ruta](https://github.com/Giskard-AI/giskard-oss/issues/2252)

🌟 [Déjanos una estrella](https://github.com/Giskard-AI/giskard), ¡ayuda a que el proyecto sea descubierto por otros y nos mantiene motivados para construir herramientas de código abierto increíbles! 🌟

❤️ Si encuentras útil nuestro trabajo, considera [patrocinarnos](https://github.com/sponsors/Giskard-AI) en GitHub. Con un patrocinio mensual, puedes obtener una insignia de patrocinador, mostrar tu empresa en este readme y conseguir que tus informes de errores tengan prioridad. También ofrecemos patrocinio único si quieres que participemos en un proyecto de consultoría, impartamos un taller o demos una charla en tu empresa.
Descargar herramienta