Skip to content
KitploitKITPLOIT
ToolsExploitsBlog
Log in
Einreichen
ToolsExploitsBlog
Einreichen

Hacking-, PenTest- und Cybersicherheits-Tools für Ihr Sicherheitsarsenal!

Kitploit ist ein Verzeichnis von Hacking-, Cybersicherheits- und Pentesting-Tools. Entdecken Sie die neuesten Projekt-Updates, um Schwachstellen zu finden, Systeme zu analysieren, Tests zu automatisieren und Ihre Sicherheit zu stärken.

FeedsKontaktDatenschutz© 2026 Kitploit

Tool-Verzeichnis

Kategorien

Alle Kategorien anzeigen
Loading categories
giskard-oss — 🐢 Open-Source-Bibliothek für Evaluierung & Tests von LLM-Agenten | Kitploit
Tools/GitHubGitHub/giskard-ai/giskard-oss
SchwachstellenscannerFuzzingMaschinelles LernenRed TeamingKI-SicherheitAdversarial-AngriffTop in Adversarial-Angriff Nr.11Top in KI-Sicherheit Nr.6Top in Maschinelles Lernen Nr.10
6.0k576151vor 7h 46mVon Kitploit geprüft
GitHub
giskard-ai/giskard-oss

giskard-oss

🐢 Open-Source-Bibliothek für Evaluierung & Tests von LLM-Agenten

Repository anzeigenWebseite

Beliebteste

Alle anzeigen →

Entdecken Sie die meistgenutzten Tools unserer Community.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Das ultimative OSINT-Toolkit: Untersuchungsgraph, Konfidenzbewertung, Alias-Familien, Karte, Zeitleiste und Berichte. 49 Module, 400+ Websites, keine API-Schlüssel erforderlich.

    962
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    GhostLock One-Tap Execution App (CVE-2026-43499)

    558
  • 3

    redforge

    cybersecurity91/redforge

    Browser-seitiges Red-Team-Toolkit mit 102 Offline-Tools für Recon, Payload-Generierung, Credential-Angriffe, Krypto, Encoding und Engagement-Reporting.

    348
  • 4

    looking-glass

    anonghosty/looking-glass

    CSIRT-Plattform, die Shadowserver-Berichte in MongoDB einliest und sie als interaktive Karten, Analysen, Findings, Advisories und Executive-Dashboards wiedergibt.

    344
  • 5

    ARTEX

    baarai/artex

    LLM-basierte Multi-Agenten-Plattform für autonome Penetrationstests mit Planer-/Worker-Agenten, Asset- und Explorationsgraphen, MITM-Verkehrsaufzeichnung und Schwachstellen-Retesting.

    324
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Das System der Handlung für KI-native Cybersicherheit – wo Absicht zu gesteuerter Ausführung wird, Beweise zu operativem Gedächtnis werden und jeder Einsatz den nächsten verbessert.

    297

Alle Tools erkunden

Durchsuchen Sie unsere Tool-Sammlung

Alle Tools anzeigen →
Teilen
<p align="center">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/c1f328b3f3cefd9e527b0ff1f2991be7d3336ce13cd265993c62b57ce676cab5/a720b322f89a71f208538a57a11e96baef88a9c0bafe7779659f1b4bafcfc27e-display-v1.webp">
  <img alt="giskardlogo" src="https://assets.kitploit.com/production/public/readmes/50936/2fd9c4a7c2204d367db301019e2fc0e3de34eacd445004fd705b27cbb7aff5fc/ab0feb5722a650948a83c6cdc420dc43f15ae5e7a8000d26b22fd7effb8f1ca8-display-v1.webp">
</p>
<h1 align="center" weight='300' >Evals, Red Teaming und Testgenerierung für agentische Systeme</h1>
<h3 align="center" weight='300' >Modular, leichtgewichtig, dynamisch und Async-first </h3>
<div align="center">

[![GitHub release](https://img.shields.io/github/v/release/Giskard-AI/giskard-oss)](https://github.com/Giskard-AI/giskard-oss/releases)
[![License](https://img.shields.io/badge/License-Apache_2.0-blue.svg)](https://github.com/Giskard-AI/giskard/blob/main/LICENSE)
[![Downloads](https://static.pepy.tech/badge/giskard/month)](https://pepy.tech/project/giskard)
[![CI](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)](https://github.com/Giskard-AI/giskard-oss/actions/workflows/ci.yml/badge.svg?branch=main)
[![Giskard on Discord](https://img.shields.io/discord/939190303397666868?label=Discord)](https://gisk.ar/discord)

<a rel="me" href="https://fosstodon.org/@Giskard"></a>

</div>
<h3 align="center">
   <a href="https://docs.giskard.ai/oss"><b>Dokumentation</b></a> &bull;
  <a href="https://www.giskard.ai/?utm_source=github&utm_medium=github&utm_campaign=github_readme&utm_id=readmeblog"><b>Website</b></a> &bull;
  <a href="https://gisk.ar/discord"><b>Community</b></a>
 </h3>
<br />

> [!IMPORTANT]
> **Giskard v3** ist eine vollständige Neuentwicklung, die für dynamisches Testing von KI-Agenten über mehrere Turns hinweg konzipiert wurde. Dieses Release entfernt schwergewichtige Abhängigkeiten für mehr Effizienz und führt gleichzeitig einen leistungsfähigeren KI-Schwachstellenscanner sowie eine verbesserte RAG-Evaluierung ein – beide sind jetzt nativ in `giskard-scan` enthalten, ohne Abhängigkeit von v2. Nur der Legacy-Scan für **tabellarische/ML-Modelle** bleibt ausschließlich in v2 verfügbar.
> **Giskard v2 ist weiterhin verfügbar, wird aber nicht mehr aktiv gepflegt.**
> Fortschritt verfolgen → [v3-Ankündigung lesen](https://github.com/orgs/Giskard-AI/discussions/2250) · [Roadmap](https://github.com/Giskard-AI/giskard-oss/issues/2252)

## Installation

```sh
pip install giskard           # checks (+ agents, llm, core)
pip install "giskard[scan]"   # + vulnerability / quality scan
pip install "giskard[openai]" # provider SDK for LLM judges / generators
```

Erfordert Python 3.12+.

| Extra | Fügt hinzu |
| --- | --- |
| *(keine)* | `giskard-checks` und Abhängigkeiten |
| `scan` | `giskard-scan` |
| `openai` / `anthropic` / … | Provider-SDKs (siehe optionale Abhängigkeiten in `pyproject.toml`) |

**Telemetrie:** optionale aggregierte Analysen über `giskard-core`. Es werden keine Prompts oder Ausgaben gesendet.
Deaktivieren mit `export DO_NOT_TRACK=1` oder `export GISKARD_TELEMETRY_DISABLED=1` (oder denselben Schlüsseln in einer `.env`-Datei im Arbeitsverzeichnis). Setzen Sie diese vor dem Import, um die Erstellung von `~/.giskard/id` zu überspringen; ein späteres Setzen stoppt dennoch weitere Sendungen.
Details: [`giskard-core` README](https://github.com/giskard-ai/giskard-oss/blob/main/libs/giskard-core/README.md#telemetry).

---

Giskard ist eine Open-Source-Python-Bibliothek zum **Testen und Evaluieren agentischer Systeme**. Die v3-Architektur ist ein modularer Satz fokussierter Pakete — jedes enthält nur die Abhängigkeiten, die es benötigt — von Grund auf neu entwickelt, um alles zu umhüllen: ein LLM, einen Black-Box-Agenten oder eine mehrstufige Pipeline.

| Status         | Paket            | Beschreibung                                                                                                                                                              |
| -------------- | ---------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| ✅ Stabil      | `giskard-checks` | Testen & Evaluieren — Szenario-API, integrierte Checks, LLM-as-Judge                                                                                                       |
| ✅ Stabil      | `giskard-scan`   | Agent-Schwachstellen-Scanner + RAG/Qualitätsbewertung — Red Teaming, Prompt Injection, Jailbreaks & schädliche Inhalte (`vulnerability_scan`, Nachfolger von [v2 Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html)), plus Wissensdatenbank-Qualitätsbewertung (`quality_scan`, Nachfolger von [v2 RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html)) |

Diese bauen auf drei grundlegenden Bibliotheken auf — `giskard-core` (gemeinsame Hilfsfunktionen & Telemetrie), `giskard-llm` (anbieterunabhängiges LLM-Routing) und `giskard-agents` (Agenten- & Workflow-Orchestrierung) — die automatisch eingebunden werden und selten direkt verwendet werden.

## Giskard Checks — Evals zum Testen von Agenten erstellen und anwenden

```sh
pip install giskard-checks
```

**[Giskard Checks](https://docs.giskard.ai/oss/checks)** ist eine leichtgewichtige Bibliothek zum Erstellen von Evaluierungen (Evals), die LLM-basierte Systeme testen – von einfachen Assertions bis hin zu LLM-as-Judge-Bewertungen. Anders als traditionelle Unit-Tests sind Evals für **nicht-deterministische Ausgaben** konzipiert, bei denen dieselbe Eingabe unterschiedliche gültige Antworten erzeugen kann.

Verwenden Sie Giskard Checks, um:

- **Regressionen zu erkennen** – überprüfen Sie, ob sich Ihr System nach Änderungen noch korrekt verhält
- **RAG-Qualität zu validieren** – prüfen Sie, ob Antworten im abgerufenen Kontext verankert sind
- **Sicherheitsregeln durchzusetzen** – stellen Sie sicher, dass Ausgaben Ihren Inhaltsrichtlinien entsprechen
- **Multi-Turn-Agenten zu evaluieren** – testen Sie vollständige Konversationen, nicht nur einzelne Austausche

Zu den integrierten Evals gehören String-Matching, Vergleiche, Regex, semantische Ähnlichkeit und LLM-as-Judge-Prüfungen (`Groundedness`, `Conformity`, `LLMJudge`).

### Konzepte

- **Target** – Ihr zu testendes System: ein beliebiges synchrones/asynchrones Callable `(inputs) -> outputs` (optional mit `trace`)
- **Scenario** – eine Eval: Interaktionen + Prüfungen
- **Check** – Assertion oder LLM-Judge über den Trace
- **Suite** – viele Szenarien, die zusammen ausgeführt werden

`giskard.agents.Generator` ist ein LLM-Client für Workflows/Judges – nicht zu verwechseln mit
den Eingabe-Generatoren von `giskard.checks` (`LLMGenerator`), die Benutzernachrichten synthetisieren.

### Schnellstart

In einem Skript ohne laufende Event-Loop:

```python
from giskard.checks import Scenario, Groundedness


def get_answer(inputs: str) -> str:
    return "Paris"  # replace with your model / agent


scenario = (
    Scenario("test_france_capital")
    .interact(inputs="What is the capital of France?", outputs=get_answer)
    .check(
        Groundedness(
            name="answer is grounded",
            context="France is in Western Europe. Its capital is Paris.",
        )
    )
)
result = scenario.run_sync()
result.print_report()
```

In einer Notebook-Zelle oder innerhalb einer asynchronen Funktion stattdessen auf das Szenario warten:

```python
result = await scenario.run()
result.print_report()
```

`Groundedness` ist ein LLM-Judge — installieren Sie ein Provider-Extra (z. B. `pip install "giskard[openai]"`) und setzen Sie den passenden API-Schlüssel. Standardmodell: `openai/gpt-4o-mini`.

Siehe die [vollständige Dokumentation](https://docs.giskard.ai/oss/checks) für `Suites`, `LLMJudge`, Multi-Turn-Szenarien und mehr.

---

## Giskard Scan — Schwachstellen-Scanner für KI-Agenten

```sh
pip install "giskard[scan]"   # or: pip install giskard-scan
```

**Giskard Scan** ist die Red-Teaming- und Schwachstellen-Scanning-Schicht für agentische Systeme. Es generiert automatisch adversarische Test-Suites aus einer Beschreibung deines Agenten in natürlicher Sprache und deckt Prompt-Injection, schädliche Inhalte, Stereotype, Fehlinformationen und mehr ab.

Verwende Giskard Scan, um:

- **Deinen Agenten einem Red-Teaming zu unterziehen** — generiere automatisch adversarische Eingaben über die OWASP LLM Top-10-Bedrohungskategorien hinweg
- **Prompt-Injection-Probes auszuführen** — integrierter Datensatz mit Injection-Payloads, sofort einsatzbereit
- **Mit benutzerdefinierten Generatoren zu erweitern** — übergib deine eigenen `ScenarioGenerator`-Instanzen an `generate_suite` oder registriere sie in `vulnerability_suite_generator_registry`

### Schnellstart

```python
import asyncio
from giskard.scan import vulnerability_scan


async def my_agent(inputs: str) -> str:
    # Replace with your agent / model call
    return f"Echo: {inputs}"


async def main() -> None:
    await vulnerability_scan(
        target=my_agent,
        description="A customer support chatbot for an e-commerce platform.",
        languages=["en"],
    )


asyncio.run(main())
```

Scan-Generatoren benötigen ebenfalls ein LLM-Provider-Extra und einen API-Schlüssel (wie die Checks-Richter oben).

## Auf der Suche nach Giskard v2?

Giskard v2 umfasste **Scan** (automatische Schwachstellenerkennung) und **RAGET** (Generierung von RAG-Evaluierungs-Testsets).

Für **LLM-Agenten** werden beide in v3 durch `giskard-scan` abgelöst: Verwenden Sie [`vulnerability_scan`](#giskard-scan--vulnerability-scanner-for-ai-agents) anstelle des v2-LLM-Scans und `quality_scan` (mit `KnowledgeBase`) anstelle von RAGET.

v3 funktioniert auch mit ML-Modellen — wrappen Sie eines als Target und evaluieren Sie es mit `giskard-checks` oder `giskard-scan`. Die folgenden Beispiele behandeln den **nur in v2 verfügbaren automatischen tabellarischen Scan** — die Detektor-Suite, die ein `giskard.Model` + `giskard.Dataset` introspektiert, um Leistungs-, Bias- und Robustheitsprobleme automatisch zu erkennen — zusammen mit der ML-Test-Suite `giskard.testing` und dem Giskard Hub. Diese sind für v3 nicht geplant.

```sh
pip install "giskard[llm]>2,<3"
```

### [Scan](https://legacy-docs.giskard.ai/en/stable/open_source/scan/index.html) — Leistungs-, Bias- und Sicherheitsprobleme automatisch erkennen

Umhüllen Sie Ihr Modell und führen Sie den Scan aus:

```python
import giskard
import pandas as pd


# Replace my_llm_chain with your actual LLM chain or model inference logic
def model_predict(df: pd.DataFrame):
    """The function takes a DataFrame and must return a list of outputs (one per row)."""
    return [my_llm_chain.run({"query": question}) for question in df["question"]]


giskard_model = giskard.Model(
    model=model_predict,
    model_type="text_generation",
    name="My LLM Application",
    description="A question answering assistant",
    feature_names=["question"],
)

scan_results = giskard.scan(giskard_model)
display(scan_results)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/0e863e60ab4173f4812139f38ba772f996644774946dc27aca07ffb1271f5626/9df9e5e47d8be5ce2e756bdd7315613fecc468a1e6096030cbc25d147a50cdf3-display-v1.webp" alt="Scan-Beispiel" width="800">
</p>

### [RAGET](https://legacy-docs.giskard.ai/en/stable/open_source/testset_generation/index.html) — Evaluierungsdatensätze für RAG-Anwendungen generieren

Automatisches Generieren von Fragen, Referenzantworten und Kontext aus Ihrer Wissensdatenbank:

```python
import pandas as pd
from giskard.rag import generate_testset, KnowledgeBase

# Load your knowledge base documents
df = pd.read_csv("path/to/your/knowledge_base.csv")
knowledge_base = KnowledgeBase.from_pandas(df, columns=["column_1", "column_2"])

testset = generate_testset(
    knowledge_base,
    num_questions=60,
    language="en",
    agent_description="A customer support chatbot for company X",
)
```

<p align="center">
  <img src="https://assets.kitploit.com/production/public/readmes/50936/65cc932276b9d3a86425700b3717748e952a622722b9e129ff43efb0fb91c4d1/1f8abfc8a571f084d70ddfe3c484ad8ecf71d362e52cebfcb8581af12be8c0e9-display-v1.webp" alt="RAGET-Beispiel" width="800">
</p>

[Vollständige v2-Dokumentation](https://legacy-docs.giskard.ai)

<h1 id="community">👋 Community</h1>

Wir freuen uns über Beiträge aus der KI-Community! Lies diese [Anleitung](https://github.com/giskard-ai/giskard-oss/blob/main/CONTRIBUTING.md), um loszulegen, und tritt unserer lebendigen Community auf [Discord](https://gisk.ar/discord) bei.

Verfolge den Fortschritt und teile dein Feedback:
[v3-Ankündigung](https://github.com/orgs/Giskard-AI/discussions/2250) · [Roadmap](https://github.com/Giskard-AI/giskard-oss/issues/2252)

🌟 [Gib uns einen Stern](https://github.com/Giskard-AI/giskard), das hilft dem Projekt, von anderen entdeckt zu werden, und motiviert uns, großartige Open-Source-Tools zu entwickeln! 🌟

❤️ Wenn du unsere Arbeit nützlich findest, erwäge bitte, uns auf GitHub zu [sponsern](https://github.com/sponsors/Giskard-AI). Mit einem monatlichen Sponsoring erhältst du ein Sponsor-Badge, kannst dein Unternehmen in dieser Readme anzeigen und deine Bug-Reports werden priorisiert. Wir bieten auch einmaliges Sponsoring an, wenn du möchtest, dass wir uns an einem Beratungsprojekt beteiligen, einen Workshop durchführen oder einen Vortrag in deinem Unternehmen halten.
Tool herunterladen