NVIDIA NeMo Guardrails Bibliothek

NEUESTE VERSION / ENTWICKLUNGSVERSION: Der Branch develop verfolgt die neueste Entwicklung auf dem aktuellen Stand. Die zuletzt veröffentlichte Version ist 0.24.1.

✨✨✨

📌 Die offizielle Dokumentation der NeMo Guardrails Bibliothek ist verfügbar unter docs.nvidia.com/nemo/guardrails.

✨✨✨

Die NVIDIA NeMo Guardrails Bibliothek ist ein Open-Source-Toolkit, mit dem sich auf einfache Weise programmierbare Guardrails zu LLM-basierten Konversationsanwendungen hinzufügen lassen. Guardrails (oder kurz „Rails") sind spezifische Möglichkeiten, die Ausgabe eines großen Sprachmodells zu steuern, beispielsweise nicht über Politik zu sprechen, auf bestimmte Benutzeranfragen in einer bestimmten Weise zu reagieren, einem vordefinierten Dialogpfad zu folgen, einen bestimmten Sprachstil zu verwenden, strukturierte Daten zu extrahieren und vieles mehr.

Dieses Paper stellt die NeMo Guardrails Bibliothek vor und enthält einen technischen Überblick über das System sowie die aktuelle Evaluierung.

Anforderungen

Python 3.10, 3.11, 3.12 oder 3.13.

Installation

Zur Installation mit pip:```bash

pip install nemoguardrails

Detailliertere Anweisungen findest du im [Installationsleitfaden](https://docs.nvidia.com/nemo/guardrails/get-started/installation-guide).

## Überblick

<!-- start-documentation-reuse -->

Die NeMo Guardrails-Bibliothek ermöglicht es Entwicklern, die LLM-basierte Anwendungen erstellen, **programmierbare Guardrails** zwischen dem Anwendungscode und dem LLM hinzuzufügen.

<div align="center">
  <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/programmable_guardrails.png"  width="75%" alt="Programmable Guardrails">
</div>

Zu den wichtigsten Vorteilen der Hinzufügung von *programmierbaren Guardrails* gehören:

- **Aufbau vertrauenswürdiger, sicherer und geschützter LLM-basierter Anwendungen:** Du kannst Rails definieren, um Gespräche zu lenken und abzusichern; du kannst das Verhalten deiner LLM-basierten Anwendung zu bestimmten Themen festlegen und verhindern, dass sie sich an Diskussionen über unerwünschte Themen beteiligt.

- **Modelle, Chains und andere Dienste sicher verbinden:** Du kannst ein LLM nahtlos und sicher mit anderen Diensten (auch bekannt als Tools) verbinden.

- **Kontrollierbarer Dialog**: Du kannst das LLM dazu anleiten, vordefinierten Gesprächspfaden zu folgen, sodass du die Interaktion nach Best Practices des Conversation Designs gestalten und Standardarbeitsanweisungen (z. B. Authentifizierung, Support) durchsetzen kannst.

<!-- end-documentation-reuse -->

### Schutz vor LLM-Schwachstellen

Die NeMo Guardrails-Bibliothek bietet mehrere Mechanismen zum Schutz einer LLM-gestützten Chat-Anwendung vor gängigen LLM-Schwachstellen wie Jailbreaks und Prompt-Injections. Nachfolgend findest du eine beispielhafte Übersicht über den Schutz, den verschiedene Guardrails-Konfigurationen für den in diesem Repository enthaltenen Beispiel-[ABC Bot](https://github.com/nvidia-nemo/guardrails/blob/develop/examples/bots/abc) bieten. Weitere Details findest du auf der Seite [LLM Vulnerability Scanning](https://docs.nvidia.com/nemo/guardrails/evaluation/llm-vulnerability-scanning.html).

<div align="center">
<img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/abc-llm-vulnerability-scan-results.png" width="500">
</div>

### Anwendungsfälle

Du kannst programmierbare Guardrails in verschiedenen Arten von Anwendungsfällen einsetzen:

1. **Fragebeantwortung** über eine Reihe von Dokumenten (auch bekannt als Retrieval Augmented Generation): Durchsetzung von Faktenprüfung und Output-Moderation.
2. **Domänenspezifische Assistenten** (auch bekannt als Chatbots): Stelle sicher, dass der Assistent beim Thema bleibt und den gestalteten Gesprächsabläufen folgt.
3. **LLM-Endpunkte**: Füge Guardrails zu deinem benutzerdefinierten LLM hinzu, um eine sicherere Kundeninteraktion zu ermöglichen.
4. **LangChain Chains** (optional): Wenn du LangChain für einen Anwendungsfall verwendest, kannst du eine Guardrails-Schicht um deine Chains hinzufügen. Um diese Integration zu aktivieren, setze die Umgebungsvariable `NEMOGUARDRAILS_LLM_FRAMEWORK=langchain` oder rufe `set_default_framework("langchain")` auf.

### Verwendung

Um programmierbare Guardrails zu deiner Anwendung hinzuzufügen, kannst du die Python-API oder einen Guardrails-Server verwenden (siehe den [Server Guide](https://docs.nvidia.com/nemo/guardrails/get-started/integrate-into-application) für weitere Details). Die Verwendung der Python-API ähnelt der direkten Verwendung des LLM. Der Aufruf der Guardrails-Schicht anstelle des LLM erfordert nur minimale Änderungen an der Codebasis und umfasst zwei einfache Schritte:

1. Laden einer Guardrails-Konfiguration und Erstellen einer `LLMRails`-Instanz.
2. Aufrufen des LLM mithilfe der Methoden `generate`/`generate_async`.```python
from nemoguardrails import LLMRails, RailsConfig

# Load a guardrails configuration from the specified path.
config = RailsConfig.from_path("PATH/TO/CONFIG")
rails = LLMRails(config)

completion = rails.generate(
    messages=[{"role": "user", "content": "Hello world!"}]
)

Beispielausgabe:```json {"role": "assistant", "content": "Hi! How can I help you?"}

Das Eingabe- und Ausgabeformat für die `generate`-Methode ähnelt der [Chat Completions API](https://platform.openai.com/docs/guides/gpt/chat-completions-api) von OpenAI.

#### Async API

Die NeMo Guardrails-Bibliothek ist ein Async-First-Toolkit, da die Kernmechanismen unter Verwendung des Python-Async-Modells implementiert sind. Die öffentlichen Methoden verfügen sowohl über eine synchrone als auch über eine asynchrone Version. Zum Beispiel: `LLMRails.generate` und `LLMRails.generate_async`.

### Unterstützte LLMs