अधिक विस्तृत निर्देशों के लिए, [इंस्टॉलेशन गाइड](https://docs.nvidia.com/nemo/guardrails/get-started/installation-guide) देखें।

## अवलोकन

<!-- start-documentation-reuse -->

NeMo Guardrails लाइब्रेरी LLM-आधारित एप्लिकेशन बनाने वाले डेवलपर्स को एप्लिकेशन कोड और LLM के बीच **प्रोग्रामेबल गार्डरेल** जोड़ने में सक्षम बनाती है।

<div align="center">
  <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/programmable_guardrails.png"  width="75%" alt="Programmable Guardrails">
</div>

*प्रोग्रामेबल गार्डरेल* जोड़ने के प्रमुख लाभों में शामिल हैं:

- **विश्वसनीय, सुरक्षित और संरक्षित LLM-आधारित एप्लिकेशन बनाना:** आप बातचीत को मार्गदर्शित और संरक्षित करने के लिए रेल परिभाषित कर सकते हैं; आप अपने LLM-आधारित एप्लिकेशन के व्यवहार को विशिष्ट विषयों पर परिभाषित करना चुन सकते हैं और उसे अवांछित विषयों पर चर्चा करने से रोक सकते हैं।

- **मॉडल, चेन और अन्य सेवाओं को सुरक्षित रूप से जोड़ना:** आप एक LLM को अन्य सेवाओं (उर्फ टूल्स) से सहज और सुरक्षित रूप से जोड़ सकते हैं।

- **नियंत्रणीय संवाद:** आप LLM को पूर्व-परिभाषित संवाद पथों का पालन करने के लिए निर्देशित कर सकते हैं, जिससे आप संवाद डिज़ाइन की सर्वोत्तम प्रथाओं का पालन करते हुए इंटरैक्शन डिज़ाइन कर सकते हैं और मानक संचालन प्रक्रियाओं (जैसे, प्रमाणीकरण, सहायता) को लागू कर सकते हैं।

<!-- end-documentation-reuse -->

### LLM भेद्यताओं से सुरक्षा

NeMo Guardrails लाइब्रेरी LLM-संचालित चैट एप्लिकेशन को सामान्य LLM भेद्यताओं, जैसे jailbreaks और prompt injections से बचाने के लिए कई तंत्र प्रदान करती है। नीचे इस रिपॉजिटरी में शामिल उदाहरण [ABC Bot](https://github.com/nvidia-nemo/guardrails/blob/develop/examples/bots/abc) के लिए विभिन्न गार्डरेल कॉन्फ़िगरेशन द्वारा प्रदान की गई सुरक्षा का एक नमूना अवलोकन है। अधिक विवरण के लिए, कृपया [LLM Vulnerability Scanning](https://docs.nvidia.com/nemo/guardrails/evaluation/llm-vulnerability-scanning.html) पृष्ठ देखें।

<div align="center">
<img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/abc-llm-vulnerability-scan-results.png" width="500">
</div>

### उपयोग के मामले

आप विभिन्न प्रकार के उपयोग मामलों में प्रोग्रामेबल गार्डरेल का उपयोग कर सकते हैं:

1. **प्रश्नोत्तर** दस्तावेज़ों के एक सेट पर (उर्फ Retrieval Augmented Generation): तथ्य-जाँच और आउटपुट मॉडरेशन लागू करें।
2. **डोमेन-विशिष्ट सहायक** (उर्फ चैटबॉट): सुनिश्चित करें कि सहायक विषय पर बना रहे और डिज़ाइन किए गए संवाद प्रवाह का पालन करे।
3. **LLM एंडपॉइंट**: सुरक्षित ग्राहक इंटरैक्शन के लिए अपने कस्टम LLM में गार्डरेल जोड़ें।
4. **LangChain चेन** (वैकल्पिक): यदि आप किसी भी उपयोग मामले के लिए LangChain का उपयोग करते हैं, तो आप अपनी चेन के चारों ओर एक गार्डरेल परत जोड़ सकते हैं। इस एकीकरण को सक्षम करने के लिए, `NEMOGUARDRAILS_LLM_FRAMEWORK=langchain` पर्यावरण चर सेट करें या `set_default_framework("langchain")` कॉल करें।

### उपयोग

अपने एप्लिकेशन में प्रोग्रामेबल गार्डरेल जोड़ने के लिए आप Python API या गार्डरेल सर्वर का उपयोग कर सकते हैं (अधिक विवरण के लिए [सर्वर गाइड](https://docs.nvidia.com/nemo/guardrails/get-started/integrate-into-application) देखें)। Python API का उपयोग करना LLM का सीधे उपयोग करने के समान है। LLM के बजाय गार्डरेल परत को कॉल करने के लिए कोड बेस में केवल न्यूनतम परिवर्तन की आवश्यकता होती है, और इसमें दो सरल चरण शामिल हैं:

1. एक गार्डरेल कॉन्फ़िगरेशन लोड करना और `LLMRails` इंस्टेंस बनाना।
2. `generate`/`generate_async` विधियों का उपयोग करके LLM को कॉल करना।```python
from nemoguardrails import LLMRails, RailsConfig

# Load a guardrails configuration from the specified path.
config = RailsConfig.from_path("PATH/TO/CONFIG")
rails = LLMRails(config)

completion = rails.generate(
    messages=[{"role": "user", "content": "Hello world!"}]
)

`generate` विधि के लिए इनपुट और आउटपुट प्रारूप OpenAI के [Chat Completions API](https://platform.openai.com/docs/guides/gpt/chat-completions-api) के समान है।

#### Async API

NeMo Guardrails लाइब्रेरी एक async-first टूलकिट है, क्योंकि इसकी मूल कार्यप्रणाली Python async मॉडल का उपयोग करके लागू की गई है। सार्वजनिक विधियों के sync और async दोनों संस्करण उपलब्ध हैं। उदाहरण के लिए: `LLMRails.generate` और `LLMRails.generate_async`।

### समर्थित LLMs

आप NeMo Guardrails का उपयोग कई LLMs जैसे OpenAI GPT-3.5, GPT-4, LLaMa-2, Falcon, Vicuna, या Mosaic के साथ कर सकते हैं। अधिक विवरण के लिए, कॉन्फ़िगरेशन गाइड में [Supported LLM Models](https://docs.nvidia.com/nemo/guardrails/about-nemo-guardrails-library/supported-llms) अनुभाग देखें।

### गार्डरेल्स के प्रकार

NeMo Guardrails लाइब्रेरी पाँच मुख्य प्रकार के गार्डरेल्स का समर्थन करती है:

<div align="center">
  <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/programmable_guardrails_flow.png"  width="75%" alt="Programmable Guardrails Flow">
</div>

1. **Input rails**: उपयोगकर्ता से प्राप्त इनपुट पर लागू; एक input rail इनपुट को अस्वीकार कर सकता है, जिससे आगे की कोई भी प्रक्रिया रुक जाती है, या इनपुट को बदल सकता है (जैसे, संभावित संवेदनशील डेटा को मास्क करना, पुनः शब्दांकन करना)।

2. **Dialog rails**: प्रभावित करते हैं कि LLM को कैसे प्रॉम्प्ट किया जाता है; dialog rails कैनोनिकल फॉर्म संदेशों पर कार्य करते हैं, विवरण के लिए [Colang Guide](https://docs.nvidia.com/nemo/guardrails/configure-guardrails/colang)) देखें, और यह निर्धारित करते हैं कि कोई क्रिया निष्पादित की जानी चाहिए, क्या अगला चरण या प्रतिक्रिया उत्पन्न करने के लिए LLM को बुलाया जाना चाहिए, क्या इसके बजाय कोई पूर्वनिर्धारित प्रतिक्रिया उपयोग की जानी चाहिए, आदि।

3. **Retrieval rails**: RAG (Retrieval Augmented Generation) परिदृश्य में प्राप्त चंक्स पर लागू; एक retrieval rail किसी चंक को अस्वीकार कर सकता है, जिससे उसे LLM को प्रॉम्प्ट करने के लिए उपयोग होने से रोका जा सके, या प्रासंगिक चंक्स को बदल सकता है (जैसे, संभावित संवेदनशील डेटा को मास्क करना)।

4. **Execution rails**: कस्टम एक्शन्स (उर्फ टूल्स) के इनपुट/आउटपुट पर लागू, जिन्हें LLM द्वारा कॉल किए जाने की आवश्यकता होती है।

5. **Output rails**: LLM द्वारा उत्पन्न आउटपुट पर लागू; एक output rail आउटपुट को अस्वीकार कर सकता है, जिससे उसे उपयोगकर्ता को लौटाए जाने से रोका जा सके, या उसे बदल सकता है (जैसे, संवेदनशील डेटा हटाना)।

### गार्डरेल्स कॉन्फ़िगरेशन

एक गार्डरेल्स कॉन्फ़िगरेशन उपयोग किए जाने वाले **LLM(s)** और **एक या अधिक गार्डरेल्स** को परिभाषित करता है। एक गार्डरेल्स कॉन्फ़िगरेशन में कितने भी input/dialog/output/retrieval/execution rails शामिल हो सकते हैं। बिना किसी कॉन्फ़िगर किए गए rails वाला कॉन्फ़िगरेशन अनिवार्य रूप से अनुरोधों को सीधे LLM को अग्रेषित कर देगा।

गार्डरेल्स कॉन्फ़िगरेशन फ़ोल्डर की मानक संरचना इस प्रकार दिखती है:```
.
├── config
│   ├── actions.py
│   ├── config.py
│   ├── config.yml
│   ├── rails.co
│   ├── ...

गार्डरेल कॉन्फ़िगरेशन में शामिल `.co` फ़ाइलों में Colang परिभाषाएँ होती हैं (Colang क्या है इसका त्वरित अवलोकन अगले अनुभाग में देखें) जो विभिन्न प्रकार के रेल्स को परिभाषित करती हैं। नीचे एक उदाहरण `greeting.co` फ़ाइल दी गई है जो उपयोगकर्ता का अभिवादन करने के लिए डायलॉग रेल्स को परिभाषित करती है।```colang
define user express greeting
  "Hello!"
  "Good afternoon!"

define flow
  user express greeting
  bot express greeting
  bot offer to help

define bot express greeting
  "Hello there!"

define bot offer to help
  "How can I help you today?"

### Colang

विभिन्न प्रकार के गार्डरेल्स को कॉन्फ़िगर और कार्यान्वित करने के लिए, यह टूलकिट **Colang** नामक एक मॉडलिंग भाषा प्रस्तुत करता है, जो विशेष रूप से लचीले, फिर भी नियंत्रणीय, संवाद प्रवाहों को डिज़ाइन करने के लिए बनाई गई है। Colang में पायथन-जैसा सिंटैक्स है और इसे सरल और सहज बनाने के लिए डिज़ाइन किया गया है, विशेष रूप से डेवलपर्स के लिए।```{note}
Two versions of Colang, 1.0 and 2.0, are supported and Colang 1.0 is the default.

लाइब्रेरी में LLM स्व-जाँच (इनपुट/आउटपुट मॉडरेशन, तथ्य-जाँच, भ्रम (हैलुसिनेशन) का पता लगाना), NVIDIA सुरक्षा मॉडल (सामग्री सुरक्षा, विषय सुरक्षा), जेलब्रेक और इंजेक्शन का पता लगाना, तथा सामुदायिक मॉडलों और तृतीय-पक्ष API के साथ एकीकरण के लिए गार्डरेल शामिल हैं। पूरी सूची के लिए, [Guardrails Library दस्तावेज़](https://docs.nvidia.com/nemo/guardrails/user-guides/guardrails-library.html) देखें।

## CLI

NeMo Guardrails लाइब्रेरी भी एक अंतर्निहित CLI के साथ आती है।```bash
$ nemoguardrails --help

Usage: nemoguardrails [OPTIONS] COMMAND [ARGS]...

actions-server    Start a NeMo Guardrails actions server.
chat              Start an interactive chat session.
evaluate          Run an evaluation task.
server            Start a NeMo Guardrails server.

उदाहरण के लिए, `sample` कॉन्फ़िग के लिए chat completion प्राप्त करने हेतु, आप `/v1/chat/completions` एंडपॉइंट का उपयोग कर सकते हैं:```
POST /v1/chat/completions

नमूना आउटपुट:```json
{"role": "assistant", "content": "Hi! How can I help you?"}

Set the opt-out before the NVIDIA NeMo Guardrails library starts. Changing environment variables or creating `do_not_track` after telemetry has started does not stop an already-running heartbeat thread.

पूर्ण schema और field-by-field विवरण के लिए [docs/telemetry.md](https://docs.nvidia.com/nemo/guardrails/latest/telemetry.html) देखें।

आप किसी भी समय टेलीमेट्री संग्रह से ऑप्ट-आउट कर सकते हैं। ऑप्ट-आउट केवल NVIDIA NeMo Guardrails लाइब्रेरी द्वारा स्वयं डेटा संग्रह पर लागू होता है।

थर्ड-पार्टी एंडपॉइंट्स की अलग शर्तें और गोपनीयता प्रथाएँ होती हैं। NVIDIA NeMo Guardrails लाइब्रेरी NVIDIA Build (`build.nvidia.com`) जैसे inference endpoints का उपयोग कर सकती है। यदि आप NVIDIA Build या किसी अन्य थर्ड-पार्टी एंडपॉइंट का उपयोग करते हैं, तो उस एंडपॉइंट की सेवा शर्तें और गोपनीयता प्रथाएँ लाइब्रेरी से स्वतंत्र रूप से लागू होती हैं। NVIDIA NeMo Guardrails लाइब्रेरी में कोई भी टेलीमेट्री ऑप्ट-आउट आपके द्वारा चुने गए एंडपॉइंट तक विस्तारित नहीं होता। NVIDIA Build केवल मूल्यांकन और परीक्षण के लिए है और इसे प्रोडक्शन वातावरण में उपयोग नहीं किया जाना चाहिए। NVIDIA Build का उपयोग करते समय गोपनीय जानकारी या व्यक्तिगत डेटा जमा न करें।

## समुदाय को योगदान के लिए आमंत्रित करना

रिपॉजिटरी में मौजूद उदाहरण rails उत्कृष्ट प्रारंभिक बिंदु हैं। हम समुदाय को उत्साहपूर्वक योगदान के लिए आमंत्रित करते हैं ताकि भरोसेमंद, सुरक्षित और संरक्षित LLMs की शक्ति सभी के लिए सुलभ हो सके। डेवलपमेंट वातावरण स्थापित करने और NeMo Guardrails लाइब्रेरी में योगदान करने के तरीके के मार्गदर्शन के लिए, [योगदान दिशानिर्देश](https://github.com/nvidia-nemo/guardrails/blob/develop/CONTRIBUTING.md) देखें।

## लाइसेंस

NeMo Guardrails लाइब्रेरी [Apache License, Version 2.0](http://www.apache.org/licenses/LICENSE-2.0) के तहत लाइसेंस प्राप्त है।

## उद्धरण कैसे करें

यदि आप NeMo Guardrails लाइब्रेरी का उपयोग करते हैं, तो इसे प्रस्तुत करने वाले [EMNLP 2023 paper](https://aclanthology.org/2023.emnlp-demo.40) का उद्धरण दें।```bibtex
@inproceedings{rebedea-etal-2023-nemo,
    title = "{N}e{M}o Guardrails: A Toolkit for Controllable and Safe {LLM} Applications with Programmable Rails",
    author = "Rebedea, Traian  and
      Dinu, Razvan  and
      Sreedhar, Makesh Narsimhan  and
      Parisien, Christopher  and
      Cohen, Jonathan",
    editor = "Feng, Yansong  and
      Lefever, Els",
    booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = dec,
    year = "2023",
    address = "Singapore",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.emnlp-demo.40",
    doi = "10.18653/v1/2023.emnlp-demo.40",
    pages = "431--445",
}