Libreria NVIDIA NeMo Guardrails

Per istruzioni più dettagliate, consulta la [Guida all'installazione](https://docs.nvidia.com/nemo/guardrails/get-started/installation-guide). ## Panoramica  La libreria NeMo Guardrails consente agli sviluppatori che creano applicazioni basate su LLM di aggiungere **guardrail programmabili** tra il codice applicativo e l'LLM. <div align="center"> <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/programmable_guardrails.png" width="75%" alt="Programmable Guardrails"> </div> I principali vantaggi dell'aggiunta di *guardrail programmabili* includono: - **Creare applicazioni basate su LLM affidabili, sicure e protette:** puoi definire guardrail per guidare e salvaguardare le conversazioni; puoi scegliere di definire il comportamento della tua applicazione basata su LLM su argomenti specifici e impedirle di intraprendere discussioni su argomenti indesiderati. - **Connettere modelli, chain e altri servizi in modo sicuro:** puoi connettere un LLM ad altri servizi (detti anche strumenti) in modo fluido e sicuro. - **Dialogo controllabile:** puoi guidare l'LLM a seguire percorsi conversazionali predefiniti, permettendoti di progettare l'interazione seguendo le migliori pratiche di progettazione conversazionale e di applicare procedure operative standard (ad esempio autenticazione, supporto).  ### Protezione dalle vulnerabilità degli LLM La libreria NeMo Guardrails offre diversi meccanismi per proteggere un'applicazione di chat basata su LLM dalle vulnerabilità comuni degli LLM, come i jailbreak e le injection di prompt. Di seguito è riportata una panoramica di esempio della protezione offerta dalle diverse configurazioni di guardrail per il [Bot ABC](https://github.com/nvidia-nemo/guardrails/blob/develop/examples/bots/abc) incluso in questo repository. Per maggiori dettagli, consulta la pagina [Scansione delle vulnerabilità degli LLM](https://docs.nvidia.com/nemo/guardrails/evaluation/llm-vulnerability-scanning.html). <div align="center"> <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/abc-llm-vulnerability-scan-results.png" width="500"> </div> ### Casi d'uso Puoi utilizzare i guardrail programmabili in diversi tipi di casi d'uso: 1. **Risposta a domande** su un insieme di documenti (nota anche come Retrieval Augmented Generation): applica il fact-checking e la moderazione dell'output. 2. **Assistenti specifici per dominio** (detti anche chatbot): garantisci che l'assistente rimanga sull'argomento e segua i flussi conversazionali progettati. 3. **Endpoint LLM**: aggiungi guardrail al tuo LLM personalizzato per un'interazione più sicura con i clienti. 4. **LangChain Chains** (opzionale): se utilizzi LangChain per qualsiasi caso d'uso, puoi aggiungere un livello di guardrail attorno alle tue chain. Per abilitare questa integrazione, imposta la variabile d'ambiente `NEMOGUARDRAILS_LLM_FRAMEWORK=langchain` oppure chiama `set_default_framework("langchain")`. ### Utilizzo Per aggiungere guardrail programmabili alla tua applicazione puoi utilizzare l'API Python o un server di guardrail (vedi la [Guida al server](https://docs.nvidia.com/nemo/guardrails/get-started/integrate-into-application) per maggiori dettagli). Usare l'API Python è simile all'utilizzo diretto dell'LLM. Chiamare il livello di guardrail invece dell'LLM richiede solo modifiche minime al codice e prevede due semplici passaggi: 1. Caricare una configurazione di guardrail e creare un'istanza `LLMRails`. 2. Effettuare le chiamate all'LLM utilizzando i metodi `generate`/`generate_async`.```python from nemoguardrails import LLMRails, RailsConfig # Load a guardrails configuration from the specified path. config = RailsConfig.from_path("PATH/TO/CONFIG") rails = LLMRails(config) completion = rails.generate( messages=[{"role": "user", "content": "Hello world!"}] )

Il formato di input e output per il metodo `generate` è simile alla [Chat Completions API](https://platform.openai.com/docs/guides/gpt/chat-completions-api) di OpenAI. #### API asincrona La libreria NeMo Guardrails è un toolkit basato sull'async: i meccanismi principali sono implementati usando il modello asincrono di Python. I metodi pubblici hanno sia una versione sincrona sia una asincrona. Ad esempio: `LLMRails.generate` e `LLMRails.generate_async`. ### LLM supportati Puoi usare NeMo Guardrails con diversi LLM come OpenAI GPT-3.5, GPT-4, LLaMa-2, Falcon, Vicuna o Mosaic. Per maggiori dettagli, consulta la sezione [Modelli LLM supportati](https://docs.nvidia.com/nemo/guardrails/about-nemo-guardrails-library/supported-llms) nella Guida di configurazione. ### Tipi di guardrail La libreria NeMo Guardrails supporta cinque tipi principali di guardrail: <div align="center"> <img src="https://raw.githubusercontent.com/NVIDIA-NeMo/Guardrails/develop/docs/_static/images/programmable_guardrails_flow.png" width="75%" alt="Programmable Guardrails Flow"> </div> 1. **Input rails**: applicati all'input dell'utente; un input rail può rifiutare l'input, interrompendo qualsiasi ulteriore elaborazione, oppure alterare l'input (ad es., per mascherare dati potenzialmente sensibili, per riformularlo). 2. **Dialog rails**: influenzano il modo in cui l'LLM viene interrogato; i dialog rails operano su messaggi in forma canonica (per i dettagli vedere [Guida Colang](https://docs.nvidia.com/nemo/guardrails/configure-guardrails/colang)) e determinano se un'azione deve essere eseguita, se l'LLM deve essere invocato per generare il passo successivo o una risposta, se invece deve essere utilizzata una risposta predefinita, ecc. 3. **Retrieval rails**: applicati ai chunk recuperati nel caso di uno scenario RAG (Retrieval Augmented Generation); un retrieval rail può rifiutare un chunk, impedendo che venga usato per il prompt dell'LLM, oppure alterare i chunk pertinenti (ad es., per mascherare dati potenzialmente sensibili). 4. **Execution rails**: applicati all'input/output delle azioni personalizzate (a.k.a. tools) che devono essere chiamate dall'LLM. 5. **Output rails**: applicati all'output generato dall'LLM; un output rail può rifiutare l'output, impedendo che venga restituito all'utente, oppure alterarlo (ad es., rimuovendo dati sensibili). ### Configurazione dei guardrails Una configurazione dei guardrails definisce l'**LLM (o gli LLM)** da utilizzare e **uno o più guardrails**. Una configurazione dei guardrails può includere un qualsiasi numero di input/dialog/output/retrieval/execution rails. Una configurazione senza alcun rail configurato inoltrerà sostanzialmente le richieste all'LLM. La struttura standard per una cartella di configurazione dei guardrails è la seguente:``` . ├── config │ ├── actions.py │ ├── config.py │ ├── config.yml │ ├── rails.co │ ├── ...

Imposta l'opt-out prima che la libreria NVIDIA NeMo Guardrails venga avviata. Modificare le variabili d'ambiente o creare `do_not_track` dopo che la telemetria è stata avviata non ferma un thread di heartbeat già in esecuzione. Fai riferimento a [docs/telemetry.md](https://docs.nvidia.com/nemo/guardrails/latest/telemetry.html) per lo schema completo e le descrizioni campo per campo. Puoi rinunciare alla raccolta di telemetria in qualsiasi momento. La rinuncia si applica solo alla raccolta di dati da parte della libreria NVIDIA NeMo Guardrails stessa. Gli endpoint di terze parti hanno termini e pratiche sulla privacy separati. La libreria NVIDIA NeMo Guardrails può utilizzare endpoint di inferenza come NVIDIA Build (`build.nvidia.com`). Se utilizzi NVIDIA Build o un altro endpoint di terze parti, i termini di servizio e le pratiche sulla privacy di tale endpoint si applicano indipendentemente dalla libreria. Qualsiasi opt-out della telemetria nella libreria NVIDIA NeMo Guardrails non si estende all'endpoint che scegli. NVIDIA Build è destinato esclusivamente alla valutazione e ai test e non deve essere utilizzato in ambienti di produzione. Non inviare informazioni riservate o dati personali quando utilizzi NVIDIA Build. ## Invitare la community a contribuire Le rails di esempio presenti nel repository sono ottimi punti di partenza. Invitiamo con entusiasmo la community a contribuire per rendere accessibile a tutti la potenza di LLM affidabili, sicuri e protetti. Per indicazioni su come configurare un ambiente di sviluppo e su come contribuire alla libreria NeMo Guardrails, consulta le [linee guida per i contributi](https://github.com/nvidia-nemo/guardrails/blob/develop/CONTRIBUTING.md). ## Licenza La libreria NeMo Guardrails è concessa in licenza secondo i termini della [Apache License, Version 2.0](http://www.apache.org/licenses/LICENSE-2.0). ## Come citare Se utilizzi la libreria NeMo Guardrails, cita il [paper EMNLP 2023](https://aclanthology.org/2023.emnlp-demo.40) che la introduce.```bibtex @inproceedings{rebedea-etal-2023-nemo, title = "{N}e{M}o Guardrails: A Toolkit for Controllable and Safe {LLM} Applications with Programmable Rails", author = "Rebedea, Traian and Dinu, Razvan and Sreedhar, Makesh Narsimhan and Parisien, Christopher and Cohen, Jonathan", editor = "Feng, Yansong and Lefever, Els", booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: System Demonstrations", month = dec, year = "2023", address = "Singapore", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2023.emnlp-demo.40", doi = "10.18653/v1/2023.emnlp-demo.40", pages = "431--445", }

Guardrails

Più Popolari

Requisiti

Installazione

config.yml

Input rails are invoked when new input from the user is received.

Output rails are triggered after a bot message has been generated.

Libreria di Guardrails

Server Guardrails

Docker

Integrazione con LangChain (Opzionale)

Valutazione

In cosa differisce?

Per saperne di più

Telemetria e privacy

Snapshot dell'utilizzo della community

or

or