
Guardrails v0.24.1
适用于 LLM 聊天应用的可编程护栏:强制执行输入/输出轨道,阻止越狱攻击和提示注入,检测幻觉,并屏蔽敏感数据。
NVIDIA NeMo Guardrails 库
文档 · 快速入门 · 使用场景 · 集成 · 护栏目录 · 示例 · 社区 · 安全 · 版本发布 · 更新日志
NeMo Guardrails 是一个开源库,用于为 LLM 和智能体应用施加可编程的安全与安保控制。智能体会运行命令、调用 API、查询你的数据并读取网页。对话式应用会执行输入和输出检查;检索增强生成(RAG)系统会过滤检索到的内容,并依据证据核对答案。
你可以使用 NeMo Guardrails 库在策略中声明每个智能体可以执行哪些操作,将低延迟的本地规则与基于模型的检查相结合,以防范越狱、注入指令和不安全的工具调用。你的应用或智能体框架会运行这些检查,并利用检查结果决定是否继续。
pip install nemoguardrails
需要 Python 3.11–3.13。有关可选包和设置,请参阅安装指南。
[!NOTE] 版本 0.25.0 弃用
LLMRails,计划最早在 0.27.0 中移除。新集成请使用Guardrails,并遵循迁移指南。
你可以构建什么
- AI 智能体和编码助手: 使用工具护栏检查提议的工具调用和返回结果,或通过钩子服务器连接智能体。
- 对话式应用: 应用输入和输出检查。
- 检索增强生成(RAG): 检测或掩码检索内容中的敏感数据,并检查答案是否有证据支撑。
工作原理
使用 NVIDIA NeMo Guardrails 库在配置文件中定义你的策略,这些文件指定要使用的护栏、模型和提示词。 在 Python 应用中运行该库,或将其部署为服务器。 根据你的应用如何管理模型请求,选择检查模式或代理模式。
检查模式
你的应用或智能体框架直接调用 LLM 并执行工具。 在每个需要策略决策的节点,将相关提示词、模型响应、工具调用或工具结果发送到库进行检查。 使用检查结果在执行工具、返回响应或将工具结果传递给模型之前处理被阻止或修改的内容。
在 Python 中使用 check_async(),在 Guardrails 服务器上使用 POST /v1/checks,或为编码智能体使用钩子服务器。
使用 check_async() 进行工具检查时,请使用 IORails 引擎,并在 rail_types 中指定 RailType.TOOL_CALL 或 RailType.TOOL_RESULT。
在执行前检查工具调用,在执行后检查工具结果。

代理模式
将模型请求路由到库中,以应用已配置的输入和输出护栏。 输入护栏可以在请求到达应用 LLM 之前阻止该请求。 对于非流式请求,输出护栏在库返回响应之前检查该响应。 被阻止的内容会产生拒绝或错误,具体取决于集成方式和配置。
在 Python 中使用 generate_async() 或 stream_async(),或在 Guardrails 服务器上使用 POST /v1/chat/completions。
你的应用执行工具;受支持的集成可以检查模型响应中的工具调用以及后续请求中的工具结果。
网关服务器也支持 POST /v1/chat/completions 和 POST /v1/responses,但其内置配置文件不支持工具内容。
每个网关 /v1/responses 请求都必须包含 "store": false。
当为 stream_async() 启用输出流式传输时,默认的 stream_first: true 设置会在检查之前交付数据块。
要在交付前检查每个数据块,请设置 rails.output.streaming.stream_first: false。
有关配置详情,请参阅输出护栏流式传输。

延迟取决于所配置的规则、模型和服务。 Rail 支持因引擎和集成方式而异。 请参阅 rail 引擎支持、配置 和 选择你的集成方式。
为什么选择 NeMo Guardrails
- 管控智能体的行为。 在执行前校验工具名称和参数模式。检查工具结果,并在将结果返回给模型之前应用按工具划分的策略。
- 保留你的模型和智能体循环。 使用无需主模型生成的检查为现有应用添加护栏。由模型支持的检查仍会调用其配置的模型或服务。
- 按需组合策略。 将本地正则和 CEL 规则与安全模型及第三方检查相结合。
- 连接你的运行时。 为你的应用、共享服务或编码智能体选择合适的集成方式。
- 开放且由你运行。 该库采用 Apache 2.0 许可证。选择受支持的模型提供商,并使用本地检测器或托管推理端点运行检查。
快速开始
在无需模型或 API 密钥的情况下,检查客服智能体提出的退款是否符合 500 美元限额。 为此示例安装可选的 CEL 附加组件:
pip install "nemoguardrails[cel]"
该示例验证工具的参数 schema,并拦截超过限额的调用。将其扩展并保存为 check_refund.py:
完整的 Python 示例
import asyncio
import json
from nemoguardrails import Guardrails, RailsConfig
from nemoguardrails.rails.llm.options import RailStatus, RailType
config = RailsConfig.from_content(yaml_content="""
models: []
rails:
tool_call:
flows: [tool call validation]
per_tool:
issue_refund: [cel check tool call]
config:
cel:
tool_call:
issue_refund:
expressions: ["args.amount > 500"]
""")
TOOLS = [{
"type": "function",
"function": {
"name": "issue_refund",
"parameters": {
"type": "object",
"properties": {"amount": {"type": "number", "minimum": 0}},
"required": ["amount"],
"additionalProperties": False,
},
},
}]