gpt-laboratory/trustworthyragUn agent d'évaluation pour détecter la désinformation et l'empoisonnement des connaissances dans les systèmes de génération augmentée par récupération.
Un agent d'évaluation pour détecter la désinformation et l'empoisonnement des connaissances dans les systèmes de génération augmentée par récupération.
Ce projet implémente le cadre Trustworthy RAG avec un agent d'évaluation intégré qui évalue la fiabilité des réponses RAG à l'aide de trois composants d'analyse complémentaires :
Le système produit un score de confiance (0-1) pour chaque réponse RAG, permettant la détection automatisée des attaques par empoisonnement des connaissances et des contenus hallucinés.
Ce dépôt constitue l'artefact de recherche de l'article de conférence ICSEA 2026 du même titre. Voir [Conference_ICSEA2026/](https://github.com/gpt-laboratory/trustworthyrag/blob/main/Conference_ICSEA2026) pour les sources LaTeX, et la section Article ci-dessous.
User Query
|
v
+-------------------+
| RETRIEVER | Embedding (MiniLM-L6-v2 or Snowflake Arctic Embed2) + FAISS
+--------+----------+
|
v
+-------------------+
| GENERATOR | Llama 3.3 70B / Qwen 3.5 35B / Mistral 7B Instruct via FARMI API
+--------+----------+
|
v
+--------------------------------------------+
| EVALUATION AGENT |
| |
| NLI Verifier Poison Detector |
| (factuality) (5 detection methods) |
| | | |
| v v |
| Trust Index Calculator |
| T = 0.4*F + 0.35*C + 0.25*(1-P) |
+--------------------------------------------+
|
v
Answer + Trust Score + Evaluation Report
src/
retriever/ # Document retrieval (embeddings, FAISS, chunking)
generator/ # LLM response generation (FARMI client, prompts)
evaluation_agent/ # Core evaluation (NLI, poison detection, trust index)
experiments/ # Experiment framework (poisoned datasets, runner)
pipeline/ # End-to-end RAG pipeline orchestrator
tests/ # Unit tests (78 tests, pytest)
configs/config.yaml # All configuration parameters
figures/ # Auto-generated charts (7 figures, 300 DPI)
run_experiment.py # Experiment CLI (main entry point)
generate_charts.py # Visualization generator
requirements.txt # Python dependencies
# Create and activate virtual environment
python -m venv venv
.\venv\Scripts\Activate.ps1 # Windows PowerShell
# source venv/bin/activate # Linux/Mac
# Install dependencies
pip install -r requirements.txt
# Configure FARMI API access (required for LLM generation)
# Copy the template and fill in your own credentials:
# cp .env.example .env # then edit .env and set FARMI_API_KEY
# The .env file is .gitignored - never commit it or hardcode keys in source.
python run_experiment.py --all
Ceci exécute toutes les expériences et génère automatiquement les graphiques :
python run_experiment.py --quick # Quick test (10 samples)
python run_experiment.py --samples 30 # Custom sample count
python run_experiment.py --per-strategy # Per-strategy breakdown only
python run_experiment.py --fever # Include FEVER dataset
python run_experiment.py --ablation # Ablation study only
python run_experiment.py --grid # 2x2 factorial grid (all LLM x embedding combos)
python run_experiment.py --grid --samples 50 # Full grid run (100 samples per config)
L'invite interactive vous permet de sélectionner :
Vous pouvez également fixer le générateur de manière non interactive via la variable d'environnement LLM_MODEL (correspondant à configs/config.yaml et à MODEL_DESCRIPTIONS de run_experiment.py) :
$env:LLM_MODEL = "mistral-7b-instruct" # or "qwen3.5:35b", "llama3.3:70b"
python run_experiment.py --all
Reproduisez l'expérience de l'assistant de codage sécurisé (40 règles OWASP/CWE) depuis la racine du projet. Elle réutilise le ExperimentRunner et le PoisonedDatasetGenerator existants et écrit les résultats dans data/experiments/seccode_*.json :
$env:LLM_MODEL = "llama3.3:70b"; $env:HF_HUB_OFFLINE = "1"; $env:TRANSFORMERS_OFFLINE = "1"
python Conference_ICSEA2026/run_seccode_usecase.py
# Set $env:SECCODE_N = "4" first for a quick smoke run over a few rules.
python generate_charts.py
pytest # All tests (includes slow model-loading tests)
pytest -m "not slow" # Fast tests only (~0.4s)
pytest --cov=src # With coverage report
| Jeu de données | Exactitude | Précision | Rappel | Score F1 | vs. Ligne de base |
|---|---|---|---|---|---|
| TruthfulQA (mixte) | 91% | 100% | 40% | 57.1% | +7% |
| FEVER (exécution complète) | 73% | 20% | 26.7% | 22.9% | −12% |
Ligne de base naïve qui fait toujours confiance : 85 % (TruthfulQA), 85 % (FEVER). FEVER obtient des résultats inférieurs à la ligne de base — l'indice de confiance nécessite un calibrage spécifique au domaine pour les affirmations factuelles courtes.
Avec des intervalles de confiance à 95 % (Wilson pour les proportions, bootstrap par centiles B=20,000 pour le F1), le résultat principal de TruthfulQA en configuration mixte est : exactitude 91 % (IC 83.8–95.2), rappel 40 % (IC 19.8–64.3), F1 57.1 % (IC 25.0–80.0), Δ=0.225. Les intervalles sont larges car chaque exécution ne comporte que 15 échantillons empoisonnés ; nous les rapportons donc pour éviter de surestimer la précision.
| Stratégie | Exactitude | Précision | Rappel | F1 | Séparation |
|---|---|---|---|---|---|
| Injection | 99% | 93.8% | 100% | 96.8% | 0.498 |
| Contradiction | 92% | 88.9% | 53.3% | 66.7% | 0.311 |
| Subtile | 88% | 100% | 20.0% | 33.3% | 0.149 |
| Échange d'entités | 85% | — | 0% | 0% | 0.053 |