sift-kg

Transformez n'importe quelle collection de documents en un graphe de connaissances.

Pas de code, pas de base de données, pas d'infrastructure — juste une CLI et vos documents. Déposez des PDFs, articles, documents ou enregistrements — obtenez un graphe de connaissances consultable qui montre comment tout est connecté, en quelques minutes. sift-kg extrait les entités et les relations via LLM, déduplique avec votre approbation, et génère une visionneuse interactive que vous pouvez explorer dans votre navigateur. Des cartes conceptuelles pour tout, à portée de main.

Le même graphe qui alimente vos visualisations fonctionne également comme un second cerveau IA. Tout le monde passe des mois à construire des bases de connaissances dans Notion et Obsidian. Qui a le temps pour cela ? sift-kg est la mémoire structurée que vous construisez en 2 minutes au lieu de 2 ans. Pointez simplement vers vos documents et votre IA a une compréhension structurée de la façon dont tout est connecté.

Démos en direct → graphes entièrement générés par sift-kg```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Comment ça marche```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Every entity and relation links back to the source document and passage. You control what gets merged. The graph is yours.

Features

• Démarrage sans configuration — pointez vers un dossier, obtenez un graphe de connaissances. Ou déposez un sift.yaml dans votre projet pour des paramètres persistants
• N’importe quel fournisseur LLM — OpenAI, Anthropic, Mistral, Ollama (local/privé), ou tout fournisseur compatible LiteLLM
• Sans schéma par défaut — un seul appel LLM échantillonne vos documents et conçoit un schéma adapté au corpus, sauvegardé sous discovered_domain.yaml pour réutilisation et édition. Ou utilisez un domaine structuré (general, osint, academic) pour des schémas fixes, ou définissez le vôtre en YAML
• Humain dans la boucle — sift propose des fusions d’entités, vous approuvez ou rejetez dans une interface terminal interactive
• Recherche en CLI — sift search "SBF" trouve des entités par nom ou alias, avec sortie optionnelle des relations et descriptions
• Visualiseur interactif — explorez votre graphe dans le navigateur avec des régions de communauté (zones colorées montrant la structure du graphe), aperçu au survol, mode focus (double-clic pour isoler les voisinages), navigation au clavier (flèches pour parcourir les connexions), fil d’Ariane de parcours (chemin persistant qui suit votre exploration — revenez sur chaque nœud visité), recherche, bascules type/communauté/relation, filtre par document source et filtrage par degré. Pré-filtrez avec des drapeaux CLI : --neighborhood, --top, --community, --source-doc, --min-confidence
• Exportez partout — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV, ou JSON natif pour une analyse avancée
• Génération de récits — rapports en prose avec chaînes de relations, chronologies et profils d’entités regroupés par communauté
• Provenance des sources — chaque extraction renvoie au document et au passage dont elle est issue
• Multilingue — extrait de documents dans n’importe quelle langue, produit un graphe de connaissances unifié en anglais. Les noms propres restent inchangés, les écritures non latines sont romanisées automatiquement
• 75+ formats de documents — PDF, DOCX, XLSX, PPTX, HTML, EPUB, images, et plus via le moteur d’extraction Kreuzberg
• OCR pour PDF scannés — OCR local via Tesseract (par défaut), EasyOCR, ou PaddleOCR (--ocr), avec option de repli Google Cloud Vision (--ocr-backend gcv)
• Contrôle du budget — définissez --max-cost pour plafonner les dépenses LLM
• Fonctionne en local — vos documents restent sur votre machine

Use Cases

• Recherche & éducation — cartographiez comment théories, méthodes et résultats se connectent dans un corpus de littérature. Générez des cartes conceptuelles pour des cours, des revues de littérature ou de l’auto‑apprentissage
• Intelligence économique — déposez des livres blancs concurrents, des rapports de marché ou des documents internes et visualisez le paysage
• Travail d’investigation — analysez des demandes FOIA, des documents judiciaires, des archives publiques et des fuites de documents
• Révision juridique — extrayez et connectez des entités dans des collections de documents
• Généalogie — retracez les relations familiales à travers des actes d’état civil

AI Knowledge Base

sift‑kg génère des connaissances structurées que les agents IA peuvent exploiter directement.

Pointez sift vers vos documents, notes ou fichiers de projet. Le résultat — un graphe de connaissances au format JSON — offre à tout agent IA une compréhension persistante et structurée de la façon dont tout ce qui vous entoure se connecte. Pas d’organisation manuelle, pas d’étiquetage, pas de liens wiki. La structure émerge du contenu.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

Le graphe persiste entre les sessions et croît de manière incrémentielle — extrayez de nouveaux documents dans le même répertoire de sortie et reconstruisez. La déduplication des entités garantit que le graphe reste cohérent à mesure qu'il se développe.

**Ce que cela apporte à votre agent :**
- **Structure** — pas seulement des fragments de texte, mais des entités, des relations, des communautés et la manière dont elles se connectent
- **Topologie** — quels clusters de connaissances existent, ce qui les relie, ce qui est isolé
- **Durabilité** — le graphe survit aux réinitialisations de la fenêtre de contexte. Votre agent cesse de repartir de zéro à chaque session

**Compétence d'agent intégrée :** sift-kg est livré avec une compétence à `.agents/skills/sift-kg/SKILL.md` qui enseigne aux agents comment utiliser le graphe de connaissances comme mémoire persistante — orientation de session, exploration d'entités, raisonnement sur les îlots de connaissances liés et génération de suggestions fondées.

## Domaines intégrés