sift-kg

Verwandle jede Sammlung von Dokumenten in einen Wissensgraphen.

Kein Code, keine Datenbank, keine Infrastruktur — nur eine CLI und deine Dokumente. Wirf PDFs, Papiere, Artikel oder Aufzeichnungen hinein — erhalte einen durchsuchbaren Wissensgraphen, der zeigt, wie alles zusammenhängt, in Minuten. sift-kg extrahiert Entitäten und Beziehungen mittels LLM, dedupliziert mit deiner Zustimmung und generiert einen interaktiven Betrachter, den du in deinem Browser erkunden kannst. Konzeptkarten für alles, direkt zur Hand.

Derselbe Graph, der deine Visualisierungen antreibt, funktioniert auch als AI Zweites Gehirn. Jeder verbringt Monate damit, Wissensdatenbanken in Notion und Obsidian aufzubauen. Wer hat Zeit dafür? sift-kg ist der strukturierte Speicher, den du in 2 Minuten statt in 2 Jahren aufbaust. Zeige einfach auf deine Dokumente und deine KI hat ein strukturiertes Verständnis davon, wie alles zusammenhängt.

Live-Demos → Graphen, vollständig von sift-kg generiert```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Wie es funktioniert```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Jede Entität und Beziehung verweist zurück auf das Quelldokument und die Passage. Sie kontrollieren, was zusammengeführt wird. Der Graph gehört Ihnen.

Eigenschaften

• Null-Konfiguration-Start — auf einen Ordner zeigen, einen Wissensgraphen erhalten. Oder legen Sie eine sift.yaml in Ihrem Projekt ab, um dauerhafte Einstellungen zu speichern
• Beliebiger LLM-Anbieter — OpenAI, Anthropic, Mistral, Ollama (lokal/privat) oder jeder LiteLLM-kompatible Anbieter
• Standardmäßig schemalos — Ein LLM-Aufruf sampelt Ihre Dokumente und entwirft ein auf das Korpus zugeschnittenes Schema, das als discovered_domain.yaml zur Wiederverwendung und Bearbeitung gespeichert wird. Oder verwenden Sie eine strukturierte Domain (general, osint, academic) für feste Schemata oder definieren Sie Ihr eigenes in YAML
• Human-in-the-Loop — sift schlägt Entitätszusammenführungen vor, Sie genehmigen oder lehnen sie in einer interaktiven Terminal-Benutzeroberfläche ab
• CLI-Suche — sift search "SBF" findet Entitäten nach Namen oder Alias, mit optionaler Ausgabe von Beziehungen und Beschreibungen
• Interaktiver Viewer — Erkunden Sie Ihren Graphen im Browser mit Community-Bereichen (farbige Zonen, die die Graphenstruktur zeigen), Vorschau beim Überfahren, Fokusmodus (Doppelklick, um Nachbarschaften zu isolieren), Tastaturnavigation (Pfeiltasten zum Durchlaufen von Verbindungen), Trail-Breadcrumb (dauerhafter Pfad, der Ihre Erkundung verfolgt — zurückverfolgen durch jeden besuchten Knoten), Suche, Typ-/Community-/Beziehungs-Umschalter, Quelldokumentfilter und Grad-Filterung. Vorfiltern mit CLI-Flags: --neighborhood, --top, --community, --source-doc, --min-confidence
• Überall exportieren — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV oder natives JSON für erweiterte Analysen
• Narrative Generierung — Prosa-Berichte mit Beziehungsketten, Zeitleisten und nach Communitys gruppierten Entitätsprofilen
• Quellennachweis — Jede Extraktion verweist auf das Dokument und die Passage, aus der sie stammt
• Mehrsprachig — Extrahiert aus Dokumenten in jeder Sprache, gibt einen einheitlichen englischen Wissensgraphen aus. Eigennamen bleiben erhalten, nicht-lateinische Schriften werden automatisch romanisiert
• 75+ Dokumentformate — PDF, DOCX, XLSX, PPTX, HTML, EPUB, Bilder und mehr über die Kreuzberg-Extraktions-Engine
• OCR für gescannte PDFs — Lokale OCR über Tesseract (Standard), EasyOCR oder PaddleOCR (--ocr-Flag), mit optionalem Google Cloud Vision Fallback (--ocr-backend gcv)
• Budgetkontrollen — setzen Sie --max-cost, um die LLM-Ausgaben zu begrenzen
• Läuft lokal — Ihre Dokumente bleiben auf Ihrem Rechner

Anwendungsfälle

• Forschung & Bildung — Visualisieren Sie, wie Theorien, Methoden und Ergebnisse über eine Literaturbasis hinweg zusammenhängen. Erstellen Sie Concept Maps für Kurse, Literaturrecherchen oder zum Selbststudium
• Business Intelligence — Werfen Sie Whitepapers von Wettbewerbern, Marktberichte oder interne Dokumente hinein und sehen Sie die Landschaft
• Ermittlungsarbeit — Analysieren Sie FOIA-Veröffentlichungen, Gerichtsakten, öffentliche Aufzeichnungen und Dokumentenleaks
• Rechtliche Prüfung — Extrahieren und verknüpfen Sie Entitäten über Dokumentensammlungen hinweg
• Genealogie — Verfolgen Sie Familienbeziehungen anhand von Personenstandsurkunden

KI-Wissensbasis

sift-kg generiert strukturiertes Wissen, von dem KI-Agenten direkt ausgehen können.

Richten Sie sift auf Ihre Dokumente, Notizen oder Projektdateien. Die Ausgabe — ein JSON-Wissensgraph — gibt jedem KI-Agenten ein dauerhaftes, strukturiertes Verständnis davon, wie alles in Ihrer Welt zusammenhängt. Keine manuelle Organisation, kein Tagging, keine Wiki-Links. Die Struktur entsteht aus dem Inhalt.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

Der Graph bleibt über Sitzungen hinweg bestehen und wächst inkrementell — extrahieren Sie neue Dokumente in dasselbe Ausgabeverzeichnis und bauen Sie neu auf. Die Entitätsdeduplizierung stellt sicher, dass der Graph beim Wachsen kohärent bleibt.

**Was dies Ihrem Agenten gibt:**
- **Struktur** — nicht nur Textabschnitte, sondern Entitäten, Beziehungen, Communities und wie sie verbunden sind
- **Topologie** — welche Wissenscluster existieren, was sie verbindet, was isoliert ist
- **Beständigkeit** — der Graph übersteht Kontextfenster-Resets. Ihr Agent beginnt nicht mehr jede Sitzung von Null

**Mitgelieferte Agenten-Fähigkeit:** sift-kg wird mit einer Fähigkeit unter `.agents/skills/sift-kg/SKILL.md` ausgeliefert, die Agenten beibringt, wie sie den Wissensgraphen als persistenten Speicher nutzen – Sitzungsorientierung, Entitätserkundung, Verknüpfung von Wissensinseln und logisches Denken sowie fundierte Vorschlagserstellung.

## Bundled Domains

sift-kg wird mit spezialisierten Domänen ausgeliefert, die Sie sofort nutzen können:```bash
sift domains                              # list available domains
sift extract ./docs/ --domain-name osint  # use a bundled domain

Setzen Sie eine Domain in sift.yaml fest, damit Sie das Flag nicht jedes Mal benötigen:```yaml domain: academic

Funktioniert mit gebündelten Namen (`schema-free`, `general`, `osint`, `academic`) oder einem Pfad zu einer benutzerdefinierten YAML-Datei.