sift-kg

Trasforma qualsiasi raccolta di documenti in un grafo di conoscenza.

Nessun codice, nessun database, nessuna infrastruttura — solo una CLI e i tuoi documenti. Inserisci PDF, articoli, paper o record — ottieni in pochi minuti un grafo di conoscenza navigabile che mostra come tutto è connesso. sift-kg estrae entità e relazioni tramite LLM, deduplica con la tua approvazione e genera un visualizzatore interattivo che puoi esplorare nel tuo browser. Mappe concettuali per qualsiasi cosa, a portata di mano.

Lo stesso grafo che alimenta le tue visualizzazioni funge anche da secondo cervello AI. Tutti passano mesi a costruire basi di conoscenza in Notion e Obsidian. Chi ha tempo per questo? sift-kg è la memoria strutturata che costruisci in 2 minuti invece che in 2 anni. Basta puntare ai tuoi documenti e la tua AI ha una comprensione strutturata di come tutto è connesso.

Demo live → grafi generati interamente da sift-kg```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Come Funziona```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Ogni entità e relazione si collega al documento e al passo di origine. Controlli tu cosa viene unito. Il grafo è tuo.

Funzionalità

• Avvio senza configurazione — punta a una cartella, ottieni un grafo della conoscenza. Oppure inserisci un sift.yaml nel tuo progetto per impostazioni persistenti
• Qualsiasi provider LLM — OpenAI, Anthropic, Mistral, Ollama (locale/privato) o qualsiasi provider compatibile con LiteLLM
• Senza schema per impostazione predefinita — una chiamata LLM campiona i tuoi documenti e progetta uno schema su misura per il corpus, salvato come discovered_domain.yaml per riutilizzo e modifica. Oppure usa un dominio strutturato (general, osint, academic) per schemi fissi, o definisci il tuo in YAML
• Umano nel processo — sift propone fusioni di entità, tu approvi o rifiuti in un'interfaccia terminale interattiva
• Ricerca CLI — sift search "SBF" trova entità per nome o alias, con output opzionale di relazioni e descrizioni
• Visualizzatore interattivo — esplora il tuo grafo nel browser con regioni di comunità (zone colorate che mostrano la struttura del grafo), anteprima al passaggio del mouse, modalità focus (doppio clic per isolare i quartieri), navigazione tramite tastiera (tasti freccia per spostarsi tra le connessioni), breadcrumb di navigazione (percorso persistente che traccia la tua esplorazione — ripercorri ogni nodo visitato), ricerca, attivazione/disattivazione di tipo/comunità/relazioni, filtro per documento sorgente e filtro per grado. Pre-filtra con flag CLI: --neighborhood, --top, --community, --source-doc, --min-confidence
• Esporta ovunque — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV o JSON nativo per analisi avanzate
• Generazione di narrazioni — rapporti in prosa con catene di relazioni, timeline e profili di entità raggruppati per comunità
• Provenienza delle fonti — ogni estrazione si collega al documento e al passo da cui proviene
• Multilingue — estrae da documenti in qualsiasi lingua, produce un grafo della conoscenza unificato in inglese. I nomi propri rimangono invariati, le scritture non latine vengono romanizzate automaticamente
• 75+ formati di documenti — PDF, DOCX, XLSX, PPTX, HTML, EPUB, immagini e altro tramite il motore di estrazione Kreuzberg
• OCR per PDF scansionati — OCR locale tramite Tesseract (predefinito), EasyOCR o PaddleOCR (flag --ocr), con fallback opzionale su Google Cloud Vision (--ocr-backend gcv)
• Controlli di budget — imposta --max-cost per limitare la spesa LLM
• Esecuzione locale — i tuoi documenti rimangono sulla tua macchina

Casi d'uso

• Ricerca e istruzione — mappa come teorie, metodi e risultati si collegano in un corpo di letteratura. Genera mappe concettuali per corsi, revisioni della letteratura o autoapprendimento
• Business Intelligence — inserisci whitepaper della concorrenza, rapporti di mercato o documenti interni e visualizza il panorama
• Lavoro investigativo — analizza divulgazioni FOIA, atti giudiziari, registri pubblici e fughe di documenti
• Revisione legale — estrai e collega entità in raccolte di documenti
• Genealogia — traccia le relazioni familiari attraverso i registri anagrafici

Knowledge Base per l'IA

sift-kg genera conoscenza strutturata che gli agenti AI possono utilizzare direttamente.

Punta sift verso i tuoi documenti, appunti o file di progetto. L'output — un grafo della conoscenza JSON — fornisce a qualsiasi agente AI una comprensione strutturata e persistente di come tutto nel tuo mondo si connette. Nessuna organizzazione manuale, nessun tagging, nessun collegamento wiki. La struttura emerge dal contenuto.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

Il grafico persiste tra le sessioni e cresce in modo incrementale — estrai nuovi documenti nella stessa directory di output e ricostruisci. La deduplicazione delle entità garantisce che il grafico rimanga coerente mentre cresce.

**Cosa dà questo al tuo agente:**
- **Struttura** — non solo blocchi di testo, ma entità, relazioni, comunità e come si connettono
- **Topologia** — quali cluster di conoscenza esistono, cosa li collega, cosa è isolato
- **Durabilità** — il grafico sopravvive ai reset della finestra di contesto. Il tuo agente smette di ricominciare da zero ogni sessione

**Abilità agente inclusa:** sift-kg è fornito con un'abilità in `.agents/skills/sift-kg/SKILL.md` che insegna agli agenti come utilizzare il grafico della conoscenza come memoria persistente — orientamento della sessione, esplorazione delle entità, ragionamento sui collegamenti tra isole di conoscenza e generazione di suggerimenti fondati.

## Domini Inclusi

sift-kg include domini specializzati che puoi utilizzare immediatamente:```bash
sift domains                              # list available domains
sift extract ./docs/ --domain-name osint  # use a bundled domain

Imposta un dominio in sift.yaml così non ti serve il flag ogni volta:```yaml domain: academic

Funziona con nomi integrati (`schema-free`, `general`, `osint`, `academic`) o con un percorso verso un file YAML personalizzato.