sift-kg

Converta qualquer coleção de documentos em um grafo de conhecimento.

Sem código, sem banco de dados, sem infraestrutura — apenas uma CLI e seus documentos. Insira PDFs, artigos, publicações ou registros — obtenha um grafo de conhecimento navegável que mostra como tudo se conecta, em minutos. sift-kg extrai entidades e relacionamentos via LLM, desduplica com sua aprovação e gera um visualizador interativo que você pode explorar no seu navegador. Mapas conceituais para qualquer coisa, ao seu alcance.

O mesmo grafo que alimenta suas visualizações também funciona como um segundo cérebro de IA. Todo mundo passa meses construindo bases de conhecimento no Notion e Obsidian. Quem tem tempo para isso? sift-kg é a memória estruturada que você constrói em 2 minutos em vez de 2 anos. Aponte para seus documentos e sua IA terá uma compreensão estruturada de como tudo se conecta.

Demonstrações ao vivo → grafos gerados inteiramente pelo sift-kg```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Como Funciona```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Cada entidade e relação remete ao documento e à passagem de origem. Você controla o que é mesclado. O grafo é seu.

Funcionalidades

• Início com configuração zero — aponte para uma pasta e obtenha um grafo de conhecimento. Ou coloque um sift.yaml no seu projeto para configurações persistentes
• Qualquer provedor de LLM — OpenAI, Anthropic, Mistral, Ollama (local/privado) ou qualquer provedor compatível com LiteLLM
• Sem esquema por padrão — uma chamada ao LLM analisa seus documentos e projeta um esquema adaptado ao corpus, salvo como discovered_domain.yaml para reutilização e edição. Ou use um domínio estruturado (general, osint, academic) para esquemas fixos, ou defina o seu próprio em YAML
• Humano no ciclo — o sift propõe mesclagens de entidades; você aprova ou rejeita em uma interface interativa no terminal
• Busca via CLI — sift search "SBF" encontra entidades por nome ou apelido, com saída opcional de relações e descrição
• Visualizador interativo — explore seu grafo no navegador com regiões de comunidade (zonas coloridas mostrando a estrutura do grafo), pré-visualização ao passar o mouse, modo foco (clique duplo para isolar vizinhanças), navegação por teclado (setas para percorrer conexões), trilha de navegação (caminho persistente que rastreia sua exploração — volte por cada nó visitado), busca, alternância de tipo/comunidade/relação, filtro por documento fonte e filtro por grau. Pré-filtre com flags da CLI: --neighborhood, --top, --community, --source-doc, --min-confidence
• Exporte para qualquer lugar — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV ou JSON nativo para análises avançadas
• Geração de narrativas — relatórios em prosa com cadeias de relações, linhas do tempo e perfis de entidades agrupados por comunidade
• Proveniência das fontes — cada extração remete ao documento e à passagem de onde veio
• Multilíngue — extrai de documentos em qualquer idioma e gera um grafo de conhecimento unificado em inglês. Nomes próprios permanecem como estão; escritas não latinas são romanizadas automaticamente
• Mais de 75 formatos de documento — PDF, DOCX, XLSX, PPTX, HTML, EPUB, imagens e outros via mecanismo de extração Kreuzberg
• OCR para PDFs digitalizados — OCR local via Tesseract (padrão), EasyOCR ou PaddleOCR (flag --ocr), com fallback opcional para Google Cloud Vision (--ocr-backend gcv)
• Controles de orçamento — defina --max-cost para limitar gastos com LLM
• Executa localmente — seus documentos permanecem na sua máquina

Casos de Uso

• Pesquisa e educação — mapeie como teorias, métodos e descobertas se conectam em um conjunto de literatura. Gere mapas conceituais para cursos, revisões bibliográficas ou autoestudo
• Inteligência de negócios — insira white papers de concorrentes, relatórios de mercado ou documentos internos e visualize o cenário
• Trabalho investigativo — analise divulgações da Lei de Acesso à Informação, petições judiciais, registros públicos e vazamentos de documentos
• Revisão jurídica — extraia e conecte entidades em coleções de documentos
• Genealogia — trace relações familiares em registros vitais

Base de Conhecimento para IA

O sift-kg gera conhecimento estruturado que agentes de IA podem operar diretamente.

Aponte o sift para seus documentos, anotações ou arquivos de projeto. O resultado — um grafo de conhecimento em JSON — dá a qualquer agente de IA uma compreensão estruturada e persistente de como tudo no seu mundo se conecta. Sem organização manual, sem tags, sem links wiki. A estrutura emerge do conteúdo.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

The graph persists across sessions and grows incrementally — extract new documents into the same output directory and rebuild. Entity deduplication ensures the graph stays coherent as it grows.

**What this gives your agent:**
- **Structure** — not just text chunks, but entities, relationships, communities, and how they connect
- **Topology** — which knowledge clusters exist, what bridges them, what's isolated
- **Durability** — the graph survives context window resets. Your agent stops starting from zero every session

**Bundled agent skill:** sift-kg ships with a skill at `.agents/skills/sift-kg/SKILL.md` that teaches agents how to use the knowledge graph as persistent memory — session orientation, entity exploration, link-knowledge-islands reasoning, and grounded suggestion generation.

## Bundled Domains

sift-kg ships with specialized domains you can use out of the box:```bash
sift domains                              # list available domains
sift extract ./docs/ --domain-name osint  # use a bundled domain

Defina um domínio em sift.yaml para não precisar da flag toda vez:```yaml domain: academic

Funciona com nomes incluídos (`schema-free`, `general`, `osint`, `academic`) ou um caminho para um arquivo YAML personalizado.