sift-kg

Convierte cualquier colección de documentos en un grafo de conocimiento.

Sin código, sin base de datos, sin infraestructura — solo una CLI y tus documentos. Ingresa PDFs, artículos, papers o registros — obtén un grafo de conocimiento navegable que muestra cómo todo se conecta, en cuestión de minutos. sift-kg extrae entidades y relaciones mediante LLM, las deduplica con tu aprobación, y genera un visor interactivo que puedes explorar en tu navegador. Mapas conceptuales para todo, al alcance de tu mano.

El mismo grafo que impulsa tus visualizaciones también funciona como un segundo cerebro de IA. Todos pasan meses construyendo bases de conocimiento en Notion y Obsidian. ¿Quién tiene tiempo para eso? sift-kg es la memoria estructurada que construyes en 2 minutos en lugar de 2 años. Solo apunta a tus documentos y tu IA tendrá una comprensión estructurada de cómo todo se conecta.

Demostraciones en vivo → grafos generados completamente por sift-kg```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Cómo funciona```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Every entity and relation links back to the source document and passage. You control what gets merged. The graph is yours.

Características

• Inicio sin configuración — apunta a una carpeta, obtén un grafo de conocimiento. O coloca un sift.yaml en tu proyecto para configuraciones persistentes
• Cualquier proveedor de LLM — OpenAI, Anthropic, Mistral, Ollama (local/privado), o cualquier proveedor compatible con LiteLLM
• Sin esquema por defecto — una llamada al LLM muestrea tus documentos y diseña un esquema adaptado al corpus, guardado como discovered_domain.yaml para reutilizar y editar. O usa un dominio estructurado (general, osint, academic) para esquemas fijos, o define el tuyo propio en YAML
• Intervención humana — sift propone fusiones de entidades, tú las apruebas o rechazas en una interfaz interactiva de terminal
• Búsqueda CLI — sift search "SBF" encuentra entidades por nombre o alias, con salida opcional de relaciones y descripciones
• Visor interactivo — explora tu grafo en el navegador con regiones de comunidad (zonas de colores que muestran la estructura del grafo), vista previa al pasar el ratón, modo foco (doble clic para aislar vecindarios), navegación por teclado (flechas para recorrer conexiones), rastro de navegación (ruta persistente que sigue tu exploración — retrocede por cada nodo visitado), búsqueda, filtros de tipo/comunidad/relación, filtro de documento fuente y filtro por grado. Pre-filtra con banderas CLI: --neighborhood, --top, --community, --source-doc, --min-confidence
• Exporta a cualquier lado — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV, o JSON nativo para análisis avanzado
• Generación de narrativas — informes en prosa con cadenas de relaciones, líneas de tiempo y perfiles de entidades agrupadas por comunidad
• Procedencia de fuentes — cada extracción enlaza al documento y pasaje del que proviene
• Multilingüe — extrae de documentos en cualquier idioma, genera un grafo de conocimiento unificado en inglés. Los nombres propios se mantienen sin cambios, las escrituras no latinas se romanizan automáticamente
• Más de 75 formatos de documentos — PDF, DOCX, XLSX, PPTX, HTML, EPUB, imágenes y más a través del motor de extracción Kreuzberg
• OCR para PDFs escaneados — OCR local mediante Tesseract (por defecto), EasyOCR o PaddleOCR (bandera --ocr), con opción de fallback a Google Cloud Vision (--ocr-backend gcv)
• Controles de presupuesto — establece --max-cost para limitar el gasto en LLM
• Se ejecuta localmente — tus documentos permanecen en tu máquina

Casos de uso

• Investigación y educación — mapea cómo se conectan teorías, métodos y hallazgos a través de un cuerpo de literatura. Genera mapas conceptuales para cursos, revisiones bibliográficas o autoestudio
• Inteligencia de negocios — añade documentos técnicos de competidores, informes de mercado o documentos internos y observa el panorama
• Trabajo de investigación — analiza publicaciones FOIA, presentaciones judiciales, registros públicos y filtraciones de documentos
• Revisión legal — extrae y conecta entidades a través de colecciones de documentos
• Genealogía — rastrea relaciones familiares a través de registros vitales

Base de conocimiento de IA

sift-kg genera conocimiento estructurado del que los agentes de IA pueden operar directamente.

Apunta sift a tus documentos, notas o archivos de proyecto. La salida — un grafo de conocimiento en JSON — le da a cualquier agente de IA una comprensión estructurada y persistente de cómo se conecta todo en tu mundo. Sin organización manual, sin etiquetado, sin enlaces wiki. La estructura surge del contenido.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

El gráfico persiste entre sesiones y crece incrementalmente — extrae nuevos documentos en el mismo directorio de salida y reconstruye. La deduplicación de entidades asegura que el gráfico se mantenga coherente a medida que crece.

**Lo que esto le da a tu agente:**
- **Estructura** — no solo fragmentos de texto, sino entidades, relaciones, comunidades y cómo se conectan
- **Topología** — qué clústeres de conocimiento existen, qué los conecta, qué está aislado
- **Durabilidad** — el gráfico sobrevive a los reinicios de la ventana de contexto. Tu agente deja de empezar desde cero cada sesión

**Habilidad de agente incluida:** sift-kg incluye una habilidad en `.agents/skills/sift-kg/SKILL.md` que enseña a los agentes cómo usar el gráfico de conocimiento como memoria persistente — orientación de sesión, exploración de entidades, razonamiento de islas de conocimiento enlazadas y generación de sugerencias fundamentadas.

## Dominios Incluidos