sift-kg

Превратите любую коллекцию документов в граф знаний.

Никакого кода, никакой базы данных, никакой инфраструктуры — только CLI и ваши документы. Загрузите PDF, статьи, публикации или записи — получите интерактивный граф знаний, показывающий, как всё связано, за считанные минуты. sift-kg извлекает сущности и связи через LLM, дедублицирует с вашего одобрения и генерирует интерактивное представление, которое можно просматривать в браузере. Концептуальные карты для чего угодно — под рукой.

Тот же граф, который лежит в основе ваших визуализаций, также работает как второй мозг для ИИ. Многие тратят месяцы на построение баз знаний в Notion и Obsidian. У кого есть на это время? sift-kg — это структурированная память, которую вы строите за 2 минуты, а не за 2 года. Просто укажите на свои документы, и ваш ИИ получит структурированное понимание того, как всё связано.

Живые демо → графы, полностью созданные с помощью sift-kg```bash pip install sift-kg

sift init # create sift.yaml + .env.example sift extract ./documents/ # extract entities & relations sift build # build knowledge graph sift resolve # find duplicate entities sift review # approve/reject merges interactively sift apply-merges # apply your decisions sift narrate # generate narrative summary sift view # interactive graph in your browser sift export graphml # export to Gephi, yEd, Cytoscape, SQLite, etc.

## Как это работает```
Documents (PDF, DOCX, text, HTML, and 75+ formats)
       ↓
  Text Extraction (Kreuzberg, local) — with optional OCR (Tesseract, EasyOCR, PaddleOCR, or Google Cloud Vision)
       ↓
  Schema Discovery (LLM designs entity/relation types from your data — or use a predefined domain)
       ↓
  Entity & Relation Extraction (LLM, using discovered or predefined schema)
       ↓
  Knowledge Graph (NetworkX, JSON)
       ↓
  Entity Resolution (LLM proposes → you review)
       ↓
  Narrative Generation (LLM)
       ↓
  Interactive Viewer (browser) / Export (GraphML, GEXF, CSV, SQLite)

Каждая сущность и связь ссылаются на исходный документ и отрывок. Вы контролируете, что будет объединено. Граф — ваш.

Возможности

• Запуск без настройки — укажите папку, получите граф знаний. Или поместите sift.yaml в ваш проект для постоянных настроек
• Любой LLM-провайдер — OpenAI, Anthropic, Mistral, Ollama (локальный/частный) или любой провайдер, совместимый с LiteLLM
• Без схемы по умолчанию — один вызов LLM анализирует ваши документы и разрабатывает схему, адаптированную к корпусу, сохраняемую как discovered_domain.yaml для повторного использования и редактирования. Или используйте структурированную предметную область (general, osint, academic) для фиксированных схем, или определите свою в YAML
• Человек в цикле — sift предлагает слияния сущностей, вы одобряете или отклоняете в интерактивном терминальном интерфейсе
• CLI-поиск — sift search "SBF" находит сущности по имени или псевдониму, с возможным выводом связей и описаний
• Интерактивный просмотрщик — исследуйте свой граф в браузере с областями сообществ (цветные зоны, показывающие структуру графа), предварительным просмотром при наведении, режимом фокуса (двойной клик для изоляции окрестностей), навигацией с клавиатуры (стрелки для перемещения по связям), хлебными крошками (постоянный путь, отслеживающий ваше исследование — возвращайтесь по каждому посещенному узлу), поиском, переключателями типа/сообщества/связи, фильтром по исходному документу и фильтрацией по степени. Предварительная фильтрация с помощью флагов CLI: --neighborhood, --top, --community, --source-doc, --min-confidence
• Экспорт куда угодно — GraphML (yEd, Cytoscape), GEXF (Gephi), SQLite, CSV или нативный JSON для продвинутого анализа
• Генерация повествования — прозаические отчеты с цепочками связей, временными линиями и профилями сущностей, сгруппированных по сообществам
• Происхождение источника — каждое извлечение ссылается на документ и отрывок, из которого оно получено
• Многоязычность — извлекает из документов на любом языке, выводит единый граф знаний на английском. Имена собственные остаются без изменений, нелатинские шрифты автоматически романизируются
• 75+ форматов документов — PDF, DOCX, XLSX, PPTX, HTML, EPUB, изображения и другие через движок извлечения Kreuzberg
• OCR для сканированных PDF — локальный OCR через Tesseract (по умолчанию), EasyOCR или PaddleOCR (флаг --ocr), с опциональным запасным вариантом Google Cloud Vision (--ocr-backend gcv)
• Контроль бюджета — задайте --max-cost для ограничения расходов на LLM
• Работает локально — ваши документы остаются на вашем компьютере

Варианты использования

• Исследования и образование — отобразите, как теории, методы и результаты связаны в массиве литературы. Создавайте концептуальные карты для курсов, обзоров литературы или самостоятельного изучения
• Бизнес-аналитика — загрузите белые книги конкурентов, рыночные отчеты или внутренние документы и увидьте ландшафт
• Расследовательская работа — анализируйте выпуски FOIA, судебные документы, публичные записи и утечки документов
• Юридическая проверка — извлекайте и связывайте сущности в коллекциях документов
• Генеалогия — прослеживайте семейные связи по записям актов гражданского состояния

База знаний ИИ

sift-kg генерирует структурированные знания, с которыми ИИ-агенты могут работать напрямую.

Направьте sift на ваши документы, заметки или файлы проекта. Результат — JSON-граф знаний — дает любому ИИ-агенту устойчивое структурированное понимание того, как все в вашем мире связано. Никакой ручной организации, никаких тегов, никаких вики-ссылок. Структура возникает из содержимого.```bash sift extract ./my-stuff/ sift build sift topology # structural overview (JSON, for agents) sift query "topic" # entity neighborhood subgraph (JSON, for agents) sift search "X" --json # entity lookup (JSON, for agents) sift info --json # project stats (JSON, for agents)

Граф сохраняется между сеансами и растет постепенно — извлекайте новые документы в ту же выходную директорию и выполняйте перестроение. Дедупликация сущностей обеспечивает согласованность графа по мере его роста.

**Что это дает вашему агенту:**
- **Структура** — не просто текстовые фрагменты, а сущности, отношения, сообщества и то, как они связаны
- **Топология** — какие кластеры знаний существуют, что их соединяет, что изолировано
- **Долговечность** — граф переживает сбросы контекстного окна. Ваш агент перестает начинать с нуля каждый сеанс

**Встроенный навык агента:** sift-kg поставляется с навыком в `.agents/skills/sift-kg/SKILL.md`, который учит агентов использовать граф знаний как постоянную память — ориентация в сеансе, исследование сущностей, рассуждение о связях между островками знаний и формирование обоснованных предложений.

## Встроенные домены

sift-kg поставляется со специализированными доменами, которые можно использовать сразу из коробки:```bash
sift domains                              # list available domains
sift extract ./docs/ --domain-name osint  # use a bundled domain

Установите домен в sift.yaml, чтобы не указывать флаг каждый раз:```yaml domain: academic

Работает со встроенными именами (`schema-free`, `general`, `osint`, `academic`) или путём к пользовательскому YAML-файлу.