DarkGrid – Панель управления глобальной разведкой угроз

OSINT threat‑intel dashboard: a 3D globe and live feed showing malicious infrastructure from public sources like AbuseIPDB and OpenPhish.

https://github.com/user-attachments/assets/e4f6a4fa-6ff4-4ad1-8e5c-5b50ce6ad722

Обзор

DarkGrid визуализирует подозрительную интернет-инфраструктуру в глобальном масштабе:

• 3D-глобус угроз с пульсирующими «пинг-сигналами» стран на основе количества индикаторов.
• Лента угроз последних IP-адресов/URL-адресов из сборщиков OSINT.
• Панель поиска/локации для перехода к индикаторам или географическим местоположениям.
• Панель разведданных с карточками контекста (кластеры угроз, досье регионов, новости и т.д.).

Основное внимание уделяется ситуационной осведомленности об инфраструктуре, а не отдельным лицам.

Структура проекта

• backend/ – FastAPI + SQLite OSINT API
  • Сборщики: AbuseIPDB (IP-адреса), OpenPhish (URL-адреса)
  • Планировщик запускает сборщики при запуске и каждые 15 минут
  • /api/indicators/latest – последние индикаторы для ленты
  • /api/map – сегменты по странам для глобуса
• frontend/ – приложение Next.js 16 (интерфейс DarkGrid)
  • src/app/page.tsx – основной макет панели управления
  • src/components/ThreatGlobeViewer.tsx – 3D-глобус
  • src/hooks/useThreatDataPolling.ts – опрос API угроз
• docker-compose.yml – локальный стек (бэкенд + фронтенд)

Быстрый старт (Docker)

1. Создайте .env в этом каталоге (там же, где находится docker-compose.yml):

   root@kitploit:~

   copy .env.example .env
   

   Отредактируйте .env и укажите:

   • ABUSEIPDB_API_KEY – получите бесплатный ключ на https://www.abuseipdb.com/.

2. Запустите стек:

   root@kitploit:~

   docker-compose up -d
   

   Или запустите в фоновом режиме, чтобы видеть логи:

   root@kitploit:~

   docker-compose up
   

3. Откройте интерфейс и API:

   • Панель управления: http://localhost:3000
   • Backend API: http://localhost:8000
   • Health: http://localhost:8000/health

Данные и загрузка

• База данных: SQLite, создаётся автоматически при первом запуске бэкенда.

  • В Docker данные находятся в томе backend_data по пути /app/data/threat_intel.db.
  • При локальной разработке (без Docker) данные находятся в backend/data/threat_intel.db.

• Сборщики (запускаются при старте и каждые 15 минут):

  • AbuseIPDB (требуется ABUSEIPDB_API_KEY):

    • Создаёт индикаторы type=ip, source=abuseipdb с полем geo.country.
    • Подаёт данные в ленту угроз и пинг-сигналы глобуса (сегменты стран).

  • OpenPhish (ключ не требуется):

    • Создаёт индикаторы type=url, source=openphish (без географических данных).
    • Отображается только в ленте угроз (без пинг-сигналов глобуса).

• Устранение неполадок с пустым глобусом/лентой:

  • Если на глобусе и лента пуста:

Локальная разработка (без Docker)

Требования:

• Python 3.11+
• Node.js 20+

Бэкенд

cd backend
python -m venv .venv
.venv\Scripts\activate  # on Windows
pip install -r requirements.txt
python main.py  # serves on http://localhost:8000

Убедитесь, что в корневом .env указан ABUSEIPDB_API_KEY для загрузки данных.

Фронтенд

cd frontend
npm install

Создайте frontend/.env.local (только для локальной разработки):

NEXT_PUBLIC_THREAT_API_URL=http://localhost:8000

Затем выполните:

npm run dev

Откройте http://localhost:3000.

Статус

Этот проект находится в стадии разработки и представляет собой черновой MVP панели управления разведкой угроз DarkGrid. Ожидайте кардинальных изменений по мере доработки бэкенда, сборщиков и интерфейса.

Запланированные будущие этапы включают:

• Более насыщенные пинг-сигналы глобуса: более детальные сегменты, улучшенные размер/анимация и лучшее поведение при клике.
• Дополнительные источники OSINT: больше IP/URL/доменов репутации и фидов вредоносных программ помимо AbuseIPDB и OpenPhish.
• Углублённая разведка по индикаторам: расширенные сведения по каждому индикатору и кластеру стран.