
Семантический поиск по видео с использованием Gemini Embedding 2 или Qwen3-VL.
Семантический поиск по видеозаписям. Введите, что вы ищете, и получите обрезанный клип.
[!IMPORTANT] Официальный источник: github.com/ssrajadh/sentrysearch — единственный официальный дом SentrySearch. Другие сайты, перепубликующие или зеркалирующие этот проект, не связаны с сопровождающим и не одобрены им; всегда скачивайте из этого репозитория.
Языки: English · 简体中文
Новое: MLX-бэкенд для Apple Silicon: запускает локальную модель 2B вдвое быстрее и с менее чем половиной памяти при той же точности
SentrySearch разбивает ваши видео на перекрывающиеся чанки, встраивает каждый чанк как видео с помощью Google Gemini Embedding API, Alibaba DashScope (qwen-cloud) или локальной модели Qwen3-VL и сохраняет векторы в локальной базе данных ChromaDB. При поиске ваш текстовый запрос (или изображение, см. поиск по изображению) встраивается в то же векторное пространство и сопоставляется с сохранёнными видеоэмбеддингами. Лучшее совпадение автоматически вырезается из исходного файла и сохраняется как клип.
macOS/Linux:
curl -LsSf https://astral.sh/uv/install.sh | sh
Windows:
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"
git clone https://github.com/ssrajadh/sentrysearch.git
cd sentrysearch
uv tool install .
Требуется Python 3.11 или 3.12 (колёса PyTorch пока не поддерживают 3.13+). Если ваша версия Python по умолчанию новее, установите управляемую версию 3.12 и зафиксируйте её при установке инструмента:
uv python install 3.12 uv tool install --python 3.12 .
--backend local, --backend mlx или --backend qwen-cloud с DASHSCOPE_API_KEY в .env.sentrysearch init
Запрашивает ваш ключ Gemini API, записывает его в .env и проверяет с помощью тестового эмбеддинга.
sentrysearch index /path/to/footage
sentrysearch search "red truck running a stop sign"
Для нарезки и обрезки видео требуется ffmpeg. Если он не установлен в системе, автоматически используется встроенный imageio-ffmpeg.
Ручная настройка: Если вы предпочитаете не использовать
sentrysearch init, вы можете скопировать.env.exampleв.envи вручную добавить свой ключ с aistudio.google.com/apikey.
$ sentrysearch init
Enter your Gemini API key (get one at https://aistudio.google.com/apikey): ****
Validating API key...
Setup complete. You're ready to go — run `sentrysearch index <directory>` to get started.
Если ключ уже настроен, вам будет предложено, перезаписать ли его.
Совет: Установите лимит расходов на aistudio.google.com/billing, чтобы предотвратить случайный перерасход.
$ sentrysearch index /path/to/video/footage
Indexing file 1/3: front_2024-01-15_14-30.mp4 [chunk 1/4]
Indexing file 1/3: front_2024-01-15_14-30.mp4 [chunk 2/4]
...
Indexed 12 new chunks from 3 files. Total: 12 chunks from 3 files.
Параметры:
--chunk-duration 30 — длительность фрагмента в секундах--overlap 5 — перекрытие между фрагментами--no-preprocess — пропустить уменьшение масштаба/снижение частоты кадров (отправлять необработанные фрагменты)--target-resolution 480 — целевая высота в пикселях для предварительной обработки--target-fps 5 — целевая частота кадров для предварительной обработки--no-skip-still — встраивать все фрагменты, даже те, в которых нет визуальных изменений--rpm 10 — ограничить количество запросов в минуту к облачному API (подробности ниже)--backend local — использовать локальную модель вместо Gemini (подробности ниже)--backend mlx — использовать локальную модель через MLX на Apple Silicon, быстрее и легче, чем local (подробности ниже)--dry-run — предварительный просмотр количества фрагментов по файлам и оценка стоимости Gemini без каких-либо вызовов API, загрузки модели или записи файлов$ sentrysearch search "red truck running a stop sign"
#1 [0.87] front_2024-01-15_14-30.mp4 @ 02:15-02:45
#2 [0.74] left_2024-01-15_14-30.mp4 @ 02:10-02:40
#3 [0.61] front_2024-01-20_09-15.mp4 @ 00:30-01:00
Saved clip: ./match_front_2024-01-15_14-30_02m15s-02m45s.mp4
Если оценка сходства лучшего результата ниже порога уверенности (по умолчанию 0.41 или 0.35 при --backend mlx), вам будет предложено подтверждение перед обрезкой:
No confident match found (best score: 0.28). Show results anyway? [y/N]:
С --no-trim результаты с низкой уверенностью показываются с примечанием вместо запроса.
Опции: --results N, --output-dir DIR, --no-trim для пропуска автообрезки, --threshold 0.5 для настройки порога уверенности, --save-top N для сохранения топ-N клипов вместо только лучшего совпадения, --dedupe для задания того, насколько похожим может быть результат на более высокоранговый выбор, прежде чем он будет отброшен (включено по умолчанию, чтобы перекрывающиеся фрагменты одного и того же момента не заполняли список), и --rerank для запроса к VLM о повторном ранжировании возвращённых кандидатов перед обрезкой. Бэкенд и модель определяются автоматически из индекса — передавайте --backend или --model только для переопределения.
# Save top 5 clips, dropping only near-identical chunks
sentrysearch search "red truck" --save-top 5 --dedupe 0.95
# Re-rank the top 10 embedding matches with a VLM before trimming
sentrysearch search "pedestrian crossing behind the car" --rerank --results 10