URL Tracker v0.5.0

URL Tracker — это надёжное и масштабируемое веб-приложение, предназначенное для мониторинга и отслеживания URL, логирования изменений и предоставления подробной информации о статусе и поведении различных веб-ресурсов. Построенное на базе Sails.js, это приложение идеально подходит для отслеживания URL на предмет времени безотказной работы, изменений содержимого и мониторинга производительности.

Возможности

• Мониторинг URL: Отслеживайте различные URL и контролируйте их статус с течением времени с возможностью добавления одного или нескольких URL за раз.
• Обнаружение изменений: Обнаруживайте и регистрируйте изменения содержимого отслеживаемых URL.
• Автоматические запросы: Планируйте и автоматизируйте запросы к URL для периодической проверки их статуса (ежечасно, ежедневно, еженедельно, ежемесячно).
• Детальные логи: Храните и просматривайте логи изменений URL и статусов запросов.
• Вход пользователя: Используйте email и пароль для входа.
• Уведомления: Отправляйте уведомления на основе определённых событий, таких как изменения содержимого, через Telegram-бота.

Как это работает

URL Tracker работает путём отправки HTTP-запросов к указанным URL через заданные интервалы. Он сравнивает содержимое ответа с предыдущими результатами и регистрирует любые различия. Приложение может быть расширено с помощью пользовательских уведомлений, обработки данных и многого другого, что делает его универсальным для различных сценариев использования.

Учётные данные по умолчанию

При первоначальной настройке приложение поставляется с учётными данными администратора по умолчанию:

• Имя пользователя: [email protected]
• Пароль: 9TMhdaUSEzksEXF

ВАЖНО: По соображениям безопасности настоятельно рекомендуется сменить эти учётные данные по умолчанию сразу после входа. Это можно сделать через интерфейс управления пользователями внутри приложения.

Как использовать

Если вы хотите отслеживать изменения на веб-странице, выполните следующие шаги (необходимо войти в систему):

1. Добавление новой ссылки: Нажмите кнопку "Add New Link" справа.
2. Заполнение описания: Введите в текстовое поле описание цели, например, "Страница входа во внутреннюю систему Uber".
3. Ввод целевой ссылки: Напишите целевую ссылку в поле "Link of page", например, http://s3.amazonaws.com/careemcrm/. Вы также можете добавить несколько ссылок.
4. Укажите ключевые слова: Введите в поле "Keywords" ключевые слова, которые будут отслеживаться на странице. Если эти ключевые слова появятся, вы получите уведомление (например, "404", "new feature", "not found"). Примечание: Эти ключевые слова НЕ ДОЛЖНЫ присутствовать в первом запросе.
5. Аутентификация при необходимости: Если вы хотите отслеживать страницу, требующую аутентификации, добавьте свои куки в поле "Cookie".
6. Выбор периода проверки: Выберите период, с которым вы хотите проверять страницу.
7. Задание допуска: В поле "Tolerance" укажите допустимую разницу в символах между предыдущей и следующей загрузками (например, 100). Примечание: Если вы хотите игнорировать незначительные изменения, такие как CSRF-токены, кеш-токены или отслеживание куки, установите этот параметр. Если оставить пустым, сервер будет сравнивать два запроса и сохранять различия в базе данных как acceptedChange.
8. Добавление ссылки: Нажмите кнопку "Add Link". Вы должны увидеть новую цель в списке URL.

Настройка Telegram-бота для уведомлений

Чтобы получать уведомления через Telegram:

1. Создайте Telegram-бота: Используйте BotFather для создания нового бота в Telegram.
2. Получите токен бота: После создания бота вы получите токен от BotFather. Сохраните этот токен.
3. Получите ваш Chat ID: Начните чат со своим ботом, затем используйте API, например https://api.telegram.org/bot<YourBOTToken>/getUpdates, чтобы получить ваш идентификатор чата.
4. Настройте бота в приложении:
   • Перейдите в настройки вашего приложения (http://127.0.0.1:1337/settings) и введите токен бота и Chat ID.
   • Включите уведомления Telegram.
5. Получение уведомлений: Теперь вы будете получать оповещения и уведомления от URL Tracker через Telegram.

Установка

Предварительные требования

Прежде чем начать, убедитесь, что на вашем локальном компьютере установлено следующее:

• Node.js (версия 16.x или выше)
• MongoDB
• Docker (в случае использования в контейнере)
• Git

Клонирование репозитория

Начните с клонирования репозитория на ваш локальный компьютер:

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

Установка зависимостей

После клонирования репозитория установите необходимые зависимости:

npm install

Запуск приложения

Вы можете запустить приложение в режиме разработки с помощью команды:

sails lift

Это запустит сервер Sails.js на порту, указанном в вашем файле .env.

Docker настройка

Для единообразной среды вы можете запустить проект URL Tracker с помощью Docker.

Измените MONGO_URL в файле .env

Измените MONGO_URL на mongodb://mongodb:27017/url-tracker.

Сборка Docker-образа

Чтобы собрать Docker-образ, выполните:

docker build -t url-tracker .

Запуск Docker-контейнера

Чтобы запустить приложение с помощью Docker:

docker run -p 1337:1337 url-tracker

Или с помощью docker-compose:

docker-compose build 
docker-compose up 

Эта команда сопоставляет порт 1337 контейнера с портом 1337 вашего локального компьютера. Откройте приложение, перейдя по адресу http://localhost:1337 в вашем браузере.

Скриншоты

Лицензия

Лицензия MIT (MIT)

Copyright (c) 2024 Abdullah Hussam

Настоящим предоставляется бесплатное разрешение любому лицу, получившему копию данного программного обеспечения и сопутствующей документации (далее — "Программное обеспечение"), на использование Программного обеспечения без ограничений, включая, без ограничений, права на использование, копирование, изменение, объединение, публикацию, распространение, сублицензирование и/или продажу копий Программного обеспечения, а также на предоставление лицам, которым предоставляется данное Программное обеспечение, права на это при соблюдении следующих условий:

Вышеуказанное уведомление об авторских правах и данное уведомление о разрешении должны быть включены во все копии или значительные части Программного обеспечения.

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДОСТАВЛЯЕТСЯ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ГАРАНТИЙ, ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ, ВКЛЮЧАЯ, НО НЕ ОГРАНИЧИВАЯСЬ, ГАРАНТИЯМИ ТОВАРНОЙ ПРИГОДНОСТИ, СООТВЕТСТВИЯ ПО ОПРЕДЕЛЁННОМУ НАЗНАЧЕНИЮ И НЕНАРУШЕНИЯ ПРАВ. НИ В КОЕМ СЛУЧАЕ АВТОРЫ ИЛИ ПРАВООБЛАДАТЕЛИ НЕ НЕСУТ ОТВЕТСТВЕННОСТИ ПО КАКИМ-ЛИБО ИСКАМ, УБЫТКАМ ИЛИ ИНЫМ ОБЯЗАТЕЛЬСТВАМ, БУДЬ ТО В ДЕЙСТВИЯХ ПО ДОГОВОРУ, ДЕЛИКТУ ИЛИ ИНЫМ ОБРАЗОМ, ВОЗНИКШИМ ИЗ ИЛИ В СВЯЗИ С ИСПОЛЬЗОВАНИЕМ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ИЛИ ИНЫМИ ДЕЙСТВИЯМИ С ПРОГРАММНЫМ ОБЕСПЕЧЕНИЕМ.

Вклад

Вклад приветствуется! Пожалуйста, не стесняйтесь отправлять Pull Request.

Поддержка

Для получения поддержки, пожалуйста, создайте issue на GitHub.