URL Tracker v0.5.0

URL Tracker est une application web robuste et évolutive conçue pour surveiller et suivre des URL, enregistrer les modifications et fournir des informations détaillées sur le statut et le comportement de diverses ressources web. Construite sur Sails.js, cette application est parfaite pour le suivi des URL pour la disponibilité, les changements de contenu et la surveillance des performances.

Fonctionnalités

• Surveillance d'URL : Suivez diverses URL et surveillez leur statut au fil du temps avec la possibilité d'ajouter une ou plusieurs URL par soumission.
• Détection de changements : Détectez et enregistrez les changements dans le contenu des URL suivies.
• Requêtes automatisées : Planifiez et automatisez les requêtes vers des URL pour vérifier périodiquement leur statut (toutes les heures, quotidiennement, hebdomadairement, mensuellement).
• Journaux détaillés : Stockez et visualisez les journaux des changements d'URL et des statuts de requêtes.
• Connexion utilisateur : Utilisez un email et un mot de passe pour vous connecter.
• Notifications : Envoyez des notifications basées sur des événements spécifiques comme les changements de contenu via un bot Telegram.

Comment ça fonctionne

URL Tracker fonctionne en envoyant des requêtes HTTP vers des URL spécifiées à intervalles réguliers. Il compare le contenu de la réponse aux résultats précédents et enregistre toute différence. L'application peut être étendue avec des notifications personnalisées, du traitement de données, etc., ce qui la rend polyvalente pour divers cas d'utilisation.

Identifiants par défaut

Lors de la configuration initiale, l'application est livrée avec des identifiants administrateur par défaut :

• Nom d'utilisateur : [email protected]
• Mot de passe : 9TMhdaUSEzksEXF

IMPORTANT : Pour des raisons de sécurité, il est fortement recommandé de modifier ces identifiants par défaut immédiatement après la connexion. Vous pouvez le faire via l'interface de gestion des utilisateurs de l'application.

Comment utiliser

Si vous souhaitez suivre les changements sur une page web, suivez ces étapes (vous devez être connecté) :

1. Ajouter un nouveau lien : Cliquez sur le bouton « Ajouter un nouveau lien » sur le côté droit.
2. Remplissez la description : Saisissez du texte dans la zone de texte de description qui décrit la cible, par exemple « Page de connexion du système interne Uber ».
3. Saisissez le lien cible : Écrivez le lien cible dans la zone de texte « Lien de la page », par exemple http://s3.amazonaws.com/careemcrm/. Vous pouvez également ajouter plusieurs liens.
4. Spécifiez les mots-clés : Saisissez les mots-clés qui seront suivis sur la page dans la zone de texte « Mots-clés ». Si ces mots-clés apparaissent, vous serez notifié (par exemple, « 404 », « nouvelle fonctionnalité », « non trouvé »). Remarque : Ces mots-clés NE doivent PAS être présents dans la première requête.
5. Authentifiez-vous si nécessaire : Si vous souhaitez suivre une page authentifiée, ajoutez vos cookies dans la zone de texte « Cookie ».
6. Sélectionnez la période de vérification : Choisissez la période à laquelle vous souhaitez vérifier la page.
7. Définissez la tolérance : Dans la zone de texte « Tolérance », définissez les différences acceptées entre la récupération précédente et la suivante en caractères (par exemple, 100). Remarque : Si vous souhaitez ignorer les modifications mineures comme les jetons CSRF, les jetons de cache ou le suivi des cookies, définissez ce paramètre. Si laissé vide, le serveur comparera deux requêtes et stockera les différences dans la base de données sous le nom acceptedChange.
8. Ajoutez le lien : Cliquez sur le bouton « Ajouter le lien ». Vous devriez voir la nouvelle cible dans la liste des URL.

Configuration du bot Telegram pour les notifications

Pour recevoir des notifications via Telegram :

1. Créez un bot Telegram : Utilisez le BotFather pour créer un nouveau bot sur Telegram.
2. Obtenez le jeton du bot : Après avoir créé le bot, vous recevrez un jeton de BotFather. Enregistrez ce jeton.
3. Obtenez votre ID de chat : Démarrez une conversation avec votre bot, puis utilisez une API comme https://api.telegram.org/bot<YourBOTToken>/getUpdates pour récupérer votre ID de chat.
4. Configurez le bot dans l'application :
   • Accédez aux paramètres de votre application (http://127.0.0.1:1337/settings) et saisissez le jeton du bot et l'ID de chat.
   • Activez les notifications Telegram.
5. Recevez les notifications : Vous recevrez désormais des alertes et notifications du URL Tracker via Telegram.

Configuration

Prérequis

Avant de commencer, assurez-vous d'avoir installé les éléments suivants sur votre machine locale :

• Node.js (version 16.x ou supérieure)
• MongoDB
• Docker (en cas d'utilisation dans un conteneur)
• Git

Cloner le dépôt

Commencez par cloner le dépôt sur votre machine locale :

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

Installer les dépendances

Après avoir cloné le dépôt, installez les dépendances nécessaires :

npm install

Lancer l'application

Vous pouvez démarrer l'application en mode développement en utilisant :

sails lift

Cela démarrera le serveur Sails.js sur le port défini dans votre fichier .env.

Configuration Docker

Pour un environnement cohérent, vous pouvez exécuter le projet URL Tracker avec Docker.

Modifier MONGO_URL dans le fichier .env

Remplacez MONGO_URL par mongodb://mongodb:27017/url-tracker.

Construire l'image Docker

Pour construire l'image Docker, exécutez :

docker build -t url-tracker .

Lancer le conteneur Docker

Pour démarrer l'application avec Docker :

docker run -p 1337:1337 url-tracker

Ou en utilisant docker-compose :

docker-compose build 
docker-compose up 

Cette commande mappe le port 1337 du conteneur sur le port 1337 de votre machine locale. Accédez à l'application en naviguant vers http://localhost:1337 dans votre navigateur.

Captures d'écran

Licence

Licence MIT (MIT)

Copyright (c) 2024 Abdullah Hussam

Permission est accordée, gratuitement, à toute personne obtenant une copie de ce logiciel et des fichiers de documentation associés (le « Logiciel »), de traiter le Logiciel sans restriction, y compris sans limitation les droits d'utiliser, copier, modifier, fusionner, publier, distribuer, sous-licencier et/ou vendre des copies du Logiciel, et de permettre aux personnes à qui le Logiciel est fourni de le faire, sous réserve des conditions suivantes :

La mention de copyright ci-dessus et cette autorisation doivent être incluses dans toutes les copies ou parties substantielles du Logiciel.

LE LOGICIEL EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'AUCUNE SORTE, EXPRESSE OU IMPLICITE, Y COMPRIS MAIS SANS S'Y LIMITER LES GARANTIES DE QUALITÉ MARCHANDE, D'ADAPTATION À UN USAGE PARTICULIER ET DE NON-CONTREFAÇON. EN AUCUN CAS LES AUTEURS OU TITULAIRES DU COPYRIGHT NE POURRONT ÊTRE TENUS RESPONSABLES DE TOUTE RÉCLAMATION, DOMMAGE OU AUTRE RESPONSABILITÉ, QUE CE SOIT DANS LE CADRE D'UNE ACTION CONTRACTUELLE, DÉLICTUELLE OU AUTRE, DÉCOULANT DE, OU EN LIEN AVEC LE LOGICIEL OU SON UTILISATION, OU D'AUTRES INTERACTIONS AVEC LE LOGICIEL.

Contribuer

Les contributions sont les bienvenues ! N'hésitez pas à soumettre une Pull Request.

Support

Pour obtenir de l'aide, veuillez ouvrir une issue sur GitHub.