URL Tracker v0.5.0

URL Tracker è una web application robusta e scalabile progettata per monitorare e tracciare URL, registrare modifiche e fornire approfondimenti dettagliati sullo stato e il comportamento di varie risorse web. Costruita su Sails.js, questa applicazione è perfetta per tracciare URL per l'uptime, i cambiamenti di contenuto e il monitoraggio delle prestazioni.

Caratteristiche

• Monitoraggio URL: Tieni traccia di vari URL e monitora il loro stato nel tempo con la possibilità di aggiungere URL singoli o multipli per invio.
• Rilevamento delle modifiche: Rileva e registra le modifiche al contenuto degli URL tracciati.
• Richieste automatizzate: Pianifica e automatizza richieste a URL per verificarne periodicamente lo stato (orario, giornaliero, settimanale, mensile).
• Registri dettagliati: Memorizza e visualizza i registri delle modifiche agli URL e degli stati delle richieste.
• Accesso utente: Usa email e password per accedere.
• Notifiche: Invia notifiche basate su eventi specifici come modifiche di contenuto su un bot Telegram.

Come Funziona

URL Tracker funziona inviando richieste HTTP a URL specificati a intervalli regolari. Confronta il contenuto della risposta con i risultati precedenti e registra eventuali differenze. L'applicazione può essere estesa con notifiche personalizzate, elaborazione dati e altro, rendendola versatile per vari casi d'uso.

Credenziali Predefinite

Al primo avvio, l'applicazione viene fornita con credenziali amministrative predefinite:

• Nome utente: [email protected]
• Password: 9TMhdaUSEzksEXF

IMPORTANTE: Per motivi di sicurezza, si consiglia vivamente di modificare queste credenziali predefinite subito dopo l'accesso. Puoi farlo tramite l'interfaccia di gestione utenti all'interno dell'applicazione.

Come Usare

Se desideri tracciare le modifiche su una pagina web, segui questi passaggi (devi aver effettuato l'accesso):

1. Aggiungi Nuovo Link: Fai clic sul pulsante 'Add New Link' sulla destra.
2. Inserisci la descrizione: Scrivi del testo nella casella di testo della descrizione che descrive il target, ad esempio "Uber internal system login page."
3. Inserisci il link di destinazione: Scrivi il link di destinazione nella casella di testo 'Link of page', ad esempio http://s3.amazonaws.com/careemcrm/. Puoi anche aggiungere più link.
4. Specifica le parole chiave: Inserisci le parole chiave che verranno tracciate nella pagina nella casella di testo 'Keywords'. Se queste parole chiave appaiono, riceverai una notifica (ad esempio, "404", "new feature", "not found"). Nota: Queste parole chiave NON devono essere presenti nella prima richiesta.
5. Autentica se necessario: Se desideri tracciare una pagina autenticata, aggiungi i tuoi cookie nella casella di testo 'Cookie'.
6. Seleziona il periodo di controllo: Scegli il periodo con cui vuoi controllare la pagina.
7. Imposta la tolleranza: Nella casella di testo 'Tolerance', imposta le differenze accettate tra il recupero precedente e quello successivo in caratteri (ad esempio, 100). Nota: Se desideri ignorare piccole modifiche come token CSRF, token cache o cookie di tracciamento, imposta questo parametro. Se lasciato vuoto, il server confronterà due richieste e memorizzerà le differenze nel database come acceptedChange.
8. Aggiungi il link: Fai clic sul pulsante 'Add Link'. Dovresti vedere il nuovo target nell'elenco degli URL.

Configurazione del Bot Telegram per le Notifiche

Per ricevere notifiche tramite Telegram:

1. Crea un bot Telegram: Usa BotFather per creare un nuovo bot su Telegram.
2. Ottieni il token del bot: Dopo aver creato il bot, riceverai un token da BotFather. Salva questo token.
3. Ottieni il tuo Chat ID: Avvia una chat con il tuo bot, quindi usa un'API come https://api.telegram.org/bot<YourBOTToken>/getUpdates per recuperare il tuo Chat ID.
4. Configura il bot nell'applicazione: Vai alle impostazioni dell'applicazione (http://127.0.0.1:1337/settings) e inserisci il token del bot e il chat ID. Abilita le notifiche Telegram.
5. Ricevi notifiche: Ora riceverai avvisi e notifiche da URL Tracker tramite Telegram.

Impostazione

Prerequisiti

Prima di iniziare, assicurati di avere installato quanto segue sul tuo computer locale:

• Node.js (versione 16.x o superiore)
• MongoDB
• Docker (nel caso in cui lo si usi in un contenitore)
• Git

Clona il Repository

Inizia clonando il repository sul tuo computer locale:

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

Installa le Dipendenze

Dopo aver clonato il repository, installa le dipendenze necessarie:

npm install

Avvio dell'Applicazione

Puoi avviare l'applicazione in modalità di sviluppo usando:

sails lift

Questo avvierà il server Sails.js sulla porta definita nel tuo file .env

Configurazione Docker

Per un ambiente coerente, puoi eseguire il progetto URL Tracker usando Docker.

Cambia MONGO_URL nel file .env

Cambia MONGO_URL in mongodb://mongodb:27017/url-tracker.

Costruisci l'Immagine Docker

Per costruire l'immagine Docker, esegui:

docker build -t url-tracker .

Esegui il Contenitore Docker

Per avviare l'applicazione usando Docker:

docker run -p 1337:1337 url-tracker

O usando docker-compose

docker-compose build
docker-compose up

Questo comando mappa la porta 1337 del contenitore alla porta 1337 del tuo computer locale. Accedi all'applicazione navigando su http://localhost:1337 nel tuo browser.

Schermate

Licenza

The MIT License (MIT)

Copyright (c) 2024 Abdullah Hussam

Con la presente viene concessa l'autorizzazione, gratuitamente, a chiunque ottenga una copia di questo software e dei file di documentazione associati (il "Software"), di trattare il Software senza restrizioni, inclusi, senza limitazione, i diritti di utilizzare, copiare, modificare, unire, pubblicare, distribuire, concedere in sublicenza e/o vendere copie del Software, e di consentire alle persone a cui il Software è fornito di fare altrettanto, alle seguenti condizioni:

L'avviso di copyright sopra riportato e questo avviso di autorizzazione devono essere inclusi in tutte le copie o parti sostanziali del Software.

IL SOFTWARE VIENE FORNITO "COSÌ COM'È", SENZA GARANZIA DI ALCUN TIPO, ESPRESSA O IMPLICITA, INCLUSE MA NON LIMITATE ALLE GARANZIE DI COMMERCIABILITÀ, IDONEITÀ PER UN PARTICOLARE SCOPO E NON VIOLAZIONE. IN NESSUN CASO GLI AUTORI O I TITOLARI DEL COPYRIGHT POTRANNO ESSERE RITENUTI RESPONSABILI PER QUALSIASI RECLAMO, DANNO O ALTRA RESPONSABILITÀ, SIA IN UN'AZIONE CONTRATTUALE, ILLECITO O ALTRO, DERIVANTE DA, O IN CONNESSIONE CON, IL SOFTWARE O L'USO O ALTRI RAPPORTI NEL SOFTWARE.

Contributi

I contributi sono benvenuti! Sentiti libero di inviare una Pull Request.

Supporto

Per supporto, apri un issue su GitHub.