URL Tracker v0.5.0

URL Tracker ist eine robuste und skalierbare Webanwendung, die dazu dient, URLs zu überwachen und zu verfolgen, Änderungen zu protokollieren und detaillierte Einblicke in den Status und das Verhalten verschiedener Webressourcen zu bieten. Die Anwendung basiert auf Sails.js und eignet sich perfekt zum Verfolgen von URLs hinsichtlich Verfügbarkeit, Inhaltsänderungen und Leistungsüberwachung.

Funktionen

• URL-Überwachung: Verfolgen Sie verschiedene URLs und überwachen Sie deren Status im Laufe der Zeit, mit der Möglichkeit, einzelne oder mehrere URLs pro Eingabe hinzuzufügen.
• Änderungserkennung: Erkennen und protokollieren Sie Änderungen am Inhalt verfolgter URLs.
• Automatisierte Anfragen: Planen und automatisieren Sie Anfragen an URLs, um deren Status regelmäßig zu überprüfen (stündlich, täglich, wöchentlich, monatlich).
• Detaillierte Protokolle: Speichern und anzeigen von Protokollen über URL-Änderungen und Anfragestatus.
• Benutzeranmeldung: Anmeldung mit E‑Mail und Passwort.
• Benachrichtigungen: Senden von Benachrichtigungen basierend auf bestimmten Ereignissen wie Inhaltsänderungen über einen Telegram‑Bot.

So funktioniert es

URL Tracker sendet in regelmäßigen Abständen HTTP‑Anfragen an die angegebenen URLs. Es vergleicht den Antwortinhalt mit früheren Ergebnissen und protokolliert etwaige Unterschiede. Die Anwendung kann mit benutzerdefinierten Benachrichtigungen, Datenverarbeitung und mehr erweitert werden, was sie vielseitig für verschiedene Anwendungsfälle macht.

Standard-Anmeldedaten

Nach der Ersteinrichtung enthält die Anwendung Standard-Administrator-Anmeldedaten:

• Benutzername: [email protected]
• Passwort: 9TMhdaUSEzksEXF

WICHTIG: Aus Sicherheitsgründen wird dringend empfohlen, diese Standard-Anmeldedaten unmittelbar nach der Anmeldung zu ändern. Sie können dies über die Benutzerverwaltungsoberfläche innerhalb der Anwendung tun.

So wird es verwendet

Wenn Sie Änderungen auf einer Webseite verfolgen möchten, gehen Sie wie folgt vor (Sie müssen angemeldet sein):

1. Neuen Link hinzufügen: Klicken Sie rechts auf die Schaltfläche „Neuen Link hinzufügen“.
2. Beschreibung ausfüllen: Geben Sie im Textfeld „Beschreibung“ einen Text ein, der das Ziel beschreibt, z. B. „Anmeldeseite des internen Uber-Systems“.
3. Ziellink eingeben: Schreiben Sie den Ziellink in das Textfeld „Link der Seite“, z. B. http://s3.amazonaws.com/careemcrm/. Sie können auch mehrere Links hinzufügen.
4. Schlüsselwörter angeben: Geben Sie im Textfeld „Schlüsselwörter“ Schlüsselwörter ein, die auf der Seite verfolgt werden sollen. Wenn diese Schlüsselwörter auftauchen, werden Sie benachrichtigt (z. B. „404“, „neue Funktion“, „nicht gefunden“). Hinweis: Diese Schlüsselwörter dürfen in der ersten Anfrage NICHT vorhanden sein.
5. Authentifizierung bei Bedarf: Wenn Sie eine authentifizierte Seite verfolgen möchten, fügen Sie Ihre Cookies im Textfeld „Cookie“ hinzu.
6. Prüfintervall auswählen: Wählen Sie den Zeitraum, in dem die Seite überprüft werden soll.
7. Toleranz festlegen: Im Textfeld „Toleranz“ legen Sie die akzeptierte Differenz zwischen dem vorherigen und dem nächsten Abruf in Zeichen fest (z. B. 100). Hinweis: Wenn Sie geringfügige Änderungen wie CSRF‑Tokens, Cache‑Tokens oder Cookie‑Tracking ignorieren möchten, setzen Sie diesen Parameter. Wenn das Feld leer bleibt, vergleicht der Server zwei Anfragen und speichert die Unterschiede in der Datenbank als acceptedChange.
8. Link hinzufügen: Klicken Sie auf die Schaltfläche „Link hinzufügen“. Das neue Ziel sollte nun in der URL‑Liste erscheinen.

Telegram‑Bot‑Einrichtung für Benachrichtigungen

Um Benachrichtigungen über Telegram zu erhalten:

1. Telegram‑Bot erstellen: Verwenden Sie den BotFather, um einen neuen Bot in Telegram zu erstellen.
2. Bot‑Token abrufen: Nach der Erstellung des Bots erhalten Sie von BotFather einen Token. Speichern Sie diesen Token.
3. Ihre Chat‑ID abrufen: Starten Sie einen Chat mit Ihrem Bot und verwenden Sie dann eine API wie https://api.telegram.org/bot<YourBOTToken>/getUpdates, um Ihre Chat‑ID zu ermitteln.
4. Bot in der Anwendung konfigurieren:
   • Gehen Sie zu den Einstellungen Ihrer Anwendung (http://127.0.0.1:1337/settings) und geben Sie den Bot‑Token und die Chat‑ID ein.
   • Aktivieren Sie Telegram‑Benachrichtigungen.
5. Benachrichtigungen empfangen: Sie erhalten nun Benachrichtigungen und Warnungen vom URL Tracker über Telegram.

Einrichtung

Voraussetzungen

Stellen Sie vor dem Start sicher, dass Folgendes auf Ihrem lokalen Rechner installiert ist:

• Node.js (Version 16.x oder höher)
• MongoDB
• Docker (falls in einem Container verwendet)
• Git

Repository klonen

Klonen Sie das Repository zunächst auf Ihren lokalen Rechner:

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

Abhängigkeiten installieren

Nach dem Klonen des Repositorys installieren Sie die erforderlichen Abhängigkeiten:

npm install

Anwendung ausführen

Sie können die Anwendung im Entwicklungsmodus starten mit:

sails lift

Dadurch wird der Sails.js‑Server auf dem in Ihrer .env‑Datei definierten Port gestartet.

Docker‑Einrichtung

Für eine konsistente Umgebung können Sie das URL Tracker‑Projekt mit Docker ausführen.

MONGO_URL in der .env‑Datei ändern

Ändern Sie MONGO_URL in mongodb://mongodb:27017/url-tracker.

Docker‑Image erstellen

Um das Docker‑Image zu erstellen, führen Sie Folgendes aus:

docker build -t url-tracker .

Docker‑Container ausführen

Um die Anwendung mit Docker zu starten:

docker run -p 1337:1337 url-tracker

Oder mit docker‑compose:

docker-compose build 
docker-compose up 

Dieser Befehl bildet den Container‑Port 1337 auf den Port 1337 Ihres lokalen Rechners ab. Rufen Sie die Anwendung unter http://localhost:1337 in Ihrem Browser auf.

Screenshots

Lizenz

Die MIT‑Lizenz (MIT)

Copyright (c) 2024 Abdullah Hussam

Hiermit wird jeder Person, die eine Kopie dieser Software und der zugehörigen Dokumentationsdateien (die „Software“) erhält, kostenlos die Erlaubnis erteilt, die Software ohne Einschränkung zu nutzen, einschließlich und ohne Einschränkung der Rechte zur Verwendung, Vervielfältigung, Änderung, Zusammenführung, Veröffentlichung, Verteilung, Unterlizenzierung und/oder zum Verkauf von Kopien der Software, und Personen, denen die Software zur Verfügung gestellt wird, dies unter den folgenden Bedingungen zu gestatten:

Der obige Urheberrechtshinweis und dieser Genehmigungshinweis müssen in allen Kopien oder wesentlichen Teilen der Software enthalten sein.

DIE SOFTWARE WIRD OHNE MÄNGELGEWÄHR UND OHNE JEGLICHE AUSDRÜCKLICHE ODER STILLSCHWEIGENDE GEWÄHRLEISTUNG BEREITGESTELLT, EINSCHLIESSLICH, ABER NICHT BESCHRÄNKT AUF DIE GEWÄHRLEISTUNG DER MARKTGÄNGIGKEIT, DER EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND DER NICHTVERLETZUNG VON RECHTEN DRITTER. IN KEINEM FALL HAFTEN DIE AUTOREN ODER URHEBERRECHTSINHABER FÜR JEGLICHE ANSPRÜCHE, SCHÄDEN ODER ANDERE VERPFLICHTUNGEN, SEI ES AUS VERTRAG, UNERLAUBTER HANDLUNG ODER ANDERWEITIG, DIE AUS ODER IM ZUSAMMENHANG MIT DER SOFTWARE ODER DER NUTZUNG ODER ANDEREN GESCHÄFTEN MIT DER SOFTWARE ENTSTEHEN.

Mitwirken

Beiträge sind willkommen! Bitte reichen Sie einen Pull‑Request ein.

Unterstützung

Bei Support öffnen Sie bitte ein Issue auf GitHub.