URL Tracker v0.5.0

URL Tracker は、堅牢で拡張性の高い Web アプリケーションで、URL の監視・追跡、変更のログ記録、さまざまな Web リソースのステータスや動作に関する詳細な洞察を提供するために設計されています。Sails.js 上に構築されたこのアプリケーションは、アップタイム、コンテンツ変更、パフォーマンス監視のための URL 追跡に最適です。

特徴

• URL 監視: さまざまな URL を追跡し、そのステータスを経時的に監視します。1 回の送信で単一または複数の URL を追加できます。
• 変更検出: 追跡中の URL のコンテンツ変更を検出し、ログに記録します。
• 自動リクエスト: 定期的に URL にリクエストを送信するようスケジュールを設定し、自動化します（毎時、毎日、毎週、毎月）。
• 詳細ログ: URL の変更やリクエストステータスのログを保存・表示します。
• ユーザーログイン: メールアドレスとパスワードでログインできます。
• 通知: Telegram ボットを介して、コンテンツ変更などの特定のイベントに基づく通知を送信します。

動作の仕組み

URL Tracker は、指定された URL に定期的に HTTP リクエストを送信することで動作します。レスポンスの内容を以前の結果と比較し、差異があればログに記録します。このアプリケーションは、カスタム通知、データ処理などを追加して拡張できるため、さまざまなユースケースに柔軟に対応できます。

デフォルト認証情報

初期セットアップ後、アプリケーションにはデフォルトの管理者認証情報が設定されています。

• ユーザー名: [email protected]
• パスワード: 9TMhdaUSEzksEXF

重要: セキュリティ上の理由から、ログイン後すぐにこれらのデフォルト認証情報を変更することを強く推奨します。アプリケーション内のユーザー管理インターフェースから変更できます。

使い方

Web ページの変更を追跡したい場合は、次の手順に従ってください（ログインしている必要があります）。

1. 新規リンクを追加: 右側の「新規リンクを追加」ボタンをクリックします。
2. 説明を入力: 説明テキストボックスに、対象を説明するテキストを入力します。例：「Uber 内部システムログインページ」。
3. 対象リンクを入力: 「ページのリンク」テキストボックスに対象リンクを入力します。例：http://s3.amazonaws.com/careemcrm/。複数のリンクも追加できます。
4. キーワードを指定: 「キーワード」テキストボックスに、ページ上で追跡するキーワードを入力します。これらのキーワードが現れた場合、通知が届きます（例：「404」、「新機能」、「見つかりません」）。注: これらのキーワードは最初のリクエストには存在してはなりません。
5. 必要に応じて認証: 認証が必要なページを追跡する場合は、「Cookie」テキストボックスに Cookie を追加します。
6. チェック間隔を選択: ページをチェックする間隔を選択します。
7. 許容値を設定: 「許容値」テキストボックスに、前回の取得と次回の取得の間で受け入れ可能な差異を文字数で設定します（例：100）。注: CSRF トークン、キャッシュトークン、Cookie トラッキングなどの軽微な変更を無視したい場合は、このパラメータを設定します。空白のままにすると、サーバーは 2 つのリクエストを比較し、差異を acceptedChange としてデータベースに保存します。
8. リンクを追加: 「リンクを追加」ボタンをクリックします。URL リストに新しい対象が表示されるはずです。

Telegram ボット通知設定

Telegram 経由で通知を受け取るには:

1. Telegram ボットを作成: Telegram の BotFather を使用して新しいボットを作成します。
2. ボットトークンを取得: ボット作成後、BotFather からトークンが発行されます。このトークンを保存します。
3. チャット ID を取得: ボットとのチャットを開始し、https://api.telegram.org/bot<YourBOTToken>/getUpdates のような API を使用してチャット ID を取得します。
4. アプリケーションでボットを設定:
   • アプリケーションの設定（http://127.0.0.1:1337/settings）に移動し、ボットトークンとチャット ID を入力します。
   • Telegram 通知を有効にします。
5. 通知を受け取る: これで URL Tracker から Telegram 経由でアラートや通知を受信できるようになります。

セットアップ

前提条件

始める前に、ローカルマシンに以下のものがインストールされていることを確認してください。

• Node.js（バージョン 16.x 以上）
• MongoDB
• Docker（コンテナで使用する場合）
• Git

リポジトリのクローン

まず、リポジトリをローカルマシンにクローンします。

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

依存関係のインストール

リポジトリのクローン後、必要な依存関係をインストールします。

npm install

アプリケーションの実行

開発モードでアプリケーションを起動するには、以下を使用します。

sails lift

これにより、.env ファイルで定義されたポートで Sails.js サーバーが起動します。

Docker セットアップ

一貫した環境を得るために、Docker を使用して URL Tracker プロジェクトを実行できます。

.env ファイルの MONGO_URL を変更

MONGO_URL を mongodb://mongodb:27017/url-tracker に変更します。

Docker イメージのビルド

Docker イメージをビルドするには、以下を実行します。

docker build -t url-tracker .

Docker コンテナの実行

Docker を使用してアプリケーションを起動するには:

docker run -p 1337:1337 url-tracker

または docker-compose を使用:

docker-compose build 
docker-compose up 

このコマンドは、コンテナのポート 1337 をローカルマシンのポート 1337 にマッピングします。ブラウザで http://localhost:1337 にアクセスしてアプリケーションを利用します。

スクリーンショット

ライセンス

The MIT License (MIT)

Copyright (c) 2024 Abdullah Hussam

以下に定める条件に従い、本ソフトウェアおよび関連文書ファイル（以下「ソフトウェア」）の複製物を取得するすべての人に対し、ソフトウェアを無制限に扱うことを許可します。これには、ソフトウェアの複製、変更、結合、出版、頒布、サブライセンス、および/または販売の権利、およびソフトウェアを提供する相手に同じことを許可する権利が無制限に含まれます。

上記の著作権表示および本許可表示は、ソフトウェアのすべての複製物または重要な部分に記載するものとします。

ソフトウェアは「現状のまま」で提供され、明示的であるか黙示的であるかを問わず、いかなる保証も伴いません。これには、商品性、特定目的への適合性、および権利非侵害に関する保証が含まれますが、これに限りません。いかなる場合も、著作者または著作権保持者は、ソフトウェアに関連して、またはソフトウェアの使用またはその他の取扱いから生じるいかなる請求、損害、その他の責任も負わないものとします。

コントリビューション

コントリビューションを歓迎します！お気軽にプルリクエストを送信してください。

サポート

サポートが必要な場合は、GitHub で Issue を開いてください。