URL Tracker v0.5.0

URL Tracker 是一个健壮且可扩展的 Web 应用程序，旨在监控和跟踪 URL、记录变更，并提供关于各种 Web 资源状态和行为的详细洞察。该应用基于 Sails.js 构建，非常适合用于跟踪 URL 的在线时长、内容变化和性能监控。

特性

• URL 监控：跟踪多个 URL 并随时间监控其状态，支持单次或批量添加 URL。
• 变更检测：检测并记录被跟踪 URL 内容的变更。
• 自动化请求：按计划自动向 URL 发送请求，定期检查其状态（每小时、每天、每周、每月）。
• 详细日志：存储并查看 URL 变更和请求状态的日志。
• 用户登录：使用电子邮件和密码登录。
• 通知：通过 Telegram 机器人发送基于特定事件（如内容变化）的通知。

工作原理

URL Tracker 通过定期向指定 URL 发送 HTTP 请求来工作。它将响应内容与之前结果进行比较，并记录任何差异。该应用可扩展自定义通知、数据处理等功能，使其适用于多种使用场景。

默认凭证

初始设置后，应用提供默认管理员凭据：

• 用户名：[email protected]
• 密码：9TMhdaUSEzksEXF

重要提示：出于安全原因，强烈建议在登录后立即更改这些默认凭据。您可以通过应用内的用户管理界面进行更改。

如何使用

如果您想跟踪网页上的变更，请按以下步骤操作（您必须已登录）：

1. 添加新链接：点击右侧的“添加新链接”按钮。
2. 填写描述：在描述文本框中输入描述目标的文字，例如“优步内部系统登录页面”。
3. 输入目标链接：在“页面链接”文本框中写入目标链接，例如 http://s3.amazonaws.com/careemcrm/。也可以添加多个链接。
4. 指定关键词：在“关键词”文本框中输入将在页面上被跟踪的关键词。如果出现这些关键词，您将收到通知（例如“404”、“新功能”、“未找到”）。注意：这些关键词不得出现在第一次请求中。
5. 必要时进行认证：如果您想跟踪需要认证的页面，请在“Cookie”文本框中添加您的 Cookie。
6. 选择检查周期：选择您希望检查页面的周期。
7. 设置容差：在“容差”文本框中，设置前后两次抓取之间可接受的差异字符数（例如 100）。注意：如果您想忽略 CSRF 令牌、缓存令牌或 Cookie 跟踪等微小变更，请设置此参数。如果留空，服务器将比较两次请求并将差异作为 acceptedChange 存储在数据库中。
8. 添加链接：点击“添加链接”按钮。您应该能在 URL 列表中看到新目标。

Telegram 机器人通知设置

要通过 Telegram 接收通知：

1. 创建 Telegram 机器人：使用 BotFather 在 Telegram 上创建新机器人。
2. 获取机器人令牌：创建机器人后，您将从 BotFather 获得一个令牌。请保存好此令牌。
3. 获取您的聊天 ID：与您的机器人开始对话，然后使用类似 https://api.telegram.org/bot<YourBOTToken>/getUpdates 的 API 来获取您的聊天 ID。
4. 在应用中配置机器人：
   • 进入应用的设置页面（http://127.0.0.1:1337/settings），输入机器人令牌和聊天 ID。
   • 启用 Telegram 通知。
5. 接收通知：您将开始通过 Telegram 接收来自 URL Tracker 的提醒和通知。

设置

前提条件

开始之前，请确保您的本地机器上已安装以下软件：

• Node.js（版本 16.x 或更高）
• MongoDB
• Docker（如果要在容器中使用）
• Git

克隆仓库

首先，将仓库克隆到本地机器：

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

安装依赖

克隆仓库后，安装必要的依赖：

npm install

运行应用

您可以使用以下命令以开发模式启动应用：

sails lift

这将启动 Sails.js 服务器，端口在您的 .env 文件中定义。

Docker 设置

为了提供一致的环境，您可以使用 Docker 运行 URL Tracker 项目。

修改 .env 文件中的 MONGO_URL

将 MONGO_URL 改为 mongodb://mongodb:27017/url-tracker。

构建 Docker 镜像

要构建 Docker 镜像，请运行：

docker build -t url-tracker .

运行 Docker 容器

要使用 Docker 启动应用：

docker run -p 1337:1337 url-tracker

或使用 docker-compose：

docker-compose build 
docker-compose up 

此命令将容器的 1337 端口映射到本地机器的 1337 端口。在浏览器中访问 http://localhost:1337 即可使用应用。

截图

许可证

MIT 许可证 (MIT)

版权所有 (c) 2024 Abdullah Hussam

特此免费授予任何获得本软件及相关文档文件（“软件”）副本的人，不受限制地处理本软件的权利，包括但不限于使用、复制、修改、合并、发布、分发、再许可和/或销售软件副本的权利，并允许获得软件的人这样做，前提是遵守以下条件：

上述版权声明和本许可声明应包含在软件的所有副本或实质性部分中。

本软件按“原样”提供，不提供任何明示或默示的担保，包括但不限于适销性、特定用途适用性和非侵权性的担保。在任何情况下，作者或版权持有人均不对因使用本软件或与本软件有关的任何索赔、损害或其他责任负责，无论此类责任是合同、侵权还是其他行为引起的。

贡献

欢迎贡献！请随时提交拉取请求。

支持

如需支持，请在 GitHub 上提出 issue。