URL Tracker v0.5.0

URL Tracker é uma aplicação web robusta e escalável projetada para monitorar e rastrear URLs, registrar alterações e fornecer insights detalhados sobre o status e comportamento de vários recursos web. Construída sobre Sails.js, esta aplicação é perfeita para rastrear URLs para tempo de atividade, mudanças de conteúdo e monitoramento de desempenho.

Funcionalidades

• Monitoramento de URLs: Acompanhe várias URLs e monitore seu status ao longo do tempo, com a capacidade de adicionar URLs únicas ou múltiplas por envio.
• Detecção de Mudanças: Detecte e registre alterações no conteúdo de URLs rastreadas.
• Requisições Automatizadas: Agende e automatize requisições para URLs para verificar periodicamente seu status (a cada hora, diariamente, semanalmente, mensalmente).
• Logs Detalhados: Armazene e visualize logs de alterações de URLs e status de requisições.
• Login de Usuário: Use e-mail e senha para fazer login.
• Notificações: Envie notificações baseadas em eventos específicos, como mudanças de conteúdo, em um bot do Telegram.

Como Funciona

URL Tracker funciona enviando requisições HTTP para URLs especificadas em intervalos regulares. Ele compara o conteúdo da resposta com resultados anteriores e registra quaisquer diferenças. A aplicação pode ser estendida com notificações personalizadas, processamento de dados e muito mais, tornando-a versátil para vários casos de uso.

Credenciais Padrão

Na configuração inicial, a aplicação vem com credenciais de administrador padrão:

• Nome de usuário: [email protected]
• Senha: 9TMhdaUSEzksEXF

IMPORTANTE: Por razões de segurança, é altamente recomendável alterar estas credenciais padrão imediatamente após o login. Você pode fazer isso através da interface de gerenciamento de usuários dentro da aplicação.

Como Usar

Se você deseja rastrear mudanças em uma página da web, siga estes passos (Você deve estar logado):

1. Adicionar Novo Link: Clique no botão "Add New Link" no lado direito.
2. Preencher a Descrição: Digite texto na caixa de descrição que descreva o alvo, por exemplo, "Página de login do sistema interno da Uber."
3. Inserir o Link Alvo: Escreva o link alvo na caixa "Link of page", por exemplo, http://s3.amazonaws.com/careemcrm/. Você também pode adicionar vários links.
4. Especificar Palavras-Chave: Digite palavras-chave que serão rastreadas na página na caixa "Keywords". Se essas palavras-chave aparecerem, você será notificado (por exemplo, "404", "nova funcionalidade", "não encontrado"). Nota: Essas palavras-chave NÃO devem estar presentes na primeira requisição.
5. Autenticar se Necessário: Se você deseja rastrear uma página autenticada, adicione seus cookies na caixa "Cookie".
6. Selecionar o Período de Verificação: Escolha o período no qual deseja verificar a página.
7. Definir Tolerância: Na caixa "Tolerance", defina as diferenças aceitas entre a busca anterior e a próxima por caracteres (exemplo: 100). Nota: Se você quiser ignorar pequenas mudanças como tokens CSRF, tokens de cache ou rastreamento de cookies, defina este parâmetro. Se deixado em branco, o servidor comparará duas requisições e armazenará as diferenças no banco de dados como acceptedChange.
8. Adicionar o Link: Clique no botão "Add Link". Você deve ver o novo alvo na lista de URLs.

Configuração do Bot do Telegram para Notificações

Para receber notificações via Telegram:

1. Criar um Bot do Telegram: Use o BotFather para criar um novo bot no Telegram.
2. Obter o Token do Bot: Após criar o bot, você receberá um token do BotFather. Salve este token.
3. Obter seu Chat ID: Inicie uma conversa com seu bot e, em seguida, use uma API como https://api.telegram.org/bot<YourBOTToken>/getUpdates para recuperar seu chat ID.
4. Configurar o Bot na Aplicação:
   • Vá para as configurações da sua aplicação (http://127.0.0.1:1337/settings) e insira o token do bot e o chat ID.
   • Ative as notificações do Telegram.
5. Receber Notificações: Agora você receberá alertas e notificações do URL Tracker via Telegram.

Configuração

Pré-requisitos

Antes de começar, certifique-se de ter os seguintes itens instalados em sua máquina local:

• Node.js (versão 16.x ou superior)
• MongoDB
• Docker (caso use em um container)
• Git

Clonar o Repositório

Comece clonando o repositório para sua máquina local:

git clone https://github.com/ahussam/url-tracker.git
cd url-tracker

Instalar Dependências

Após clonar o repositório, instale as dependências necessárias:

npm install

Executar a Aplicação

Você pode iniciar a aplicação em modo de desenvolvimento usando:

sails lift

Isso iniciará o servidor Sails.js na porta definida no seu arquivo .env.

Configuração com Docker

Para um ambiente consistente, você pode executar o projeto URL Tracker usando Docker.

Alterar MONGO_URL no arquivo .env

Altere o MONGO_URL para mongodb://mongodb:27017/url-tracker.

Construir a Imagem Docker

Para construir a imagem Docker, execute:

docker build -t url-tracker .

Executar o Container Docker

Para iniciar a aplicação usando Docker:

docker run -p 1337:1337 url-tracker

Ou usando docker-compose:

docker-compose build 
docker-compose up 

Este comando mapeia a porta 1337 do container para a porta 1337 da sua máquina local. Acesse a aplicação navegando para http://localhost:1337 no seu navegador.

Capturas de Tela

Licença

The MIT License (MIT)

Copyright (c) 2024 Abdullah Hussam

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

Contribuição

Contribuições são bem-vindas! Sinta-se à vontade para enviar um Pull Request.

Suporte

Para suporte, por favor abra uma issue no GitHub.