mitchellkrogza/nginx-ultimate-bad-bot-blockerNginx bloque les mauvais bots, bloqueur de référents de spam, scanners de vulnérabilités, User-Agents, logiciels malveillants, adwares, rançongiciels, sites malveillants, avec anti-DDOS, blocage du détecteur de thème WordPress et geôle Fail2Ban pour les récidivistes
| DÉPÔT | DEVENIR SPONSOR |
|---|---|
 | Votre logo et le lien vers votre domaine apparaîtront ici si vous devenez sponsor. Envoyez-moi simplement un e-mail à [email protected] si vous souhaitez sponsoriser ce projet car l'Afrique du Sud n'est pas encore prise en charge par le programme de sponsors GitHub. |
 | Soutenez-moi sur https://ko-fi.com/mitchellkrog |
Vous n'utilisez pas Nginx ? Consultez le 
Veuillez vous assurer que vous êtes abonné aux notifications GitHub pour être averti lorsque le bloqueur est mis à jour ou lorsque des changements importants ou critiques (potentiellement cassants) peuvent avoir lieu.
Il s'agit de notre nouvelle méthode d'installation préférée, désormais effectuée via un ensemble de scripts shell contribués à ce dépôt et maintenus par Stuart Cardall @itoffshore, l'un des mainteneurs de paquets Alpine Linux.
Les instructions ci-dessous concernent un processus d'installation rapide et sans douleur qui télécharge tous les fichiers requis pour le bloqueur, et les scripts incluent l'ajout des inclusions requises à vos fichiers nginx.conf et nginx .vhost. Le script d'installation suppose que vos fichiers de configuration vhost se trouvent dans /etc/nginx/sites-available/ et que chaque fichier de configuration vhost se termine par une extension de fichier .vhost
Pour les instructions d'installation manuelle, veuillez consulter - Veuillez consulter : https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/blob/master/MANUAL-CONFIGURATION.md
setup-ngxblocker, install-ngxblocker et update-ngxblocker peuvent tous être configurés avec des emplacements d'installation / de mise à jour personnalisés à partir de la ligne de commande. (Voir l'étape 11 des instructions pour vous montrer comment utiliser ces scripts et les emplacements Nginx non standard)
Exécutez n'importe lequel des scripts de configuration, d'installation ou de mise à jour avec --help ou -h pour afficher les options.
VEUILLEZ NOTER : Pour ceux qui utilisent des certificats SSL Let's Encrypt, la méthode préférée et fonctionnelle à 100 % consiste à utiliser la méthode d'authentification Webroot. Il semble y avoir certains problèmes avec les personnes utilisant la méthode de défi http, mais je peux confirmer que webroot fonctionne parfaitement. Nous ne savons pas encore avec certitude si la méthode de défi http-01 est un bug de certbot ou de nginx.
Les rapports réseau en double de Nginx ne sont PAS un bug et ne peuvent pas être corrigés ; c'est le comportement souhaité du bloqueur. Les mises à jour quotidiennes des listes noires d'IP font que certaines IP et plages bien connues sont mises sur liste noire old value "1" ; elles sont ensuite mises sur liste blanche à la toute fin de globalblocklist, qui est l'ordre de chargement, ce qui définit les IP que nous savons bonnes à leur nouvelle value "0", les mettant ainsi sur liste blanche. Cela fonctionne ainsi depuis le premier jour du bloqueur et continuera ainsi. Ce sont de simples messages [WARN] et non des messages [EMERG] et ils n'affectent en aucune manière le fonctionnement de Nginx.
Téléchargez install-ngxblocker dans votre répertoire /usr/local/sbin/ et rendez le script exécutable.```sh sudo wget https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/install-ngxblocker -O /usr/local/sbin/install-ngxblocker sudo chmod +x /usr/local/sbin/install-ngxblocker
Si votre distribution Linux ne dispose pas de wget, vous pouvez remplacer la commande wget ci-dessus en utilisant curl comme suit :```sh
curl -sL https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/install-ngxblocker -o /usr/local/sbin/install-ngxblocker
Installez le paquet.```sh pkg install www/nginx-ultimate-bad-bot-blocker
Alternativement, installez via portmaster:```sh
portmaster www/nginx-ultimate-bad-bot-blocker
Exécutez maintenant le script install-ngxblocker en mode DRY (simulation), qui vous montrera les modifications qu'il apportera et les fichiers qu'il téléchargera pour vous. Il s'agit uniquement d'un test (DRY-RUN), aucune modification n'est encore effectuée.
Le script install-ngxblocker télécharge tous les fichiers requis, y compris les scripts d'installation et de mise à jour.```sh cd /usr/local/sbin sudo ./install-ngxblocker
Cela vous montrera la sortie suivante des changements qui seront effectués
**(REMARQUE : ceci n'est qu'un DRY-RUN, aucune modification n'a été apportée)**```text
Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
** Dry Run ** | not updating files | run as 'install-ngxblocker -x' to install files.
Creating directory: /etc/nginx/bots.d
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/conf.d/globalblacklist.conf [TO]=> /etc/nginx/conf.d/globalblacklist.conf
Downloading [FROM]=> [REPO]/conf.d/botblocker-nginx-settings.conf [TO]=> /etc/nginx/conf.d/botblocker-nginx-settings.conf
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/bots.d/blockbots.conf [TO]=> /etc/nginx/bots.d/blockbots.conf
Downloading [FROM]=> [REPO]/bots.d/ddos.conf [TO]=> /etc/nginx/bots.d/ddos.conf
Downloading [FROM]=> [REPO]/bots.d/whitelist-ips.conf [TO]=> /etc/nginx/bots.d/whitelist-ips.conf
Downloading [FROM]=> [REPO]/bots.d/whitelist-domains.conf [TO]=> /etc/nginx/bots.d/whitelist-domains.conf
Downloading [FROM]=> [REPO]/bots.d/blacklist-user-agents.conf [TO]=> /etc/nginx/bots.d/blacklist-user-agents.conf
Downloading [FROM]=> [REPO]/bots.d/blacklist-ips.conf [TO]=> /etc/nginx/bots.d/blacklist-ips.conf
Downloading [FROM]=> [REPO]/bots.d/bad-referrer-words.conf [TO]=> /etc/nginx/bots.d/bad-referrer-words.conf
Downloading [FROM]=> [REPO]/bots.d/custom-bad-referrers.conf [TO]=> /etc/nginx/bots.d/custom-bad-referrers.conf
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/setup-ngxblocker [TO]=> /usr/local/sbin/setup-ngxblocker
Downloading [FROM]=> [REPO]/update-ngxblocker [TO]=> /usr/local/sbin/update-ngxblocker
setup-ngxblocker, install-ngxblocker et update-ngxblocker peuvent tous être configurés avec des emplacements personnalisés d'installation / de mise à jour depuis la ligne de commande.
Exécutez l'un des scripts setup, install ou update avec --help ou -h pour afficher les options.
Maintenant, exécutez le script d'installation avec le paramètre -x pour télécharger tous les fichiers nécessaires depuis le dépôt :```sh cd /usr/local/sbin/ sudo ./install-ngxblocker -x
Cela vous donnera la sortie suivante :```text
Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
Creating directory: /etc/nginx/bots.d
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/conf.d/globalblacklist.conf [TO]=> /etc/nginx/conf.d/globalblacklist.conf...OK
Downloading [FROM]=> [REPO]/conf.d/botblocker-nginx-settings.conf [TO]=> /etc/nginx/conf.d/botblocker-nginx-settings.conf...OK
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/bots.d/blockbots.conf [TO]=> /etc/nginx/bots.d/blockbots.conf...OK
Downloading [FROM]=> [REPO]/bots.d/ddos.conf [TO]=> /etc/nginx/bots.d/ddos.conf...OK
Downloading [FROM]=> [REPO]/bots.d/whitelist-ips.conf [TO]=> /etc/nginx/bots.d/whitelist-ips.conf...OK
Downloading [FROM]=> [REPO]/bots.d/whitelist-domains.conf [TO]=> /etc/nginx/bots.d/whitelist-domains.conf...OK
Downloading [FROM]=> [REPO]/bots.d/blacklist-user-agents.conf [TO]=> /etc/nginx/bots.d/blacklist-user-agents.conf...OK
Downloading [FROM]=> [REPO]/bots.d/blacklist-ips.conf [TO]=> /etc/nginx/bots.d/blacklist-ips.conf...OK
Downloading [FROM]=> [REPO]/bots.d/bad-referrer-words.conf [TO]=> /etc/nginx/bots.d/bad-referrer-words.conf...OK
Downloading [FROM]=> [REPO]/bots.d/custom-bad-referrers.conf [TO]=> /etc/nginx/bots.d/custom-bad-referrers.conf...OK
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/setup-ngxblocker [TO]=> /usr/local/sbin/setup-ngxblocker...OK
Downloading [FROM]=> [REPO]/update-ngxblocker [TO]=> /usr/local/sbin/update-ngxblocker...OK
Tous les fichiers requis ont maintenant été téléchargés dans les bons dossiers sur Nginx directement depuis le dépôt.
ASSUREZ-VOUS de rendre vos scripts d'installation et de mise à jour exécutables en exécutant les deux commandes suivantes. C'est important avant de continuer avec l'étape 4 et au-delà.```sh sudo chmod +x /usr/local/sbin/setup-ngxblocker sudo chmod +x /usr/local/sbin/update-ngxblocker
**setup-ngxblocker, install-ngxblocker et update-ngxblocker peuvent tous être configurés avec des emplacements d'installation / de mise à jour personnalisés à partir de la ligne de commande.**
**Exécutez l'un des scripts setup, install ou update avec --help ou -h pour afficher les options.**
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-4.png"/>
Maintenant, exécutez le script setup-ngxblocker en DRY-MODE qui vous montrera quels changements il va effectuer et quels fichiers il téléchargera pour vous. Ceci n'est qu'un DRY-RUN, donc aucun changement n'est encore effectué.```sh
cd /usr/local/sbin/
sudo ./setup-ngxblocker
Cela vous donnera la sortie suivante (cette sortie ci-dessous suppose que votre fichier nginx.conf contient déjà l'inclusion par défaut de /etc/nginx/conf.d/*) Toutes les installations Nginx que je connais comportent cette inclusion par défaut dans le fichier nginx.conf distribué avec toutes les versions.```text Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
** Dry Run ** | not updating files | run as 'setup-ngxblocker -x' to setup files.
INFO: /etc/nginx/conf.d/* detected => /etc/nginx/nginx.conf inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain1.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain1.com.vhost
Whitelisting ip: x.x.x.x => /etc/nginx/bots.d/whitelist-ips.conf
Ce script ajoute également votre IP à la liste blanche dans le fichier whitelist-ips.conf pour vous.
Des IP ou plages d'IP supplémentaires peuvent être ajoutées à votre fichier whitelits-ips.conf personnalisable situé dans /etc/nginx/bots.d/whitelist-ips.conf.
**setup-ngxblocker, install-ngxblocker et update-ngxblocker peuvent tous être configurés avec des emplacements d'installation / de mise à jour personnalisés à partir de la ligne de commande.**
**Exécutez l'un des scripts de configuration, d'installation ou de mise à jour avec --help ou -h pour voir les options.**
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-5.png"/>
Maintenant, exécutez le script de configuration avec le paramètre -x pour apporter toutes les modifications nécessaires à votre nginx.conf (si nécessaire) et également pour ajouter les inclusions requises dans tous vos fichiers vhost.
Ce script setup-ngxblocker suppose que tous vos fichiers vhost situés dans /etc/nginx/sites-available se terminent par une extension .vhost. Il est recommandé de faire en sorte que tous vos fichiers de configuration vhost se terminent par une extension .vhost, mais si vous préférez conserver ce que vous avez déjà, par exemple .conf, vous pouvez simplement modifier l'exécution de setup-ngxblocker en utilisant le paramètre `-e` pour spécifier l'extension utilisée pour vos fichiers vhost.
Par exemple, si vos fichiers vhost se terminent par .conf, vous exécuterez setup-ngxblocker avec un paramètre de ligne de commande supplémentaire comme suit :
`sudo ./setup-ngxblocker -x -e conf`
Alors maintenant, exécutons le script de configuration et laissons-le apporter toutes les modifications nécessaires pour activer le Bot Blocker sur tous vos sites.```sh
cd /usr/local/sbin/
sudo ./setup-ngxblocker -x
Vous verrez la sortie suivante :```text Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
INFO: /etc/nginx/conf.d/* detected => /etc/nginx/nginx.conf inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain1.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain1.com.vhost
Whitelisting ip: x.x.x.x => /etc/nginx/bots.d/whitelist-ips.conf
Vous remarquerez qu'il a effectué les includes dans tous les fichiers .vhost de mon serveur de test et qu'il a également mis en liste blanche votre propre adresse IP dans le fichier whitelist-ips.conf pour vous. D'autres IP ou plages d'IP peuvent être ajoutées à votre fichier whitelits-ips.conf personnalisable situé dans /etc/nginx/bots.d/whitelist-ips.conf.
Ce que ce script d'installation a fait, c'est simplement ajouter les déclarations include suivantes dans vos fichiers .vhost pour vous ; il ajoute également /etc/nginx/conf.d/* aux includes dans nginx.conf (s'il n'y est pas déjà), sinon, l'ensemble du script échouera.```nginx
# Bad Bot Blocker
include /etc/nginx/bots.d/ddos.conf;
include /etc/nginx/bots.d/blockbots.conf;
setup-ngxblocker, install-ngxblocker et update-ngxblocker peuvent tous être configurés avec des emplacements d'installation / de mise à jour personnalisés depuis la ligne de commande.
Exécutez l'un des scripts setup, install ou update avec --help ou -h pour afficher les options.
Maintenant, testez votre configuration nginx
sudo nginx -t
et vous devriez voir```text nginx: the configuration file /etc/nginx/nginx.conf syntax is ok nginx: configuration file /etc/nginx/nginx.conf test is successful
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-7.png"/>
Maintenant, rechargez simplement / redémarrez Nginx et le Bot Blocker sera immédiatement actif et protégera tous vos sites Web.
`sudo nginx -t && sudo nginx -s reload`
ou
`sudo service nginx restart`
Et voilà, le bloqueur est désormais actif et protège vos sites contre des milliers de bots et domaines malveillants.
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-8.png"/>
Configurez maintenant cron pour mettre automatiquement à jour le bloqueur chaque jour afin de toujours disposer de la protection la plus récente.
`sudo crontab -e`
Ajoutez la ligne suivante à la fin de votre fichier crontab. Notez l'ajout du paramètre de ligne de commande `-e` pour spécifier votre adresse e-mail à laquelle le rapport de mise à jour est envoyé. Évidemment, remplacez `[email protected]` par votre véritable adresse e-mail, sinon vous ne recevrez pas l'e-mail lorsque le script aura effectué la mise à jour.
`00 22 * * * sudo /usr/local/sbin/update-ngxblocker -e [email protected]`
Cela mettra à jour le bloqueur chaque nuit à 22 h.
Si vous souhaitez qu'il se mette à jour plus fréquemment (car je publie parfois 3 à 4 mises à jour par jour), vous pouvez le configurer comme suit pour exécuter cron toutes les 8 heures, même si une fois par jour est largement suffisant.
`00 */8 * * * sudo /usr/local/sbin/update-ngxblocker -e [email protected]`
Si vous ne souhaitez aucune notification par e-mail après une mise à jour (déconseillé au cas où Nginx rencontrerait une erreur EMERG lors du rechargement), exécutez simplement votre cron comme suit.
`00 */8 * * * sudo /usr/local/sbin/update-ngxblocker -n`
Si vous préférez envoyer l'e-mail via <a href="https://www.mailgun.com/">mailgun</a>, exécutez alors votre cron comme ceci :
`00 22 * * * sudo /usr/local/sbin/update-ngxblocker -g [email protected] -d yourdomain.com -a mailgun api key -f [email protected]`
Et voilà, le bloqueur se maintiendra automatiquement à jour et rechargera également Nginx une fois qu'il aura téléchargé la dernière version du fichier globalblacklist.conf.
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-9.png"/>
Vous pouvez désormais personnaliser l'un des fichiers ci-dessous pour l'adapter à votre environnement ou à vos besoins. Ces fichiers ne sont jamais modifiés lors d'une mise à jour avec le script de mise à jour automatique ci-dessus, donc toutes les personnalisations que vous effectuez ici ne seront jamais écrasées lors d'une mise à jour.```text
/etc/nginx/bots.d/whitelist-ips.conf
/etc/nginx/bots.d/whitelist-domains.conf
/etc/nginx/bots.d/blockbots.conf
/etc/nginx/bots.d/blacklist-domains.conf
/etc/nginx/bots.d/blacklist-user-agents.conf
/etc/nginx/bots.d/blacklist-ips.conf
/etc/nginx/bots.d/bad-referrer-words.conf
/etc/nginx/bots.d/custom-bad-referrers.conf
/etc/nginx/bots.d/ddos.conf
Disons que pour une raison « obscure », vous souhaitez réellement bloquer l'accès de GoogleBot à votre site. Il vous suffit de l'ajouter au fichier /etc/nginx/bots.d/blacklist-user-agents.conf et cela remplacera la liste blanche par défaut de GoogleBot. Il en va de même pour tous les autres bots figurant par défaut sur la liste blanche.
Tous les fichiers d'inclusion sont commentés pour votre commodité.
(TESTEZ QUE CELA FONCTIONNE)
TESTS
Exécutez les commandes suivantes une par une depuis un terminal sur une autre machine Linux, en les pointant vers votre propre nom de domaine.
❗ remplacez http:// yourdomain.com ❗ dans les exemples ci-dessous par votre VRAI nom de domaine ❗
curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I http://yourdomain.com
curl -A "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" -I http://yourdomain.com
Devrait répondre avec un 200 OK
curl -A "Xenu Link Sleuth/1.3.8" -I http://yourdomain.com
curl -A "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)" -I http://yourdomain.com
Devrait répondre avec l'un des messages d'erreur suivants :
curl -I http://yourdomain.com -e http://100dollars-seo.com
curl -I http://yourdomain.com -e http://zx6.ru
Devrait répondre avec l'un des messages d'erreur suivants :
Le Nginx Ultimate Bot Blocker fonctionne désormais et PROTÈGE vos sites Web !!!
❗ remplacez http:// yourdomain.com ❗ dans les exemples ci-dessous par votre VRAI nom de domaine ❗
Si vous êtes un utilisateur de Cloudflare qui utilise le système CDN / de cache de Cloudflare, vous devez toujours désactiver le CDN de Cloudflare (passez le nuage en gris)
Pendant les tests, vous obtiendrez les codes de réponse corrects, comme ci-dessous :
C'est voulu. Le CDN fait son travail, c'est-à-dire que la première réponse de votre serveur a dit au bot « va-t'en » en lui renvoyant des réponses 444 ou 443.
Cloudflare met en cache cette réponse ; par conséquent, la deuxième fois que vous testez, vous recevez un message d'erreur 520 Origin Error.
Pendant que vous testez le bloqueur, désactivez le CDN / le système de cache et, une fois que vous êtes satisfait de vos tests, réactivez le CDN / le cache sur votre environnement de production, car vous voulez que les bots reçoivent cette réponse de Cloudflare.
La plupart des autres systèmes CDN présenteront probablement le même comportement. Désactivez donc toujours le CDN pendant les tests afin d'écarter tout élément susceptible d'interférer avec vos tests. Assurez-vous toujours de réactiver le CDN une fois les tests terminés !!
Une fois que vous activez le CDN de Cloudflare, testez à nouveau.
Pendant les tests, vous obtenez
Cela signifie que le CDN fonctionne.
INSTALLATION DU BLOQUEUR DANS DES EMPLACEMENTS DE DOSSIERS NGINX NON STANDARDS
Certaines personnes compilent elles-mêmes Nginx et ne se retrouvent finalement pas avec les emplacements de dossiers nginx standard dans /etc/nginx
Pour ces utilisateurs, vous pouvez exécuter install-ngxblocker, setup-ngxblocker et update-ngxblocker en spécifiant votre emplacement de dossier dans les lignes de commande comme suit.
sudo ./install-ngxblocker -x -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d
sudo ./setup-ngxblocker -x -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d
sudo ./update-ngxblocker -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d -e [email protected]
Cela placera automatiquement les fichiers dans les emplacements que vous spécifiez, effectuera les inclusions dans vos vhosts en utilisant vos emplacements personnalisés et, lorsqu'update-ngxblocker récupérera une nouvelle mise à jour, il réécrira désormais automatiquement les sections « Include » à l'intérieur du fichier globalblacklist.conf avec vos propres emplacements personnalisés. Merci encore à Stuart Cardall @itoffshore pour sa contribution à ces excellents scripts.
Les rapports réseaux dupliqués de Nginx ne sont PAS un bug et ne peuvent pas être corrigés ; il s'agit du comportement souhaité du bloqueur. Les mises à jour quotidiennes des listes noires d'IP font que certaines IP et plages bien connues sont mises sur liste noire old value "1" ; elles sont ensuite remises sur liste blanche à la toute fin de globalblocklist, ce qui correspond à l'ordre de chargement, puis définit les IP que nous savons sûres à leur nouvelle value "0" , les remettant ainsi sur liste blanche. Cela a toujours été le cas depuis le premier jour du bloqueur et il en sera toujours ainsi. Ce sont de simples messages [WARN] et non des messages [EMERG], et ils n'affectent en aucune manière le fonctionnement de Nginx.
(Plus de 4000 mauvais référents, référents de spam, user-agents, mauvais bots, mauvaises IP, sites pornographiques, de jeux d'argent et de clickjacking, sociétés SEO lucratives, détecteurs de thèmes wordpress, et ce n'est pas fini)
Des milliers d'heures de programmation et de tests ont été investies dans ce projet, montrez votre soutien
Les bots tentent de se faire passer pour d'autres logiciels ou sites Web en déguisant leur user agent. Leurs noms de user agent peuvent sembler inoffensifs, voire parfaitement légitimes.
Par exemple, « ^Java » représente, selon Project Honeypot, l'un des user agents les plus dangereux, MAIS beaucoup de bots légitimes contiennent « Java » dans leur chaîne user agent. L'approche adoptée par beaucoup pour bloquer « Java » est non seulement ignorante, mais bloque également des robots d'indexation tout à fait légitimes, y compris certains de Google et de Bing, et il m'apparaît très clairement que ceux qui écrivent des scripts de blocage de bots ne les testent que rarement.
Les référents de spam et les noms de domaine de spam utilisent des techniques très astucieuses pour rebondir depuis vos sites et mener des campagnes très lucratives de click-jacking et de redirection au clic, qui diffusent des publicités à des internautes sans méfiance, voire installent des malwares, des adwares ou des ransomwares dans leurs navigateurs, lesquels intègrent ensuite leur réseau lucratif de bots.
Ce bloqueur de bots inclut des centaines de noms de domaine et d'adresses IP que la plupart des gens ne verront même pas dans leurs journaux Nginx. Cela résulte du fait que tous mes sites tournent en SSL et utilisent la Content-Security-Policy (CSP), qui bloque les éléments avant même qu'ils n'atteignent Nginx ; j'ai ainsi identifié et continue d'identifier certains des pires domaines et bots de la planète.
Une quantité massive de sites Web pornographiques, de jeux d'argent et de fausses nouvelles est également bloquée par ce script de bloqueur, qui croît lui aussi à un rythme rapide.
Malheureusement, la plupart des scripts de blocage de bots disponibles sont simplement copiés-collés à partir des scripts d'autres personnes et présentés comme leur propre travail. Celui-ci s'est inspiré de celui créé par https://github.com/mariusv ; j'ai contribué à ce projet, mais j'ai opté pour une toute nouvelle structure, je l'ai considérablement nettoyé et je suis reparti de zéro. C'est désormais un projet totalement indépendant. Il est propre, il fonctionne et a été minutieusement testé.
Cette liste du bloqueur de mauvais bots pour Nginx est conçue pour être un fichier d'inclusion global pour Nginx et utilise les directives Nginx map $http_user_agent, map $http_referer et geo $validate_client.
Ainsi, le fichier .conf est chargé une seule fois en mémoire par Nginx et reste disponible pour tous les sites Web que vous exploitez. Il vous suffit d'utiliser une instruction Include dans un fichier de configuration de vhost Nginx.
L'intérêt, c'est qu'il s'agit d'un fichier central unique utilisé par tous vos sites Web. Cela signifie qu'il n'y a qu'un seul endroit où apporter des modifications, c'est-à-dire ajouter de nouveaux bots découverts dans vos fichiers journaux. Toute modification est appliquée immédiatement à tous les sites après un simple « sudo service nginx reload ». Mais bien sûr, exécutez toujours un sudo nginx -t pour tester toute modification de configuration avant de recharger.
Le fichier est minuscule. Au moment où j'écris ces lignes, et pour le premier commit public, la taille du fichier, commentaires compris « que nginx ignore », est actuellement de à peine 185 ko et contient déjà plus de 5000 mauvais domaines, mauvais bots et mauvaises adresses IP. Il est si léger que Nginx ne remarque même pas sa présence. Il contient déjà des milliers d'entrées – total mis à jour en haut de ce README.
Contrairement à beaucoup d'autres bloqueurs de mauvais bots pour Nginx et Apache, où les gens se contentent de copier-coller les listes des autres, cette liste a été construite de A à Z et testée en profondeur, et je veux dire en profondeur, pendant plus de 10 mois. Elle provient de journaux serveur réels, surveillés quotidiennement, et 3 à 10 nouvelles entrées sont ajoutées à ce fichier presque chaque jour.
Elle a également été minutieusement testée contre les faux positifs grâce à des mois de tests constants et réguliers et de surveillance des fichiers journaux.
Tous les sites Web mentionnés dans les mauvais référents sont vérifiés un par un avant même d'être ajoutés. Copier simplement tout ce qui semble suspect dans votre fichier journal et l'ajouter à un bloqueur comme celui-ci sans d'abord voir de quoi il s'agit.... eh bien, c'est pour le moins imprudent.
Nginx possède une charmante erreur appelée 444 qui laisse littéralement tomber la connexion. Toutes ces règles émettent une réponse 444 ; ainsi, si une règle correspond, l'IP requérante ne reçoit tout simplement aucune réponse, et votre serveur leur paraît inexistant ou hors ligne.
Un test avec curl utilisant l'une des lignes de commande de test documentées dans le fichier /conf.d/globalblacklist.conf donnera un simple « curl: (52) Empty reply from server », et c'est la réponse que reçoivent les mauvais référents et les bots.
Pour les bots ou spiders que vous souhaitez toujours autoriser mais dont vous voulez limiter la fréquence de visite, vous pouvez utiliser les fonctions de limitation de débit intégrées que j'ai incluses. Le fichier est abondamment commenté, vous devriez donc vous en sortir ; sinon, envoyez-moi simplement un message si vous rencontrez des problèmes.
ou pour contribuer vos propres mauvais référents ou bots, ou pour apporter des corrections à des bots ou domaines bloqués à tort, veuillez forker une copie de ce référentiel et envoyer des pull requests sur les fichiers individuels situés ici, puis envoyez une pull request (PR).
concernant des listes incorrectes ou tout autre problème sur le système d'issues ; ils seront examinés et supprimés si nécessaire. Je réponds très rapidement aux problèmes des utilisateurs et j'ai aidé d'innombrables utilisateurs pendant des jours entiers à faire fonctionner leur bloqueur de bots. On pourrait dire que je suis fou (contestable), mais j'aime aider les gens et je n'ignore ni les issues ni les personnes ayant des difficultés à faire fonctionner ce projet.
Beaucoup de listes placent des domaines étranges dans leur fichier hosts. Votre fichier hosts et votre DNS ne comprendront pas cela. Cette liste utilise des domaines convertis, au format DNS correct, compréhensibles par n'importe quel système d'exploitation. Évitez d'utiliser des listes qui n'intègrent pas la structure de domaine correctement formatée dans leurs listes.
Par exemple Le domaine :
lifehacĸer.com (notez le K)
se traduit en réalité par :
xn--lifehacer-1rb.com
Vous pouvez effectuer un nslookup sur n'importe quel système d'exploitation et il résoudra correctement.
`nslookup xn--lifehacer-1rb.com````xn--lifehacer-1rb.com origin = dns1.yandex.net mail addr = iskalko.yandex.ru serial = 2016120703 refresh = 14400 retry = 900 expire = 1209600 minimum = 14400 xn--lifehacer-1rb.com mail exchanger = 10 mx.yandex.net. Name: xn--lifehacer-1rb.com Address: 78.110.60.230 xn--lifehacer-1rb.com nameserver = dns2.yandex.net. xn--lifehacer-1rb.com text = "v=spf1 redirect=_spf.yandex.net" xn--lifehacer-1rb.com nameserver = dns1.yandex.net.
- Consultez : https://www.charset.org/punycode pour plus d'informations à ce sujet.
************************************************
## SURVEILLEZ TOUJOURS CE QUE VOUS FAITES :
**ASSUREZ-VOUS de surveiller les journaux de votre site web** après avoir mis cela en place. Je vous suggère de charger d'abord ceci sur un seul site et de le surveiller pour détecter d'éventuels faux positifs avant de le mettre en production sur tous vos sites web.
Ne faites pas l'autruche en mettant la tête dans le sable : être un opérateur de serveur et un propriétaire de site web responsable signifie que vous devez surveiller vos journaux fréquemment. Beaucoup d'entre vous sont arrivés ici en premier lieu parce que vous avez vu des choses suspectes dans vos fichiers journaux Nginx.
Surveillez également vos journaux quotidiennement pour détecter de nouveaux mauvais référents et chaînes de user-agent que vous souhaitez bloquer. Votre meilleure source pour enrichir cette liste est vos propres journaux de serveur, pas les miens.
N'hésitez pas à contribuer à ce projet en envoyant une Pull Request (PR) avec les mauvais référents issus de vos propres journaux. Vous pouvez cependant compter sur cette liste pour écarter 99 % des indésirables.
************************************************
## COMMENT SURVEILLER VOS JOURNAUX QUOTIDIENNEMENT (La méthode simple) :
**Avec toute ma gratitude et mes remerciements à**
https://blog.nexcess.net/2011/01/21/one-liners-for-apache-log-files/
Pour surveiller quotidiennement les principaux référents des fichiers journaux d'un site web, utilisez les tâches cron simples suivantes, qui vous enverront par e-mail chaque matin une liste des principaux référents / user agents à partir des fichiers journaux d'un site web particulier. Ceci est un exemple d'une seule tâche cron pour un seul site. Configurez-en plusieurs pour chacun de ceux que vous souhaitez surveiller. Voici une tâche cron qui s'exécute à 8 h chaque matin et m'envoie par e-mail le journal de référents épuré. Quand je dis épuré, le domaine du site et les autres référents comme Google et Bing sont retirés des résultats. Bien entendu, vous devez modifier le nom du fichier journal, le nom de domaine et votre adresse e-mail dans les exemples ci-dessous. La deuxième tâche cron pour collecter les user agents ne retire aucun référent, mais vous pouvez ajouter cette fonctionnalité si vous le souhaitez en copiant l'instruction awk !~ du premier exemple.
##### Cron pour surveiller quotidiennement les référents sur Nginx
`00 08 * * * tail -10000 /var/log/nginx/mydomain-access.log | awk '$11 !~ /google|bing|yahoo|yandex|mywebsite.com/' | awk '{print $11}' | tr -d '"' | sort | uniq -c | sort -rn | head -1000 | mail -s "Top 1000 Referers for Mydomain.com" [email protected]`
Ceci vous envoie chaque jour une liste de référents en utilisant une commande awk pour exclure des domaines comme google, bing et votre propre nom de domaine.
##### Cron pour surveiller quotidiennement les user agents sur Nginx
`00 08 * * * tail -50000 /var/log/nginx/mydomain-access.log | awk '{print $12}' | tr -d '"' | sort | uniq -c | sort -rn | head -1000 | mail -s "Top 1000 Agents for Mydomain.com" [email protected]`
Ceci vous envoie par e-mail une liste des principaux User-Agents qui ont visité votre site au cours des dernières 24 heures, utile pour repérer toute chaîne User-Agents indésirable ou à l'apparence suspecte.
************************************************
## BLOQUER LES BOTS AGRESSIFS AU NIVEAU DU PARE-FEU AVEC FAIL2BAN :
J'ai ajouté un filtre et une action Fail2Ban personnalisés que j'ai écrits, qui surveillent vos journaux Nginx à la recherche de bots générant un grand nombre d'erreurs 444. Cette prison personnalisée pour Fail2Ban analysera les journaux sur une période d'une semaine et bannira le contrevenant pendant 24 heures. Elle aide énormément à écarter certains récidivistes et à les empêcher de remplir vos fichiers journaux d'erreurs 444. Consultez le dossier Fail2Ban pour obtenir des instructions sur la configuration de ce formidable module complémentaire pour le Nginx Bad Bot Blocker.
************************************************
## STOPPER LE SPAM « FANTÔME » DE GOOGLE ANALYTICS :
L'utilisation du bloqueur Nginx ne suffit pas à arrêter le spam de référents fantômes de Google Analytics, car celui-ci atteint Analytics directement et ne touche pas nécessairement votre site web.
Vous devez utiliser des filtres regex dans Analytics pour empêcher le spam de référents fantômes.
Pour cela, plusieurs fichiers google-exclude-0*.txt ont été créés pour vous et ils sont mis à jour en même temps que le bloqueur Nginx. Au fur et à mesure que la liste grandit, d'autres fichiers d'exclusion seront créés.
************************************************
## POUR STOPPER LE SPAM « FANTÔME » SUR GOOGLE ANALYTICS, SUIVEZ LE GUIDE VISUEL SIMPLE CI-DESSOUS
Suivez les instructions visuelles étape par étape ci-dessous pour ajouter ces fichiers google-exclude comme segments à votre site web.
<table style="width:100%;margin:0;">
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-01.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-02.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-03.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-04.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-05.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-06.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-07.jpg" alt="Google Analytics - Ajout de segments pour stopper le spam fantôme"/></td>
</tr>
</table>
************************************************
## BLOQUER LES DOMAINES SPAM À L'AIDE DE GOOGLE SEARCH CONSOLE / WEBMASTER TOOLS
(Comment utiliser le fichier google-disavow.txt)
J'ai ajouté la création d'un fichier texte Google Disavow nommé google-disavow.txt. Ce fichier peut être utilisé dans les outils Webmaster de Google pour bloquer tous ces domaines en tant que liens spam ou de mauvaise qualité. À utiliser avec prudence.
************************************************
## VERSION ROBOTS.txt POUR CEUX QUI NE PEUVENT PAS UTILISER CE BLOQUEUR COMPLET ?
Beaucoup de gens sont à la merci de leur hébergeur et n'ont pas d'accès root au serveur qui exécute leur site web. Si c'est votre cas, consultez le fichier robots.txt généré automatiquement, qui vous aidera dans une certaine mesure à éloigner de nombreux Bad Bots et User-Agents de vos sites.
************************************************
## VERSIONS .htaccess POUR CEUX QUI NE PEUVENT PAS UTILISER CE BLOQUEUR COMPLET ?
Beaucoup de gens sont à la merci de leur hébergeur et n'ont pas d'accès root au serveur qui exécute leur site web.
Si c'est votre cas, consultez les versions .htaccess générées automatiquement du Spam Referrer Blocker qui se trouvent dans <a href="https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master/.htaccess">ce dépôt</a>. Cette méthode .htaccess (POUR SITES APACHE UNIQUEMENT) vous aidera à garder tous les Spam Referrers de ce bloqueur hors de votre site.
Ceci n'est mentionné ici que parce que beaucoup de personnes utilisant des systèmes CPanel pensent être derrière un serveur Nginx, alors qu'en réalité elles exécutent un serveur Apache derrière un serveur proxy Nginx. .htaccess ne fonctionne pas sur les sites Nginx.
Vous n'utilisez pas le serveur web Nginx ? Consultez le [](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker)
************************************************
# ÇA MARCHE, BORDEL !!!
************************************************
## Profitez maintenant de ce que le Nginx Bad Bot Blocker peut faire pour vous et vos sites web.
### Et aidez à soutenir ce projet
Des milliers d'heures de programmation et de tests ont été consacrées à ce projet, montrez un peu d'amour
[<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/kofi4.png" alt="Offrez-moi un café" width="300"/>](https://ko-fi.com/mitchellkrog)
************************************************
## VOTRE SITE WEB A-T-IL ÉTÉ PIRATÉ ?
[](mailto:[email protected]) pour vous aider à nettoyer et sécuriser votre site web.
************************************************
### QUELQUES AUTRES PROJETS GRATUITS GÉNIAUX
- https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
- https://github.com/mitchellkrogza/Badd-Boyz-Hosts
- https://github.com/mitchellkrogza/Ultimate.Hosts.Blacklist
- https://github.com/mitchellkrogza/Stop.Google.Analytics.Ghost.Spam.HOWTO
- https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
- https://github.com/mitchellkrogza/fail2ban-useful-scripts
- https://github.com/mitchellkrogza/linux-server-administration-scripts
- https://github.com/mitchellkrogza/Travis-CI-Nginx-for-Testing-Nginx-Configuration
- https://github.com/mitchellkrogza/Travis-CI-for-Apache-For-Testing-Apache-and-PHP-Configurations
- https://github.com/mitchellkrogza/Fail2Ban-Blacklist-JAIL-for-Repeat-Offenders-with-Perma-Extended-Banning
- https://github.com/funilrys/PyFunceble
- https://github.com/funilrys/dead-hosts
- https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
- https://github.com/mitchellkrogza/Suspicious.Snooping.Sniffing.Hacking.IP.Addresses
- https://github.com/mitchellkrogza/Fail2Ban.WebExploits
************************************************
### DÉCOUVREZ AUSSI LA NOUVELLE GRANDE LISTE DE SITES WEB PIRATÉS, MALWARE & WORDPRESS
Ce dépôt contient une liste de tous les sites web que je rencontre et qui ont été piratés avec des malwares. La plupart des propriétaires de sites ignorent que leurs sites ont été piratés et sont utilisés pour installer des malwares.
Consultez-le sur : https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
************************************************
### VOUS AIMEZ LA PHOTOGRAPHIE ?
Passez donc me voir sur [mitchellkrog.com](https://mitchellkrog.com) ou [Facebook](https://www.facebook.com/MitchellKrogPhotography), ou suivez-moi sur Twitter <a href='https://twitter.com/MitchellKrog'><img src="https://img.shields.io/twitter/follow/MitchellKrog.svg?style=social&label=Follow" alt='Suivez @MitchellKrog'></a>
************************************************
### REMERCIEMENTS & CONTRIBUTEURS :
Merci à tous ceux qui contribuent à ce projet.
De nombreuses parties des scripts de génération et du code exécuté derrière ce projet ont été adaptées à partir d'extraits de code provenant de centaines de sources. En fait, il est si difficile de citer tout le monde, mais voici quelques personnes clés dont les petits extraits de code m'ont aidé à introduire de nouvelles fonctionnalités en permanence. Montrez-leur un peu d'amour et découvrez aussi certains de leurs projets.
- Konstantin Goretzki @konstantingoretzki https://github.com/konstantingoretzki (Regex améliorée sur le filtre Fail2Ban)
- Stuart Cardall - https://github.com/itoffshore (Scripts d'installation, de mise à jour et de configuration & Mainteneur de paquets Alpine Linux)
- Mike van Eckendonk - https://github.com/Eckybrazzz
- Nissar Chababy @funilrys - https://github.com/funilrys/PyFunceble (Excellent script pour vérifier les noms de domaine ACTIFS, INACTIFS et EXPIRÉS)
- Marius Voila https://github.com/mariusv
- Cătălin Mariș https://github.com/alrra
- deformhead https://github.com/deformhead
- bluedragonz https://github.com/bluedragonz
- Alexander https://github.com/shoonois
- Steven Black https://github.com/StevenBlack
- Fail2Ban - https://github.com/fail2ban
- Stevie-Ray Hartog https://github.com/Stevie-Ray
- Sir Athos de StackOverFlow - http://stackoverflow.com/users/2245910/sir-athos (aide pour le marquage et les commits des builds Travis)
- StackOverflow - http://stackoverflow.com/ (scripts bash issus de centaines de questions et réponses)
- SuperUser - http://superuser.com/ (extraits de diverses questions et réponses)
Si vous pensez que votre nom devrait figurer ici, écrivez-moi.
************************************************
### Écrire du code comme celui-ci prend beaucoup de temps !!
Des milliers d'heures de programmation et de tests ont été consacrées à ce projet, montrez un peu d'amour
[<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/kofi4.png" alt="Offrez-moi un café" width="300"/>](https://ko-fi.com/mitchellkrog)
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/zuko.png"/>
************************************************
# Licence MIT
## Copyright (c) 2017 Mitchell Krog - [email protected]
## https://github.com/mitchellkrogza
La permission est accordée par la présente, gratuitement, à toute personne obtenant une copie
de ce logiciel et des fichiers de documentation associés (le « Logiciel »), pour traiter
le Logiciel sans restriction, y compris, sans limitation, les droits
d'utiliser, copier, modifier, fusionner, publier, distribuer, sous-licencier et/ou vendre
des copies du Logiciel, et de permettre aux personnes à qui le Logiciel est
fourni de le faire, sous réserve des conditions suivantes :
L'avis de copyright ci-dessus et cet avis d'autorisation doivent être inclus dans toutes
les copies ou parties substantielles du Logiciel.
LE LOGICIEL EST FOURNI « EN L'ÉTAT », SANS GARANTIE D'AUCUNE SORTE, EXPRESSE OU
IMPLICITE, Y COMPRIS MAIS SANS S'Y LIMITER LES GARANTIES DE QUALITÉ MARCHANDE,
D'ADÉQUATION À UN USAGE PARTICULIER ET D'ABSENCE DE CONTREFAÇON. EN AUCUN CAS LES
AUTEURS OU TITULAIRES DU COPYRIGHT NE SERONT RESPONSABLES DE TOUTE RÉCLAMATION, DOMMAGES OU AUTRE
RESPONSABILITÉ, QUE CE SOIT DANS LE CADRE D'UNE ACTION EN CONTRAT, EN DÉLIT OU AUTRE, DÉCOULANT DE,
HORS DE OU EN RELATION AVEC LE LOGICIEL OU L'UTILISATION OU AUTRES TRANSACTIONS DU
LOGICIEL.