mitchellkrogza/nginx-ultimate-bad-bot-blockerNginx Blocca Bot Dannosi, Bloccatore di Referrer Spam, Scanner di Vulnerabilità, User-Agents, Malware, Adware, Ransomware, Siti Dannosi, con anti-DDOS, Blocco del Rilevatore di Tema Wordpress e Jail Fail2Ban per i Recidivi
| REPO | DIVENTA UNO SPONSOR |
|---|---|
 | Il tuo logo e il link al tuo dominio appariranno qui se diventi uno sponsor. Basta inviarmi un'email a [email protected] se desideri sponsorizzare questo progetto, poiché il Sudafrica non è ancora supportato dal programma di sponsorizzazione di Github. |
 | Aiutami a sostenermi su https://ko-fi.com/mitchellkrog |
Non usi Nginx? Consulta il 
Assicurati di essere iscritto alle notifiche di Github per essere avvisato quando il blocker viene aggiornato o quando si verificano modifiche importanti o critiche per la missione (potenzialmente di rottura).
Questo è il nostro nuovo metodo di installazione preferito, ora eseguito tramite una serie di script shell contribuiti a questo repo e mantenuti da Stuart Cardall @itoffshore, uno dei manutentori dei pacchetti Alpine Linux.
Le istruzioni qui sotto riguardano un processo di installazione rapido e senza dolore che scarica tutti i file necessari per il blocker e gli script includono l'aggiunta degli include richiesti al tuo nginx.conf e ai file .vhost di nginx. Lo script di configurazione presuppone che i tuoi file di configurazione vhost si trovino in /etc/nginx/sites-available/ e che ogni file di configurazione vhost termini con un'estensione di file .vhost
Per le istruzioni di installazione manuale consulta - Consulta: https://github.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/blob/master/MANUAL-CONFIGURATION.md
setup-ngxblocker, install-ngxblocker e update-ngxblocker possono tutti essere configurati con posizioni di installazione / aggiornamento personalizzate dalla riga di comando. (Vedi il Passo 11 delle istruzioni per scoprire come usare questi script con posizioni Nginx non standard)
Esegui uno qualsiasi degli script di setup, install o update con --help o -h per visualizzare le opzioni.
NOTA BENE: Per chi usa i certificati SSL Let's Encrypt, il metodo preferito e funzionante al 100% è quello di usare il Metodo di Autenticazione Webroot. Sembrano esserci alcuni problemi con chi usa il metodo di sfida http, ma posso confermare che webroot funziona perfettamente. Non siamo certi a questo punto se il metodo di sfida http-01 sia un bug di certbot o di nginx.
I report di rete duplicati da Nginx NON sono un bug né possono essere corretti; questo è il comportamento desiderato del blocker. Gli aggiornamenti giornalieri delle blacklist IP causano la blacklist di alcuni IP e range noti vecchio valore "1" che vengono poi inseriti nella whitelist alla fine di globalblocklist, che è l'ordine di caricamento, impostando così gli IP che sappiamo essere buoni al loro nuovo valore "0" mettendoli quindi in whitelist. È così dal primo giorno del blocker e rimarrà così. Questi sono semplici messaggi [WARN] non messaggi [EMERG] e non influenzano in alcun modo il funzionamento di Nginx.
Scarica install-ngxblocker nella tua directory /usr/local/sbin/ e rendi eseguibile lo script.```sh sudo wget https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/install-ngxblocker -O /usr/local/sbin/install-ngxblocker sudo chmod +x /usr/local/sbin/install-ngxblocker
Se la tua distribuzione Linux non dispone di wget, puoi sostituire il comando wget precedente utilizzando curl come segue:```sh
curl -sL https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/install-ngxblocker -o /usr/local/sbin/install-ngxblocker
Installa il pacchetto.```sh pkg install www/nginx-ultimate-bad-bot-blocker
In alternativa, installa tramite portmaster:```sh
portmaster www/nginx-ultimate-bad-bot-blocker
Ora esegui lo script install-ngxblocker in DRY-MODE, che ti mostrerà quali modifiche apporterà e quali file scaricherà per te. Questa è solo una DRY-RUN, quindi non vengono ancora apportate modifiche.
install-ngxblocker scarica tutti i file necessari, inclusi gli script di setup e di aggiornamento.```sh cd /usr/local/sbin sudo ./install-ngxblocker
Questo ti mostrerà l'output delle modifiche che verranno apportate
**(NOTA: questa è solo una PROVA A SECCO, non è stata apportata alcuna modifica)**```text
Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
** Dry Run ** | not updating files | run as 'install-ngxblocker -x' to install files.
Creating directory: /etc/nginx/bots.d
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/conf.d/globalblacklist.conf [TO]=> /etc/nginx/conf.d/globalblacklist.conf
Downloading [FROM]=> [REPO]/conf.d/botblocker-nginx-settings.conf [TO]=> /etc/nginx/conf.d/botblocker-nginx-settings.conf
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/bots.d/blockbots.conf [TO]=> /etc/nginx/bots.d/blockbots.conf
Downloading [FROM]=> [REPO]/bots.d/ddos.conf [TO]=> /etc/nginx/bots.d/ddos.conf
Downloading [FROM]=> [REPO]/bots.d/whitelist-ips.conf [TO]=> /etc/nginx/bots.d/whitelist-ips.conf
Downloading [FROM]=> [REPO]/bots.d/whitelist-domains.conf [TO]=> /etc/nginx/bots.d/whitelist-domains.conf
Downloading [FROM]=> [REPO]/bots.d/blacklist-user-agents.conf [TO]=> /etc/nginx/bots.d/blacklist-user-agents.conf
Downloading [FROM]=> [REPO]/bots.d/blacklist-ips.conf [TO]=> /etc/nginx/bots.d/blacklist-ips.conf
Downloading [FROM]=> [REPO]/bots.d/bad-referrer-words.conf [TO]=> /etc/nginx/bots.d/bad-referrer-words.conf
Downloading [FROM]=> [REPO]/bots.d/custom-bad-referrers.conf [TO]=> /etc/nginx/bots.d/custom-bad-referrers.conf
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/setup-ngxblocker [TO]=> /usr/local/sbin/setup-ngxblocker
Downloading [FROM]=> [REPO]/update-ngxblocker [TO]=> /usr/local/sbin/update-ngxblocker
setup-ngxblocker, install-ngxblocker e update-ngxblocker possono tutti essere configurati con percorsi di installazione/aggiornamento personalizzati dalla riga di comando.
Esegui uno qualsiasi degli script di setup, install o update con --help o -h per visualizzare le opzioni.
Ora esegui lo script di installazione con il parametro -x per scaricare tutti i file necessari dal repository:```sh cd /usr/local/sbin/ sudo ./install-ngxblocker -x
Questo ti darà il seguente output:```text
Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
Creating directory: /etc/nginx/bots.d
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/conf.d/globalblacklist.conf [TO]=> /etc/nginx/conf.d/globalblacklist.conf...OK
Downloading [FROM]=> [REPO]/conf.d/botblocker-nginx-settings.conf [TO]=> /etc/nginx/conf.d/botblocker-nginx-settings.conf...OK
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/bots.d/blockbots.conf [TO]=> /etc/nginx/bots.d/blockbots.conf...OK
Downloading [FROM]=> [REPO]/bots.d/ddos.conf [TO]=> /etc/nginx/bots.d/ddos.conf...OK
Downloading [FROM]=> [REPO]/bots.d/whitelist-ips.conf [TO]=> /etc/nginx/bots.d/whitelist-ips.conf...OK
Downloading [FROM]=> [REPO]/bots.d/whitelist-domains.conf [TO]=> /etc/nginx/bots.d/whitelist-domains.conf...OK
Downloading [FROM]=> [REPO]/bots.d/blacklist-user-agents.conf [TO]=> /etc/nginx/bots.d/blacklist-user-agents.conf...OK
Downloading [FROM]=> [REPO]/bots.d/blacklist-ips.conf [TO]=> /etc/nginx/bots.d/blacklist-ips.conf...OK
Downloading [FROM]=> [REPO]/bots.d/bad-referrer-words.conf [TO]=> /etc/nginx/bots.d/bad-referrer-words.conf...OK
Downloading [FROM]=> [REPO]/bots.d/custom-bad-referrers.conf [TO]=> /etc/nginx/bots.d/custom-bad-referrers.conf...OK
REPO = https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master
Downloading [FROM]=> [REPO]/setup-ngxblocker [TO]=> /usr/local/sbin/setup-ngxblocker...OK
Downloading [FROM]=> [REPO]/update-ngxblocker [TO]=> /usr/local/sbin/update-ngxblocker...OK
Tutti i file necessari sono stati ora scaricati nelle cartelle corrette su Nginx direttamente dal repository.
ASSICURATI di rendere eseguibili i tuoi script di configurazione e aggiornamento eseguendo i due comandi seguenti. Questo è importante prima di proseguire con il Passaggio 4 e oltre.```sh sudo chmod +x /usr/local/sbin/setup-ngxblocker sudo chmod +x /usr/local/sbin/update-ngxblocker
**setup-ngxblocker, install-ngxblocker e update-ngxblocker possono tutti essere configurati con percorsi di installazione/aggiornamento personalizzati dalla riga di comando.**
**Esegui uno qualsiasi degli script di setup, install o update con --help o -h per visualizzare le opzioni.**
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-4.png"/>
Ora esegui lo script setup-ngxblocker in MODALITÀ DRY-RUN, che ti mostrerà quali modifiche apporterà e quali file scaricherà per te. Questa è solo una PROVA (DRY-RUN), quindi non vengono ancora apportate modifiche.```sh
cd /usr/local/sbin/
sudo ./setup-ngxblocker
Questo ti darà un output come il seguente (questo output qui sotto presuppone che il tuo file nginx.conf abbia già l'include predefinito di /etc/nginx/conf.d/*) Tutte le installazioni di Nginx che conosco hanno questo include predefinito nel file nginx.conf distribuito con tutte le versioni.```text Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
** Dry Run ** | not updating files | run as 'setup-ngxblocker -x' to setup files.
INFO: /etc/nginx/conf.d/* detected => /etc/nginx/nginx.conf inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain1.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain1.com.vhost
Whitelisting ip: x.x.x.x => /etc/nginx/bots.d/whitelist-ips.conf
Questo script inserisce anche il tuo IP nel file whitelist-ips.conf per te.
Ulteriori IP o intervalli di IP possono essere aggiunti al tuo file personalizzabile whitelist-ips.conf situato in /etc/nginx/bots.d/whitelist-ips.conf.
**setup-ngxblocker, install-ngxblocker e update-ngxblocker possono tutti essere configurati con percorsi di installazione / aggiornamento personalizzati dalla riga di comando.**
**Esegui uno qualsiasi degli script di setup, install o update con --help o -h per visualizzare le opzioni.**
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-5.png"/>
Ora esegui lo script di setup con il parametro -x per apportare tutte le modifiche necessarie al tuo nginx.conf (se richiesto) e anche per aggiungere gli include richiesti in tutti i tuoi file vhost.
Questo script setup-ngxblocker presuppone che tutti i tuoi file vhost situati in /etc/nginx/sites-available terminino con un'estensione .vhost. È buona pratica far terminare tutti i tuoi file di configurazione vhost con un'estensione .vhost, ma se preferisci mantenere ciò che hai già, ad esempio .conf, puoi semplicemente modificare l'esecuzione di setup-ngxblocker usando il parametro `-e` per specificare l'estensione che usi per i tuoi file vhost.
Ad esempio, se i tuoi file vhost terminano con .conf, dovrai eseguire setup-ngxblocker con un parametro aggiuntivo da riga di comando come segue:
`sudo ./setup-ngxblocker -x -e conf`
Quindi ora eseguiamo lo script di setup e lasciamo che apporti tutte le modifiche necessarie per rendere il Bot Blocker attivo su tutti i tuoi siti.```sh
cd /usr/local/sbin/
sudo ./setup-ngxblocker -x
Ecco un esempio di output:
[INFO] Starting scan...
[SUCCESS] Scan completed.
Per maggiori dettagli, consulta la documentazione ufficiale.
| Opzione | Descrizione |
|---|---|
-h | Mostra l'aiuto |
-v | Modalità verbosa |
Nota: Questo strumento richiede privilegi di root per funzionare correttamente.
./tool.sh --target example.com
Se riscontri errori di connessione, verifica che la porta 443 sia aperta e che il firewall non blocchi il traffico.```text
Checking url: https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/include_filelist.txt
INFO: /etc/nginx/conf.d/* detected => /etc/nginx/nginx.conf inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain2.com.vhost inserting: include /etc/nginx/bots.d/blockbots.conf; => /etc/nginx/sites-available/mydomain1.com.vhost inserting: include /etc/nginx/bots.d/ddos.conf; => /etc/nginx/sites-available/mydomain1.com.vhost
Whitelisting ip: x.x.x.x => /etc/nginx/bots.d/whitelist-ips.conf
Noterai che ha incluso le direttive include in tutti i file .vhost sul mio server di test e ha anche inserito in whitelist il tuo indirizzo IP nel file whitelist-ips.conf per te. Ulteriori IP o intervalli IP possono essere aggiunti al tuo file personalizzabile whitelist-ips.conf situato in /etc/nginx/bots.d/whitelist-ips.conf.
Ciò che questo script di configurazione ha fatto è semplicemente aggiungere le seguenti direttive include nei tuoi file .vhost per te; aggiunge anche /etc/nginx/conf.d/* alle direttive include in nginx.conf (se non già presente in nginx.conf), altrimenti l'intero script fallirà.```nginx
# Bad Bot Blocker
include /etc/nginx/bots.d/ddos.conf;
include /etc/nginx/bots.d/blockbots.conf;
setup-ngxblocker, install-ngxblocker e update-ngxblocker possono tutti essere configurati con percorsi di installazione/aggiornamento personalizzati dalla riga di comando.
Esegui uno qualsiasi degli script di setup, install o update con --help o -h per visualizzare le opzioni.
Ora testa la tua configurazione nginx
sudo nginx -t
e dovresti vedere```text nginx: the configuration file /etc/nginx/nginx.conf syntax is ok nginx: configuration file /etc/nginx/nginx.conf test is successful
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-7.png"/>
Ora basta semplicemente ricaricare / riavviare Nginx e il Bot Blocker sarà immediatamente attivo e proteggerà tutti i tuoi siti web.
`sudo nginx -t && sudo nginx -s reload`
oppure
`sudo service nginx restart`
Tutto qui, il blocker è ora attivo e protegge i tuoi siti da migliaia di bot e domini dannosi.
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-8.png"/>
Ora configura cron per aggiornare automaticamente il blocker ogni giorno, così avrai sempre la protezione più aggiornata.
`sudo crontab -e`
Aggiungi la seguente riga alla fine del tuo file crontab. Nota: aggiungi il parametro da riga di comando `-e` per specificare il tuo indirizzo email a cui viene inviato il report di aggiornamento. Ovviamente sostituisci `[email protected]` con il tuo indirizzo email reale, altrimenti non riceverai l'email quando lo script verrà aggiornato.
`00 22 * * * sudo /usr/local/sbin/update-ngxblocker -e [email protected]`
Questo aggiornerà il blocker ogni notte alle 22:00.
Se vuoi che si aggiorni più frequentemente (a volte pubblico 3-4 aggiornamenti al giorno) puoi impostarlo come segue per eseguire cron ogni 8 ore, anche se una volta al giorno è più che sufficiente.
`00 */8 * * * sudo /usr/local/sbin/update-ngxblocker -e [email protected]`
Se non desideri alcuna notifica email dopo un aggiornamento (sconsigliato nel caso in cui Nginx abbia mai un EMERG durante il ricaricamento), esegui semplicemente il tuo cron come segue.
`00 */8 * * * sudo /usr/local/sbin/update-ngxblocker -n`
Se preferisci inviare email tramite <a href="https://www.mailgun.com/">mailgun</a>, esegui il tuo cron in questo modo:
`00 22 * * * sudo /usr/local/sbin/update-ngxblocker -g [email protected] -d yourdomain.com -a mailgun api key -f [email protected]`
Tutto qui, il blocker si manterrà automaticamente aggiornato e ricaricherà anche Nginx una volta scaricata l'ultima versione del file globalblacklist.conf.
************************************************
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/step-9.png"/>
Ora puoi personalizzare uno qualsiasi dei seguenti file per adattarli al tuo ambiente o alle tue esigenze. Questi file non vengono mai modificati durante un aggiornamento tramite lo script di aggiornamento automatico sopra descritto, quindi qualsiasi personalizzazione tu faccia qui non verrà mai sovrascritta durante un aggiornamento.```text
/etc/nginx/bots.d/whitelist-ips.conf
/etc/nginx/bots.d/whitelist-domains.conf
/etc/nginx/bots.d/blockbots.conf
/etc/nginx/bots.d/blacklist-domains.conf
/etc/nginx/bots.d/blacklist-user-agents.conf
/etc/nginx/bots.d/blacklist-ips.conf
/etc/nginx/bots.d/bad-referrer-words.conf
/etc/nginx/bots.d/custom-bad-referrers.conf
/etc/nginx/bots.d/ddos.conf
Supponiamo che per qualche motivo "oscuro" tu voglia davvero bloccare GoogleBot dall'accesso al tuo sito. Ti basterebbe aggiungerlo al file /etc/nginx/bots.d/blacklist-user-agents.conf e questo sovrascriverà la whitelist predefinita per GoogleBot. Lo stesso vale per qualsiasi altro bot incluso nella whitelist predefinita.
Tutti i file di inclusione sono commentati per tua comodità.
(TEST PER VERIFICARE CHE FUNZIONI)
TEST
Esegui i seguenti comandi uno alla volta da un terminale su un'altra macchina Linux verso il tuo nome di dominio.
❗ sostituisci http://iltuodominio.com ❗ negli esempi seguenti con il tuo VERO nome di dominio ❗
curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I http://yourdomain.com
curl -A "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)" -I http://yourdomain.com
Dovrebbe rispondere con 200 OK
curl -A "Xenu Link Sleuth/1.3.8" -I http://yourdomain.com
curl -A "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)" -I http://yourdomain.com
Dovrebbe rispondere con uno dei seguenti messaggi di errore:
curl -I http://yourdomain.com -e http://100dollars-seo.com
curl -I http://yourdomain.com -e http://zx6.ru
Dovrebbe rispondere con uno dei seguenti messaggi di errore:
Il Nginx Ultimate Bot Blocker ora FUNZIONA e PROTEGGE i tuoi siti web !!!
❗ sostituisci http://iltuodominio.com ❗ negli esempi seguenti con il tuo VERO nome di dominio ❗
Se sei un utente Cloudflare che utilizza il sistema CDN / Caching di Cloudflare, dovresti sempre disabilitare la CDN Cloudflare (imposta la nuvola grigia)
Durante i test otterrai i codici di risposta corretti come di seguito:
Questo è voluto. La CDN sta facendo il suo lavoro, ovvero, la prima risposta dal tuo server ha detto al bot "vai via" emettendo risposte 444 o 443.
Cloudflare memorizza nella cache quella risposta e quindi la seconda volta che fai il test riceverai un messaggio di errore 520 Origin Error.
Durante i test del blocker, disabilita il sistema CDN / caching e una volta soddisfatto dei tuoi test, riattiva la CDN/Cache nel tuo ambiente live, poiché vuoi che i bot ricevano quella risposta da Cloudflare.
La maggior parte degli altri sistemi CDN probabilmente mostrerà lo stesso comportamento, quindi disattiva sempre una CDN durante i test per escludere qualsiasi cosa che possa interferire con i tuoi test. Assicurati sempre di riattivare la CDN al termine dei test !!
Una volta abilitata la CDN Cloudflare, testa di nuovo.
Durante i test, ottieni
Questo significa che la CDN sta funzionando.
INSTALLAZIONE DEL BLOCKER IN POSIZIONI DI CARTELLE NGINX NON STANDARD
Alcune persone compilano Nginx da sole e non finiscono per avere le posizioni standard delle cartelle nginx in /etc/nginx
Per utenti come questi puoi eseguire install-ngxblocker, setup-ngxblocker e update-ngxblocker specificando la tua posizione della cartella nelle righe di comando come segue.
sudo ./install-ngxblocker -x -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d
sudo ./setup-ngxblocker -x -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d
sudo ./update-ngxblocker -c /usr/local/nginx/conf.d -b /usr/local/nginx/bots.d -e [email protected]
Questo inserirà automaticamente i file nelle posizioni che specifichi, farà gli include nei tuoi vhost usando le tue posizioni personalizzate e quando update-ngxblocker scaricherà un nuovo aggiornamento riscriverà automaticamente anche le sezioni "Include" all'interno del file globalblacklist.conf con le tue posizioni personalizzate. Grazie ancora a Stuart Cardall @itoffshore per i suoi contributi con questi eccellenti script.
I report di rete duplicati da Nginx NON sono un bug né possono essere corretti, questo è il comportamento desiderato del blocker. Gli aggiornamenti giornalieri delle blacklist IP causano il blacklist di alcuni IP e range noti vecchio valore "1" che vengono poi inseriti nella whitelist alla fine di globalblocklist, che è l'ordine di caricamento che imposta poi gli IP che sappiamo essere buoni al loro nuovo valore "0" whitelistandoli così. È stato così dal primo giorno del blocker e rimarrà così. Questi sono semplici messaggi [WARN] non messaggi [EMERG] e non influenzano in alcun modo il funzionamento di Nginx.
(Oltre 4000 referrer dannosi, referrer spam, user-agent, bot dannosi, IP dannosi, siti porno, gioco d'azzardo e clickjacking, aziende SEO redditizie, rilevatori di temi wordpress e in aumento)
Migliaia di ore di programmazione e test sono state dedicate a questo progetto, mostra un po' di amore
I bot cercano di farsi passare per altro software o siti web mascherando il loro user agent. I loro nomi user agent possono sembrare innocui, perfino perfettamente legittimi.
Ad esempio, "^Java" ma secondo Project Honeypot, è in realtà uno dei più pericolosi MA molti bot legittimi in giro hanno "Java" nella loro stringa user agent, quindi l'approccio adottato da molti di bloccare "Java" non è solo ignorante ma blocca anche crawler molto legittimi inclusi alcuni di Google e Bing e mi rende molto chiaro che quelle persone che scrivono script di blocco bot raramente li testano.
I Referrer Spam e i Nomi di Dominio Spam usano tecniche molto intelligenti per saltare dai tuoi siti eseguendo campagne molto redditizie di click-jacking e click-redirecting che servono annunci a persone ignare che navigano sul web o addirittura installano malware, adware o ransomware nei loro browser che poi diventano parte della loro redditizia rete di bot.
Questo Bot Blocker include centinaia di nomi di dominio e indirizzi IP che la maggior parte delle persone non vedrà nemmeno nei propri log Nginx. Questo è il risultato di tutti i miei siti che girano su SSL e usano Content-Security-Policy (CSP) che blocca le cose prima ancora che arrivino a Nginx e ho raccolto e continuo a raccogliere alcuni dei peggiori domini e bot in circolazione.
Una quantità enorme di siti web Porno, Gioco d'Azzardo e Fake News è anche bloccata in questo script blocker che cresce anche a un ritmo rapido.
Sfortunatamente la maggior parte degli script blocker per bot in circolazione sono semplicemente copiati e incollati dagli script di altre persone e fatti sembrare come lavoro proprio. Questo è stato ispirato da quello creato da https://github.com/mariusv e ho contribuito a quel progetto ma sono andato in un layout totalmente nuovo, l'ho ripulito parecchio e ho ricominciato da zero. Ora è un progetto completamente indipendente. È pulito, funziona ed è stato testato a fondo.
Questa lista blocker per bot dannosi nginx è progettata per essere un file di inclusione globale Nginx e usa le direttive Nginx map $http_user_agent, map $http_referer e geo $validate_client.
In questo modo il file .conf viene caricato una volta sola in memoria da Nginx ed è disponibile per tutti i siti web che gestisci. Devi semplicemente usare un'istruzione Include in un file conf vhost Nginx.
La bellezza di questo è che è un unico file centrale usato da tutti i tuoi siti web. Questo significa che c'è un solo posto per fare modifiche, ad esempio aggiungere nuovi bot che scopri nei tuoi file di log. Qualsiasi modifica viene applicata immediatamente a tutti i siti dopo un semplice "sudo service nginx reload". Ma ovviamente fai sempre un sudo nginx -t per testare qualsiasi modifica alla configurazione prima di ricaricare.
Il file è di dimensioni ridotte. Al momento della stesura di questo e del primo commit pubblico di questo, la dimensione del file inclusi tutti i commenti "che nginx ignora" è attualmente di soli 185 kb e contiene già oltre 5000 domini dannosi, bot dannosi e indirizzi IP dannosi. È così leggero che Nginx non si accorge nemmeno che c'è. Contiene già migliaia di voci - totale aggiornato all'inizio di questo README.
A differenza di molti altri blocker per bot dannosi per Nginx e Apache dove le persone semplicemente copiano e incollano liste da altri, questa lista è stata costruita da zero e testata a fondo e intendo a fondo per oltre 10 mesi. Proviene da log server reali che vengono monitorati quotidianamente e ci sono almeno 3-10 nuove aggiunte a questo file quasi ogni giorno.
È stato anche testato a fondo per falsi positivi usando mesi di test costanti e regolari e monitoraggio dei file di log.
Tutti i siti web elencati nei referrer dannosi vengono controllati uno per uno prima ancora di essere aggiunti. Copiare semplicemente qualsiasi cosa che sembri sospetta nel tuo file di log e aggiungerla a un blocker come questo senza prima vedere cosa sia effettivamente .... beh, è sciocco per usare un eufemismo.
Nginx ha un simpatico errore chiamato 444 che letteralmente lascia cadere la connessione. Tutte queste regole emettono una risposta 444 quindi se una regola corrisponde, l'IP richiedente semplicemente non riceve risposta e sembrerebbe che il tuo server non esista per loro o appaia offline.
Un test con curl usando una delle righe di comando di test documentate nel file /conf.d/globalblacklist.conf darà un semplice "curl: (52) Risposta vuota dal server" e questa è la risposta che ricevono i referrer dannosi e i bot.
Per i bot o spider che vuoi ancora consentire ma di cui vuoi limitare la frequenza di visita, puoi usare le funzioni di rate limiting integrate che ho incluso. Il file è ampiamente commentato in tutto quindi dovresti capirlo, altrimenti contattami semplicemente se hai problemi.
o per contribuire con i tuoi referrer dannosi, bot o per fare correzioni a qualsiasi bot o dominio bloccato erroneamente, per favore fai un fork di una copia di questo repository e invia pull requests sui singoli file situati qui e poi invia una pull request (PR).
riguardo elenchi errati o qualsiasi altro problema sul sistema delle issue e saranno investigate e rimosse se necessario. Rispondo molto rapidamente ai problemi degli utenti e ho aiutato innumerevoli utenti per giorni interi a far funzionare il loro bot blocker. Potresti dire che sono pazzo (discutibile) ma amo aiutare le persone e non ignoro le issue o le persone con problemi a far funzionare questo.
Molte liste in giro mettono domini strani nel loro file hosts. Il tuo file hosts e DNS non capiranno questo. Questa lista usa domini convertiti che sono nel formato DNS corretto per essere compresi da qualsiasi sistema operativo. Evita di usare liste che non mettono la struttura di dominio correttamente formattata nelle loro liste.
Per esempio Il dominio:
lifehacĸer.com (nota la K)
in realtà si traduce in:
xn--lifehacer-1rb.com
Puoi fare un nslookup su qualsiasi sistema operativo e si risolverà correttamente.
`nslookup xn--lifehacer-1rb.com````xn--lifehacer-1rb.com origin = dns1.yandex.net mail addr = iskalko.yandex.ru serial = 2016120703 refresh = 14400 retry = 900 expire = 1209600 minimum = 14400 xn--lifehacer-1rb.com mail exchanger = 10 mx.yandex.net. Name: xn--lifehacer-1rb.com Address: 78.110.60.230 xn--lifehacer-1rb.com nameserver = dns2.yandex.net. xn--lifehacer-1rb.com text = "v=spf1 redirect=_spf.yandex.net" xn--lifehacer-1rb.com nameserver = dns1.yandex.net.
- Guarda: https://www.charset.org/punycode per maggiori informazioni.
************************************************
## MONITORA SEMPRE QUELLO CHE STAI FACENDO:
**ASSICURATI di monitorare i log del tuo sito web** dopo aver implementato questo. Ti suggerisco di caricarlo prima su un sito e monitorarlo per eventuali falsi positivi prima di metterlo in produzione su tutti i tuoi siti web.
Non fare lo struzzo con la testa nella sabbia: essere un operatore di server responsabile e proprietario di un sito web significa che devi monitorare i tuoi log frequentemente. Uno dei motivi per cui molti di voi sono finiti qui è perché avete visto roba brutta nei file di log di Nginx.
Monitora anche quotidianamente i tuoi log per nuovi referer dannosi e stringhe user-agent che vuoi bloccare. La tua migliore fonte per aggiungere a questa lista sono i log del tuo stesso server, non i miei.
Sentiti libero di contribuire con referer dannosi dai tuoi log a questo progetto inviando una Pull Request (PR). Puoi comunque fare affidamento su questa lista per tenere fuori il 99% dei malintenzionati.
************************************************
## COME MONITORARE I TUOI LOG GIORNALMENTE (Il Modo Facile):
**Con grande ringraziamento e apprezzamento a**
https://blog.nexcess.net/2011/01/21/one-liners-for-apache-log-files/
Per monitorare i tuoi referer principali dai file di log di un sito web su base giornaliera, usa i seguenti semplici cron job che ti invieranno via email un elenco dei principali referer / user agent ogni mattina dai file di log di un particolare sito web. Questo è un esempio per un solo cron job per un sito. Impostane più di uno per ogni sito che vuoi monitorare. Ecco un cron che gira alle 8 di ogni mattina e mi invia via email il log dei referer ripulito. Quando dico ripulito, il dominio del sito e altri referer come Google e Bing vengono rimossi dai risultati. Ovviamente devi cambiare il nome del file di log, il nome di dominio e il tuo indirizzo email negli esempi seguenti. Il secondo cron per la raccolta degli User Agent non rimuove alcun referer, ma puoi aggiungere quella funzionalità se vuoi copiando l'istruzione awk !~ dal primo esempio.
##### Cron per il Monitoraggio Giornaliero dei Referer su Nginx
`00 08 * * * tail -10000 /var/log/nginx/mydomain-access.log | awk '$11 !~ /google|bing|yahoo|yandex|mywebsite.com/' | awk '{print $11}' | tr -d '"' | sort | uniq -c | sort -rn | head -1000 | mail -s "Top 1000 Referers for Mydomain.com" [email protected]`
Questo ti invia via email un elenco giornaliero dei referrer usando un comando awk per escludere domini come google, bing e il tuo stesso nome di dominio.
##### Cron per il Monitoraggio Giornaliero degli User Agent su Nginx
`00 08 * * * tail -50000 /var/log/nginx/mydomain-access.log | awk '{print $12}' | tr -d '"' | sort | uniq -c | sort -rn | head -1000 | mail -s "Top 1000 Agents for Mydomain.com" [email protected]`
Questo ti invia via email un elenco dei principali User-Agent che hanno visitato il tuo sito nelle ultime 24 ore, utile per individuare stringhe User-Agent anomale o sospette.
************************************************
## BLOCCA I BOT AGRESSIVI A LIVELLO DI FIREWALL USANDO FAIL2BAN:
Ho aggiunto un filtro e un'azione Fail2Ban personalizzati che ho scritto e che monitorano i tuoi log Nginx per i bot che generano un gran numero di errori 444. Questa jail personalizzata per Fail2Ban analizzerà i log su un periodo di 1 settimana e banna il trasgressore per 24 ore.
Aiuta molto a tenere fuori alcuni recidivi e a impedire loro di riempire i tuoi file di log con errori 444.
Vedi la cartella Fail2Ban per le istruzioni su come configurare questa fantastica aggiunta per il Nginx Bad Bot Blocker.
************************************************
## FERMARE LO SPAM "FANTASMA" DI GOOGLE ANALYTICS:
Usare semplicemente il blocco Nginx non ferma lo spam di referral fantasma di Google Analytics perché colpiscono Analytics direttamente e non sempre toccano necessariamente il tuo sito web.
Dovresti usare filtri regex in Analytics per prevenire lo spam di referral fantasma.
Per questo ci sono diversi file google-exclude-0*.txt che sono stati creati per te e vengono aggiornati nello stesso momento in cui viene aggiornato il Blocker Nginx. Man mano che la lista cresce, verranno creati più file di esclusione.
************************************************
## PER FERMARE LO SPAM "FANTASMA" SU GOOGLE ANALYTICS SEGUI LA SEMPLICE GUIDA VISIVA SOTTO
Segui le istruzioni visive passo dopo passo qui sotto per aggiungere questi file google-exclude come segmenti al tuo sito web.
<table style="width:100%;margin:0;">
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-01.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-02.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-03.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-04.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-05.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-06.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
<tr>
<td align="left"><img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/google-analytics-ghost-spam-07.jpg" alt="Google Analytics - Aggiunta di Segmenti per Fermare lo Spam Fantasma"/></td>
</tr>
</table>
************************************************
## BLOCCARE I DOMINI SPAM USANDO GOOGLE SEARCH CONSOLE / WEBMASTER TOOLS
(Come usare il file google-disavow.txt)
Ho aggiunto la creazione di un file Google Disavow chiamato google-disavow.txt. Questo file può essere usato negli Strumenti per i Webmaster di Google per bloccare tutti questi domini come link spam o dannosi. Usalo con cautela.
************************************************
## VERSIONE ROBOTS.txt per chi non può usare questo blocco completo?
Molte persone sono alla mercé della loro società di hosting e non hanno accesso root al server che gira dietro il loro sito web. Se questa è la tua situazione, dai un'occhiata al file robots.txt generato automaticamente che ti aiuterà in una certa misura a tenere lontani molti Bad Bot e User-Agent dai tuoi siti.
************************************************
## VERSIONI .htaccess per chi non può usare questo blocco completo?
Molte persone sono alla mercé della loro società di hosting e non hanno accesso root al server che gira dietro il loro sito web.
Se questa è la tua situazione, dai un'occhiata alle versioni .htaccess generate automaticamente dello Spam Referrer Blocker che si trovano in <a href="https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master/.htaccess">questo repository</a>. Questo metodo .htaccess (SOLO PER SITI APACHE) ti aiuterà a tenere fuori dal tuo sito tutti gli Spam Referrer presenti in questo blocco.
Questo viene menzionato qui semplicemente perché molte persone che usano sistemi CPanel pensano di essere dietro un server Nginx ma in realtà stanno girando su un server Apache dietro un server proxy Nginx. .htaccess non funziona sui siti Nginx.
Non usi il server web Nginx? Vedi il [](https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker)
************************************************
# FUNZIONA ALLA GRANDE!!!
************************************************
## Ora goditi semplicemente ciò che il Nginx Bad Bot Blocker può fare per te e i tuoi siti web.
### E Aiuta a Sostenere Questo Progetto
Migliaia di ore di programmazione e test sono state investite in questo progetto, mostra un po' di amore
[<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/kofi4.png" alt="Offrimi un Caffè" width="300"/>](https://ko-fi.com/mitchellkrog)
************************************************
# IL TUO SITO WEB È STATO HACKERATO?
[](mailto:[email protected]) per aiutarti a ripulire e mettere in sicurezza il tuo sito web.
************************************************
### ALTRI PROGETTI GRATUITI FANTASTICI
- https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker
- https://github.com/mitchellkrogza/Badd-Boyz-Hosts
- https://github.com/mitchellkrogza/Ultimate.Hosts.Blacklist
- https://github.com/mitchellkrogza/Stop.Google.Analytics.Ghost.Spam.HOWTO
- https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
- https://github.com/mitchellkrogza/fail2ban-useful-scripts
- https://github.com/mitchellkrogza/linux-server-administration-scripts
- https://github.com/mitchellkrogza/Travis-CI-Nginx-for-Testing-Nginx-Configuration
- https://github.com/mitchellkrogza/Travis-CI-for-Apache-For-Testing-Apache-and-PHP-Configurations
- https://github.com/mitchellkrogza/Fail2Ban-Blacklist-JAIL-for-Repeat-Offenders-with-Perma-Extended-Banning
- https://github.com/funilrys/PyFunceble
- https://github.com/funilrys/dead-hosts
- https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
- https://github.com/mitchellkrogza/Suspicious.Snooping.Sniffing.Hacking.IP.Addresses
- https://github.com/mitchellkrogza/Fail2Ban.WebExploits
************************************************
### DAI UN'OCCHIATA ANCHE ALLA NUOVA GRANDE LISTA DI SITI WEB HACKERATI CON MALWARE E WORDPRESS
Questo repository contiene un elenco di tutti i siti web che incontro e che sono stati hackerati con malware.
La maggior parte dei proprietari dei siti non è consapevole che i propri siti sono stati hackerati e vengono usati per piantare malware.
Dai un'occhiata a: https://github.com/mitchellkrogza/The-Big-List-of-Hacked-Malware-Web-Sites
************************************************
### TI PIACE LA FOTOGRAFIA?
Passa a trovarmi su [mitchellkrog.com](https://mitchellkrog.com) o [Facebook](https://www.facebook.com/MitchellKrogPhotography) o seguimi su Twitter <a href='https://twitter.com/MitchellKrog'><img src="https://img.shields.io/twitter/follow/MitchellKrog.svg?style=social&label=Follow" alt='Segui @MitchellKrog'></a>
************************************************
### RINGRAZIAMENTI E COLLABORATORI:
Grazie infinite a coloro che contribuiscono a questo progetto.
Molte parti degli script di generazione e del codice che gira dietro questo progetto sono state adattate da frammenti provenienti da centinaia di fonti.
In effetti è così difficile menzionare tutti, ma ecco alcune persone chiave i cui piccoli frammenti di codice mi hanno aiutato a introdurre nuove funzionalità tutto il tempo. Mostra loro un po' di amore e dai un'occhiata anche ad alcuni dei loro progetti.
- Konstantin Goretzki @konstantingoretzki https://github.com/konstantingoretzki (Regex migliorato sul filtro Fail2Ban)
- Stuart Cardall - https://github.com/itoffshore (Script di Installazione, Aggiornamento e Configurazione e Manutentore del Pacchetto Alpine Linux)
- Mike van Eckendonk - https://github.com/Eckybrazzz
- Nissar Chababy @funilrys - https://github.com/funilrys/PyFunceble (Eccellente script per controllare i nomi di dominio ATTIVI, INATTIVI e SCADUTI)
- Marius Voila https://github.com/mariusv
- Cătălin Mariș https://github.com/alrra
- deformhead https://github.com/deformhead
- bluedragonz https://github.com/bluedragonz
- Alexander https://github.com/shoonois
- Steven Black https://github.com/StevenBlack
- Fail2Ban - https://github.com/fail2ban
- Stevie-Ray Hartog https://github.com/Stevie-Ray
- Sir Athos da StackOverFlow - http://stackoverflow.com/users/2245910/sir-athos (aiuto con il Tagging e il Committing delle Build Travis)
- StackOverflow - http://stackoverflow.com/ (script bash da centinaia di domande e risposte)
- SuperUser - http://superuser.com/ (frammenti da varie domande e risposte)
Se credi che il tuo nome dovrebbe essere qui, mandami un messaggio.
************************************************
### Scrivere codice come questo richiede molto tempo!!
Migliaia di ore di programmazione e test sono state investite in questo progetto, mostra un po' di amore
[<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/kofi4.png" alt="Offrimi un Caffè" width="300"/>](https://ko-fi.com/mitchellkrog)
<img src="https://raw.githubusercontent.com/mitchellkrogza/nginx-ultimate-bad-bot-blocker/master/.assets/zuko.png"/>
************************************************
# Licenza MIT
## Copyright (c) 2017 Mitchell Krog - [email protected]
## https://github.com/mitchellkrogza
Con la presente viene concessa l'autorizzazione, gratuitamente, a chiunque ottenga una copia
di questo software e dei relativi file di documentazione (il "Software"), di trattare
il Software senza restrizioni, inclusi, senza limitazione, i diritti
di usare, copiare, modificare, fondere, pubblicare, distribuire, concedere in sublicenza e/o vendere
copie del Software, e di consentire alle persone a cui il Software è
fornito di fare altrettanto, alle seguenti condizioni:
L'avviso di copyright sopra indicato e questo avviso di autorizzazione dovranno essere inclusi in tutte
le copie o parti sostanziali del Software.
IL SOFTWARE È FORNITO "COSÌ COM'È", SENZA GARANZIA DI ALCUN TIPO, ESPRESSA O
IMPLICITA, INCLUSI MA NON LIMITATI ALLE GARANZIE DI COMMERCIABILITÀ,
IDONEITÀ PER UNO SCOPO PARTICOLARE E NON VIOLAZIONE. IN NESSUN CASO GLI
AUTORI O I TITOLARI DEL COPYRIGHT SARANNO RESPONSABILI PER QUALSIASI RECLAMO, DANNO O ALTRA
RESPONSABILITÀ, SIA IN UN'AZIONE DI CONTRATTO, ILLECITO O ALTRO, DERIVANTE DA,
FUORI O IN CONNESSIONE CON IL SOFTWARE O L'USO O ALTRE OPERAZIONI NEL
SOFTWARE.