sanix-darker/fallaСкрапер командной строки для поисковых систем, поддерживающий более 15 поисковых систем, включая Google, duckduckgo, Bing, Ask и т.д.
CLI-скрапер для более чем 15 поисковых систем, включая Google, duckduckgo, Bing, Ask и т.д.
ПРИМЕЧАНИЕ: Только для образовательных целей. Я не несу ответственности за неправильное использование этого инструмента!
pip3 install -r requirements.txt
# Для пользователей Linux
sudo apt install firefox-geckodriver
# Для пользователей других ОС, пожалуйста, проверьте релизы на https://github.com/mozilla/geckodriver/releases
docker run -p 8050:8050 scrapinghub/splash
example.config.txt на config.txt и укажите работающий IP-адрес для splash-scrapКак использовать Falla:
usage: main.py [-h] [-e ENGINE] [-q QUERY]
optional arguments:
-h, --help show this help message and exit
-e ENGINE, --engine ENGINE
The search engine
-q QUERY, --query QUERY
The query text
$ python3 -m app.main
# output
[+] Falla [the search-engine-scraper]
[+] Listing search-Engines
[+] > google
[+] > bing
[+] > aol
[+] > dogpile
[+] > falla
[+] > ask
[+] > qwant
[+] > duckduckgo
[+] > mojeek
[+] > gibiru
[+] > yandex
[+] > yahoo
[+] > searchencrypt
[+] > iem
[+] > kallasearch
[+] > wosx
$ python3 -m app.main -e google -q "sanix darker"
# output
## Автор