falla — 15以上の検索エンジン（Google、duckduckgo、Bing、Askなど）に対応した検索エンジンCLIスクレイパーです。 | Kitploit

FAllA

15以上の検索エンジン（Google、duckduckgo、Bing、Askなど）に対応した検索エンジンCLIスクレイパーです。
注意: 教育目的のためのものです。このツールの不正使用については責任を負いません。

必要条件

Python (3.x)
Docker-CE (全ての検索エンジンで必要というわけではなく、一部のみ)

インストール方法

全ての依存関係をインストールする必要があります:

pip3 install -r requirements.txt

geckodriverをインストール:

# Linuxユーザー向け
sudo apt install firefox-geckodriver

# その他のOSのユーザーは、https://github.com/mozilla/geckodriver/releases のリリースを確認してください

docker-hubからsplash-scrapモジュールをプルして実行（一部の検索エンジンで必要）:

docker run -p 8050:8050 scrapinghub/splash

example.config.txt を config.txt に置き換え、splash-scrapの実行中IPを指定してください。

起動方法

Fallaの使い方:

usage: main.py [-h] [-e ENGINE] [-q QUERY]

optional arguments:
  -h, --help            show this help message and exit
  -e ENGINE, --engine ENGINE
                        The search engine
  -q QUERY, --query QUERY
                        The query text

全ての検索エンジンを一覧表示:

$ python3 -m app.main
# output
[+] Falla [the search-engine-scraper]
[+] Listing search-Engines
[+] > google
[+] > bing
[+] > aol
[+] > dogpile
[+] > falla
[+] > ask
[+] > qwant
[+] > duckduckgo
[+] > mojeek
[+] > gibiru
[+] > yandex
[+] > yahoo
[+] > searchencrypt
[+] > iem
[+] > kallasearch
[+] > wosx

何かを検索:

$ python3 -m app.main -e google -q "sanix darker"
# output

## 著者

Sanix-darker

ツールをダウンロード