搜索引擎爬虫 - 用于从搜索引擎抓取 URL 的 Python 库
Ask Bing DuckDuckGO UOL Yahoo
git clone https://github.com/mthbernardes/fses.git cd fses pip install -r requeriments.txt
使用 Ask 进行简单搜索
from searchEngines.ask import ask
print "Ask Search"
query = "site:domain.com" # 设置一个 dork
a = ask() # 创建任意搜索引擎的实例
results = a.search(query,verbose=True) # 所有类都使用 search 方法，verbose 用于打印当前脚本正在抓取的页面
for url in results
print url
所有搜索引擎的方法
query = "site:domain.com"
from searchEngines.ask import ask
print "Ask Search"
results.extend(ask().search(query,verbose=verbose))
from searchEngines.uol import uol
print "UOL Search"
results.extend(uol().search(query,verbose=verbose))
from searchEngines.bing import bing
print "Bing Search"
results.extend(bing().search(query,verbose=verbose))
from searchEngines.yahoo import yahoo
print "Yahoo Search"
results.extend(yahoo().search(query,verbose=verbose))
from searchEngines.duckduckgo import duckDuckGo
print "DuckDuckGo Search"
results.extend(duckDuckGo().search(query,verbose=verbose))
使用所有搜索引擎进行搜索
from utils import util
query = "site:conviso.com.br"
results = util.searchAll(query,verbose=False) # searchAll 与 search 方法具有相同的属性
for url in results
print url
请参考 searchEngines/example.py，这是一个模板，展示了如何为其他搜索引擎创建插件。