josue87/metafinderПоиск документов в домене через поисковые системы (Google, Bing и Baidu). Цель — извлечение метаданных.
Поиск документов в домене через поисковые системы. Цель — извлечь метаданные.
> pip3 install metafinder
Обновления также доступны с помощью:
> pip3 install metafinder --upgrade
MetaFinder можно использовать двумя способами:
metafinder -d domain.com -l 20 -o folder [-t 10] -go -bi -ba
Параметры:
import metafinder.extractor as metadata_extractor
documents_limit = 5
domain = "target_domain"
result = metadata_extractor.extract_metadata_from_google_search(domain, documents_limit)
# result = metadata_extractor.extract_metadata_from_bing_search(domain, documents_limit)
# result = metadata_extractor.extract_metadata_from_baidu_search(domain, documents_limit)
authors = result.get_authors()
software = result.get_software()
for k,v in result.get_metadata().items():
print(f"{k}:")
print(f"|_ URL: {v['url']}")
for metadata,value in v['metadata'].items():
print(f"|__ {metadata}: {value}")
document_name = "test.pdf"
try:
metadata_file = metadata_extractor.extract_metadata_from_document(document_name)
for k,v in metadata_file.items():
print(f"{k}: {v}")
except FileNotFoundError:
print("File not found")
Этот проект разработан:
Программное обеспечение разработано так, чтобы не оставлять следов в документах, которые мы загружаем в домен. Автор не несёт ответственности за любое неправомерное использование.