
скрапер контента 4chan

Полноценный парсер для 4chan (Да, это быстро.)
pepeScraper — это парсер, использующий контекст для ваших запросов и возвращающий именно то, что вы ищете. (Я учусь делать вещь круче, чем она есть на самом деле)
Если вы используете Windows, просто перейдите в раздел релизов, скачайте последнюю версию и установите зависимости. Если вы хотите помочь и имеете доступ к исходному коду, используйте код ниже.
git clone https://github.com/JuaanReis/pepeScraper.git
cd ./pepeScraper
pip install -r requirements.txt
py main.py --help
Я даже не знаю, что означает этот мем (и иди ты на хрен, если знаешь).
PepeScraper НЕ хранит ничего автоматически.
Он использует только API и создаёт прямую ссылку на 4chan.
Никаких логов, никакой истории, никаких баз данных, никакой копии Facebook (может, вы поняли).
У вас есть возможность сохранять изображения досок, логи и результаты вывода, но ничего не делается автоматически
(если вы не выбрали эту опцию в конфигурационном файле)
Всё хранится в RAM и удаляется после завершения программы. (Да, ваша мама не узнает, что вы искали.)
Пожалуйста, не подавайте на меня в суд, у меня нет денег на адвоката. (Иногда даже на еду не хватает.)
Я серьёзно, порнография может разрушить ваш мозг, ваше тело и вашу семью (сколько бы раз я это ни писал, вы проигнорируете).
python main.py --keyword "pepe" --date 01/01/2025
Это может сделать ваше исследование немного безопаснее (я не знаю, правильно ли я это запрограммировал).
| Флаг | Описание | Пример |
|---|
--key <w> | Ключевые слова, используемые в качестве основы для поиска и парсинга. | --key mustang |
--date <YYYY/MM/DD> | Точная дата создания поста ОП. | --date 2024/01/10 |
--before <YYYY/MM/DD> | Посты до указанной даты до сегодняшнего дня. | --before 2023/05/01 |
--after <YYYY/MM/DD> | Посты после указанной даты до сегодняшнего дня. | --after 2024/02/01 |
--min-replies <n> | Минимальное количество ответов в треде. | --min-replies 10 |
--max-replies <n> | Максимальное количество ответов в треде. | --max-replies 200 |
--board <board_name> | Имя доски (досок) для поиска. | --board g |
-T <n> | Количество тредов, с которыми будет работать программа (меняет скорость, не влияет на результат). | -T 9 |
--op-only, -op | Учитывать только сообщение ОП. | -op |
--no-op, -nop | Противоположность --op-only, игнорирует ОП. | -nop |
--nsfw, -n | Включить непристойные посты. | -n |
--nsfw-title, -nt | Включить непристойные заголовки. | -nt |
--output, -o | Сохранить результаты в текстовый файл (только ссылки). | -o results.txt |
--download_image, -di | Скачать все изображения из треда. | -di |
--log <w> | Сохранить логи в pepescraper/data/logs. | --log scan.log |
--all-boards, -ab | Показать все доски. | -ab |
--proxy, -p <w> | Подключаться через прокси. | -p http://127.0.0.1:8080 |
--title, -t | Применить поисковый запрос к заголовку. | -t |
--image, -i | Фильтровать поиск по ключевому слову в изображении. | -i |