 __  __  _ __   ____
/\ \/\ \/\`'__\/',__\
\ \ \_\ \ \ \//\__, `\
 \ \____/\ \_\\/\____/
  \/___/  \/_/ \/___/

Uниверсальный Reddit Sкраппер - Комплексный инструмент командной строки для скрейпинга Reddit, написанный на Python.

[][codecov] [ GitHub release (latest by date) ][releases] Total lines License

Спонсоры

Если этот проект сэкономил вам время, подумайте о спонсировании его разработки.

MangoProxy предоставляет резидентные, ISP, дата-центровые и мобильные прокси в более чем 200 странах. Доверяют компании по всему миру за стабильные соединения, быстрое время отклика и масштабируемую прокси-инфраструктуру.

Используйте мою реферальную ссылку для регистрации и промокод JOSEPH, чтобы получить скидку 8% на статические ISP-прокси.

Содержание

Контакты
Введение
Обзор использования
"Где руководство?"
- Руководство URS
Демонстрационные GIF

Контакты

Используете ли вы URS в корпоративных или личных целях, мне очень интересно узнать о вашем сценарии использования и о том, как он помог вам достичь цели. Кроме того, отправьте мне письмо, если хотите [внести вклад][contributing manual link], у вас есть вопросы или вы хотите поделиться тем, что создали на его основе.

Вы можете отправить мне письмо, нажав на значок. С нетерпением жду ваших сообщений!

[][urs project email]

Введение

Это комплексный инструмент для скрейпинга Reddit, объединяющий несколько функций:

Скрейпинг Reddit через [PRAW][praw] (официальный Python-обёртка API Reddit)
- Скрейпинг сабреддитов
- Скрейпинг реддиторов
- Скрейпинг комментариев к постам
Потоковая трансляция Reddit через PRAW
- Потоковая трансляция комментариев, оставленных в сабреддитах или реддиторами
- Потоковая трансляция постов, опубликованных в сабреддитах или реддиторами
Аналитические инструменты для собранных данных
- Генерация частотности слов, встречающихся в заголовках, телах и/или комментариях постов
- Генерация облака слов на основе результатов скрейпинга

Обзор использования

[-h]
[-e]
[-v]

[-t [<optional_date>]]
[--check]

[-r <subreddit> <(h|n|c|t|r|s)> <n_results_or_keywords> [<optional_time_filter>]]
    [-y]
    [--csv]
    [--rules]
[-u <redditor> <n_results>]
[-c <submission_url> <n_results>]
    [--raw]
[-b]
    [--csv]

[-lr <subreddit>]
[-lu <redditor>]

    [--nosave]
    [--stream-submissions]

[-f <file_path>]
    [--csv]
[-wc <file_path> [<optional_export_format>]]
    [--nosave]

"Где руководство?"

[Руководство `URS`][urs manual]

Этот файл README стал слишком длинным, чтобы комфортно вмещать всю информацию об использовании данного инструмента. Соответственно, информация, которая ранее находилась в этом файле, была перенесена в отдельное руководство, созданное с помощью [mdBook], утилиты командной строки на Rust для создания книг из Markdown-файлов.

Примечание: Ссылку также можно найти на боковой панели «About» в этом репозитории.

Демонстрационные GIF

Здесь представлены все демонстрационные GIF, записанные для URS.

Примечание: Команда nd — это [nomad][nomad], современная альтернатива tree, написанная мной на Rust.

[Скрейпинг сабреддита][subreddit scraping manual link]

![демонстрация сабреддита][subreddit demo]

[Скрейпинг реддитора][redditor scraping manual link]

![демонстрация реддитора][redditor demo]

[Скрейпинг комментариев к посту][submission comments scraping manual link]

![демонстрация комментариев к посту][submission comments demo]

[Потоковая трансляция Reddit][livestream scraping manual link]

![демонстрация потоковой трансляции сабреддита][livestream subreddit demo]

[Генерация частотности слов][frequencies scraping manual link]

![демонстрация генерации частотности][frequencies demo]

[Генерация облака слов][wordcloud scraping manual link]

![демонстрация генерации облака слов][wordcloud demo]

[Проверка лимитов PRAW][check praw rate limits manual link]

![демонстрация проверки лимитов PRAW][check praw rate limits demo]

[Отображение дерева каталогов][display directory tree manual link]

![демонстрация дерева каталогов][display directory tree demo]

URS

Популярное