💬 Описание

LinkedInDumper — это скрипт на Python 3, который выполняет дамп данных сотрудников из социальной сети LinkedIn.

Результаты содержат имя, фамилию, должность (название), местоположение и ссылку на профиль пользователя. Для получения всех сотрудников требуется всего 2 вызова API, если в компании не более 10 сотрудников. В противном случае необходимо пролистывать страницы результатов API. С помощью флага CLI --email-format можно задать формат строки Python для автоматической генерации адресов электронной почты на основе полученных имени и фамилии.

✨ Требования

LinkedInDumper взаимодействует с неофициальным API LinkedIn Voyager, который требует аутентификации. Поэтому у вас должна быть действующая учетная запись LinkedIn. Для простоты LinkedInDumper просто ожидает предоставленное вами значение cookie. Таким образом поддерживаются даже учетные записи с двухфакторной аутентификацией. Кроме того, вам необходимо предоставить URL компании LinkedIn для дампа сотрудников.

Получение cookie LinkedIn

1. Войдите в www.linkedin.com и получите значение сессионного cookie li_at, например, через инструменты разработчика
2. Укажите значение cookie либо постоянно в переменной скрипта Python li_at, либо временно во время выполнения через флаг CLI --cookie

Получение URL компании LinkedIn

1. Найдите целевую компанию в Google Search или напрямую в LinkedIn
2. URL компании LinkedIn должен выглядеть примерно так: https://www.linkedin.com/company/apple

🎓 Использование

usage: linkedindumper.py [-h] --url <linkedin-url> [--cookie <cookie>] [--quiet] [--include-private-profiles] [--include-contact-infos] [--jitter] [--email-format <mail-format>] [--output-json <json-file>] [--output-csv <csv-file>]

options:
  -h, --help            show this help message and exit
  --url <linkedin-url>  A LinkedIn company url - https://www.linkedin.com/company/<company>
  --cookie <cookie>     LinkedIn 'li_at' session cookie
  --include-private-profiles
                        Show private accounts too
  --include-contact-infos
                        Query each employee individually and retrieve contact infos
  --jitter              Add a random jitter to HTTP requests to bypass rate limiting
  --email-format <mail-format>
                        Python string format for emails; for example:
                        --email-format '{0}.{1}@example.com' --> [email protected]
                        --email-format '{0[0]}.{1}@example.com' --> [email protected]
                        --email-format '{1}@example.com' --> [email protected]
                        --email-format '{0}@example.com' --> [email protected]
                        --email-format '{0[0]}{1[0]}@example.com' --> [email protected]
  --output-json <json-file>
                        Store results in json output file
  --output-csv <csv-file>
                        Store results in csv output file                        

🐳 Пример 1 — Запуск через Docker

docker run --rm l4rm4nd/linkedindumper:latest --url 'https://www.linkedin.com/company/apple' --cookie '<cookie>' --email-format '{0}.{1}@apple.de'

🐍 Пример 2 — Нативный Python

# install dependencies
pip install -r requirements.txt

python3 linkedindumper.py --url 'https://www.linkedin.com/company/apple' --cookie '<cookie>' --email-format '{0}.{1}@apple.de'

💎 Результаты

Скрипт вернет данные сотрудников в виде значений, разделенных точкой с запятой (как CSV):

 ██▓     ██▓ ███▄    █  ██ ▄█▀▓█████ ▓█████▄  ██▓ ███▄    █ ▓█████▄  █    ██  ███▄ ▄███▓ ██▓███  ▓█████  ██▀███  
▓██▒    ▓██▒ ██ ▀█   █  ██▄█▒ ▓█   ▀ ▒██▀ ██▌▓██▒ ██ ▀█   █ ▒██▀ ██▌ ██  ▓██▒▓██▒▀█▀ ██▒▓██░  ██▒▓█   ▀ ▓██ ▒ ██▒
▒██░    ▒██▒▓██  ▀█ ██▒▓███▄░ ▒███   ░██   █▌▒██▒▓██  ▀█ ██▒░██   █▌▓██  ▒██░▓██    ▓██░▓██░ ██▓▒▒███   ▓██ ░▄█ ▒
▒██░    ░██░▓██▒  ▐▌██▒▓██ █▄ ▒▓█  ▄ ░▓█▄   ▌░██░▓██▒  ▐▌██▒░▓█▄   ▌▓▓█  ░██░▒██    ▒██ ▒██▄█▓▒ ▒▒▓█  ▄ ▒██▀▀█▄  
░██████▒░██░▒██░   ▓██░▒██▒ █▄░▒████▒░▒████▓ ░██░▒██░   ▓██░░▒████▓ ▒▒█████▓ ▒██▒   ░██▒▒██▒ ░  ░░▒████▒░██▓ ▒██▒
░ ▒░▓  ░░▓  ░ ▒░   ▒ ▒ ▒ ▒▒ ▓▒░░ ▒░ ░ ▒▒▓  ▒ ░▓  ░ ▒░   ▒ ▒  ▒▒▓  ▒ ░▒▓▒ ▒ ▒ ░ ▒░   ░  ░▒▓▒░ ░  ░░░ ▒░ ░░ ▒▓ ░▒▓░
░ ░ ▒  ░ ▒ ░░ ░░   ░ ▒░░ ░▒ ▒░ ░ ░  ░ ░ ▒  ▒  ▒ ░░ ░░   ░ ▒░ ░ ▒  ▒ ░░▒░ ░ ░ ░  ░      ░░▒ ░      ░ ░  ░  ░▒ ░ ▒░
  ░ ░    ▒ ░   ░   ░ ░ ░ ░░ ░    ░    ░ ░  ░  ▒ ░   ░   ░ ░  ░ ░  ░  ░░░ ░ ░ ░      ░   ░░          ░     ░░   ░ 
    ░  ░ ░           ░ ░  ░      ░  ░   ░     ░           ░    ░       ░            ░               ░  ░   ░     
                                      ░                      ░                                         ░ by LRVT      

[i] Company Name: apple
[i] Company X-ID: 162479
[i] LN Employees: 1000 employees found
[i] Dumping Date: 17/10/2022 13:55:06
[i] Email Format: {0}.{1}@apple.de

Firstname;Lastname;Email;Position;Gender;Location;Profile
Katrin;Honauer;[email protected];Software Engineer at Apple;N/A;Heidelberg;https://www.linkedin.com/in/katrin-honauer
Raymond;Chen;[email protected];Recruiting at Apple;N/A;Austin, Texas Metropolitan Area;https://www.linkedin.com/in/raytherecruiter

[i] Successfully crawled 2 unique apple employee(s). Hurray ^_-

При желании вы можете использовать параметры CLI --output-json и --output-csv для сохранения результатов в формате JSON или CSV.

💥 Ограничения

LinkedIn позволит вернуть только первые 1000 результатов поиска при сборе контактной информации. Возможно, вам также потребуется премиум-аккаунт LinkedIn, когда вы достигнете максимального количества запросов для просмотра профилей с вашим бесплатным аккаунтом LinkedIn.

Кроме того, не все профили сотрудников являются общедоступными. Результаты различаются в зависимости от используемой учетной записи LinkedIn и от того, есть ли у вас в друзьях некоторые сотрудники компании для сканирования. Поэтому иногда невозможно получить имя, фамилию и URL профиля некоторых учетных записей сотрудников. Скрипт не будет отображать такие профили, так как они содержат значения по умолчанию, такие как "LinkedIn" в качестве имени и "Member" в качестве фамилии. Если вы хотите включить такие частные профили, используйте флаг CLI --include-private-profiles. Хотя некоторые учетные записи могут быть частными, мы можем получить должность (название) и местоположение таких учетных записей. Только имя, фамилия и URL профиля скрыты для частных аккаунтов LinkedIn.

Наконец, пользователи LinkedIn могут называть свой профиль по своему усмотрению. Имя учетной записи может состоять из различных вещей, таких как приветствия, сокращения, эмодзи, отчества и т.д. Я постарался максимально удалить лишнее. Однако это не полное решение общей проблемы. Обратите внимание, что мы не используем официальный API LinkedIn. Этот скрипт собирает информацию из "неофициального" API Voyager.

Вы можете использовать экспериментальный флаг CLI --include-contact-infos для получения дополнительных сведений из контактной информации пользователя (имя, фамилия, адрес, телефон, email, адрес). Это приведет к индивидуальному запросу каждой перечисленной учетной записи пользователя LinkedIn и получению данных с помощью GraphQL API. Он возвращает только вывод в формате JSON и требует большого количества запросов. Возврат данных зависит от настроек конфиденциальности пользователя и используемой вами учетной записи LinkedIn для перечисления.

Если вы получили сообщение об ошибке типа "maximum request exceeded", попробуйте параметр CLI --jitter, чтобы добавить задержки для автоматических запросов API. Это может помочь обойти обнаружение или ограничение частоты запросов со стороны LinkedIn.

🤖 Статистика репозитория