jqueguiner/lk_scraperПолностью настраиваемый парсинг linkedin : парсинг всего, что есть в linkedin
Парсинг любых данных LinkedIn
$ pip install git+git://github.com/jqueguiner/lk_scraper
$ docker-compose up -d
$ docker-compose run lk_scraper python3
Сначала необходимо запустить Selenium сервер
$ docker run -d -p 4444:4444 --shm-size 2g selenium/standalone-firefox:3.141.59-20200326
После выполнения этой команды в браузере перейдите по вашему IP-адресу, за которым следует номер порта и /grid/console. Команда будет выглядеть так: http://localhost:4444/grid/console.
Перейдите на LinkedIn.com и войдите в систему
Откройте инструменты разработчика браузера (Ctrl-Shift-I или правая кнопка мыши -> просмотр элемента)
https://www.nextscripts.com/images/sc/alt-LI-002-ch.png
Выберите вкладку Application
В левом меню в разделе Storage нажмите на выпадающий список Cookies и выберите www.linkedin.com
Найдите cookie li_at, дважды кликните на значение, чтобы выделить его, затем скопируйте
Выберите вкладку Storage
Нажмите на выпадающий список Cookies и выберите www.linkedin.com
Найдите и скопируйте значение li_at
Вы можете добавить свой cookie li_at от LinkedIn в конфигурационный файл, который находится в вашей домашней директории (~/.lk_scraper/config.yml)
см.
from lk_scraper import Scraper
li_at = "My_super_linkedin_cookie"
scraper = Scraper(li_at=li_at)
(Пока не реализовано)
$ export LI_AT="My_super_linkedin_cookie"
Запустите Jupyter notebook linkedin-example.ipynb
from lk_scraper import Scraper
scraper = Scraper()
from lk_scraper import Scraper
scraper = Scraper()
company = scraper.get_object(object_name='company', object_id='apple')
from lk_scraper import Scraper
scraper = Scraper()
profil = scraper.get_object(object_name='profil', object_id='jlqueguiner')