jqueguiner/lk_scraperUn scrape linkedin entièrement configurable : scrapez tout ce qui se trouve dans linkedin
Récupère n'importe quelle donnée LinkedIn
$ pip install git+git://github.com/jqueguiner/lk_scraper
$ docker-compose up -d
$ docker-compose run lk_scraper python3
Tout d'abord, vous devez lancer un serveur Selenium
$ docker run -d -p 4444:4444 --shm-size 2g selenium/standalone-firefox:3.141.59-20200326
Après avoir exécuté cette commande, depuis le navigateur, allez à votre adresse IP suivie du numéro de port et de /grid/console. La commande sera donc http://localhost:4444/grid/console.
Allez sur LinkedIn.com et connectez-vous
Ouvrez les outils de développement du navigateur (Ctrl-Maj-I ou clic droit -> inspecter l'élément)
https://www.nextscripts.com/images/sc/alt-LI-002-ch.png
Sélectionnez l'onglet Application
Sous l'en-tête Stockage dans le menu de gauche, cliquez sur la liste déroulante Cookies et sélectionnez www.linkedin.com
Trouvez le cookie li_at, et double-cliquez sur la valeur pour la sélectionner avant de copier
Sélectionnez l'onglet Stockage
Cliquez sur la liste déroulante Cookies et sélectionnez www.linkedin.com
Trouvez et copiez la valeur li_at
Vous pouvez ajouter votre cookie LinkedIn li_at dans le fichier de configuration situé dans votre répertoire personnel (~/.lk_scraper/config.yml)
voir
from lk_scraper import Scraper
li_at = "My_super_linkedin_cookie"
scraper = Scraper(li_at=li_at)
(Pas encore implémenté)
$ export LI_AT="My_super_linkedin_cookie"
Exécutez le notebook Jupyter linkedin-example.ipynb
from lk_scraper import Scraper
scraper = Scraper()
from lk_scraper import Scraper
scraper = Scraper()
company = scraper.get_object(object_name='company', object_id='apple')
from lk_scraper import Scraper
scraper = Scraper()
profil = scraper.get_object(object_name='profil', object_id='jlqueguiner')