jqueguiner/lk_scraperEin vollständig konfigurierbarer Linkedin-Scrape: scrapen Sie alles in Linkedin
Extrahiert beliebige LinkedIn-Daten
$ pip install git+git://github.com/jqueguiner/lk_scraper
$ docker-compose up -d
$ docker-compose run lk_scraper python3
Zuerst müssen Sie einen Selenium-Server ausführen
$ docker run -d -p 4444:4444 --shm-size 2g selenium/standalone-firefox:3.141.59-20200326
Nachdem Sie diesen Befehl ausgeführt haben, navigieren Sie im Browser zu Ihrer IP-Adresse gefolgt von der Portnummer und /grid/console. Der Befehl lautet also: http://localhost:4444/grid/console.
Navigieren Sie zu LinkedIn.com und melden Sie sich an
Öffnen Sie die Entwicklertools des Browsers (Strg-Umschalt-I oder Rechtsklick -> Element untersuchen)
https://www.nextscripts.com/images/sc/alt-LI-002-ch.png
Wählen Sie den Tab „Application“ aus
Klicken Sie unter dem Abschnitt „Storage“ im linken Menü auf das Dropdown-Menü „Cookies“ und wählen Sie www.linkedin.com
Suchen Sie den li_at-Cookie und doppelklicken Sie auf den Wert, um ihn vor dem Kopieren auszuwählen
Wählen Sie den Tab „Storage“ aus
Klicken Sie auf das Dropdown-Menü „Cookies“ und wählen Sie www.linkedin.com
Suchen und kopieren Sie den Wert von li_at
Sie können Ihren LinkedIn-li_at-Cookie in der Konfigurationsdatei hinzufügen, die sich in Ihrem Home-Verzeichnis befindet (~/.lk_scraper/config.yml). Siehe
from lk_scraper import Scraper
li_at = "My_super_linkedin_cookie"
scraper = Scraper(li_at=li_at)
(Noch nicht implementiert)
$ export LI_AT="My_super_linkedin_cookie"
Führen Sie das Jupyter-Notebook linkedin-example.ipynb aus
from lk_scraper import Scraper
scraper = Scraper()
from lk_scraper import Scraper
scraper = Scraper()
company = scraper.get_object(object_name='company', object_id='apple')
from lk_scraper import Scraper
scraper = Scraper()
profil = scraper.get_object(object_name='profil', object_id='jlqueguiner')