jqueguiner/lk_scraper完全に設定可能なLinkedInスクレイパー : LinkedIn内のあらゆるものをスクレイプ
あらゆる LinkedIn データをスクレイピング
$ pip install git+git://github.com/jqueguiner/lk_scraper
$ docker-compose up -d
$ docker-compose run lk_scraper python3
まず、Selenium サーバーを実行する必要があります
$ docker run -d -p 4444:4444 --shm-size 2g selenium/standalone-firefox:3.141.59-20200326
このコマンドを実行した後、ブラウザから IP アドレスの後にポート番号と /grid/console を入力して移動します。そのコマンドは次のようになります。 http://localhost:4444/grid/console。
LinkedIn.com に移動してログイン
ブラウザの開発者ツールを開く (Ctrl-Shift-I または右クリック -> 要素の検査)
https://www.nextscripts.com/images/sc/alt-LI-002-ch.png
Application タブを選択
左側メニューの Storage ヘッダーの下で、Cookies ドロップダウンをクリックし、www.linkedin.com を選択
li_at クッキーを見つけ、値をダブルクリックして選択してからコピー
Storage タブを選択
Cookies ドロップダウンをクリックし、www.linkedin.com を選択
li_at の値を見つけてコピー
ホームディレクトリ (~/.lk_scraper/config.yml) にある設定ファイルに LinkedIn の li_at クッキーを追加できます。
参照
from lk_scraper import Scraper
li_at = "My_super_linkedin_cookie"
scraper = Scraper(li_at=li_at)
（未実装）
$ export LI_AT="My_super_linkedin_cookie"
Jupyter ノートブック linkedin-example.ipynb を実行してください
from lk_scraper import Scraper
scraper = Scraper()
from lk_scraper import Scraper
scraper = Scraper()
company = scraper.get_object(object_name='company', object_id='apple')
from lk_scraper import Scraper
scraper = Scraper()
profil = scraper.get_object(object_name='profil', object_id='jlqueguiner')