jqueguiner/lk_scraper완전히 구성 가능한 LinkedIn 스크래퍼 : LinkedIn 내의 모든 것을 스크래핑하세요
모든 LinkedIn 데이터 스크래핑
$ pip install git+git://github.com/jqueguiner/lk_scraper
$ docker-compose up -d
$ docker-compose run lk_scraper python3
먼저 Selenium 서버를 실행해야 합니다.
$ docker run -d -p 4444:4444 --shm-size 2g selenium/standalone-firefox:3.141.59-20200326
이 명령을 실행한 후, 브라우저에서 IP 주소와 포트 번호 뒤에 /grid/console을 입력하여 이동합니다. 따라서 명령은 다음과 같습니다. http://localhost:4444/grid/console.
LinkedIn.com으로 이동하여 로그인
브라우저 개발자 도구 열기 (Ctrl-Shift-I 또는 마우스 오른쪽 버튼 클릭 -> 검사)
https://www.nextscripts.com/images/sc/alt-LI-002-ch.png
Application 탭 선택
왼쪽 메뉴의 Storage 헤더 아래에서 Cookies 드롭다운을 클릭하고 www.linkedin.com 선택
li_at 쿠키를 찾고, 값을 더블 클릭하여 선택한 후 복사
Storage 탭 선택
Cookies 드롭다운을 클릭하고 www.linkedin.com 선택
li_at 값을 찾아 복사
홈 디렉토리 (~/.lk_scraper/config.yml)에 있는 구성 파일에 LinkedIn li_at 쿠키를 추가할 수 있습니다.
참조
from lk_scraper import Scraper
li_at = "My_super_linkedin_cookie"
scraper = Scraper(li_at=li_at)
(아직 구현되지 않음)
$ export LI_AT="My_super_linkedin_cookie"
Jupyter 노트북 linkedin-example.ipynb 실행
from lk_scraper import Scraper
scraper = Scraper()
from lk_scraper import Scraper
scraper = Scraper()
company = scraper.get_object(object_name='company', object_id='apple')
from lk_scraper import Scraper
scraper = Scraper()
profil = scraper.get_object(object_name='profil', object_id='jlqueguiner')