TikTok Scraper & Downloader

TikTok から有用な情報をスクレイピングおよびダウンロードします。

ログインやパスワードは不要です

これは公式 API サポートなどではありません。TikTok Web API を使用してメディアや関連メタ情報をスクレイピングするだけのスクレイパーです。

---

---

目次

• 機能
• To Do
• 貢献
• インストール
• 使用方法
  • ターミナル
    • ターミナルの例
    • ダウンロード履歴の管理
    • バッチでスクレイピングおよびダウンロード
    • 出力ファイルの例
  • Docker
    • ビルド
    • 実行
  • モジュール
    • メソッド
    • オプション
    • Promise を使用
    • イベントを使用
    • セッション値の取得/設定方法
    • 動画へのアクセス/ダウンロード方法
    • 出力例
      • 動画フィードメソッド
      • getUserProfileInfo
      • getHashtagInfo
      • getVideoMeta
      • getMusicInfo

重要な注意事項

• 現時点では、ウォーターマークなしでの動画ダウンロードは不可能です

機能

• ユーザー、ハッシュタグ、トレンド、または Music-ID ページから無制限の投稿メタデータをダウンロード
• 投稿メタデータを JSON/CSV ファイルに保存
• ウォーターマークあり/なしでメディアをダウンロードし、ZIP ファイルに保存
• CLI からウォーターマークなしで単一の動画をダウンロード
• カスタムリクエストを TikTok API に送信するための URL 署名
• ユーザー、ハッシュタグ、単一動画ページからメタデータを抽出
• 以前の進捗を保存し、以前にダウンロードされていない新しい動画のみをダウンロード。この機能は CLI から、かつ download フラグがオンになっている場合のみ動作します。
• CLI で以前にダウンロードした投稿履歴の表示と管理
• バッチモードで、ファイルに指定されたユーザー、ハッシュタグ、音楽フィード、および単一動画をスクレイピングおよびダウンロード

To Do

• CLI: 同じ動画の再ダウンロードを避けるために進捗を保存
• すべてを TypeScript で書き直し
• プロキシサポートの改善
• テストの追加
• ウォーターマークなしの動画ダウンロード
• 出力ファイル (csv/json) で動画がダウンロードされたかどうかを表示
• Docker からビルドおよび実行
• CLI: バッチでスクレイピングおよびダウンロード
• CLI: プロキシをファイルから読み込み
• CLI: オプションの ZIP
• API の更新
• WebHook URL の設定 (CLI)
• 音楽メタデータを収集する新しいメソッドを追加
• 手動ページネーションの追加
• ドキュメントの改善
• オーディオファイルのダウンロード
• Web インターフェース

貢献

• テストを忘れずに```sh yarn test

sqlmap --dork sqlmap --dork="inurl:page.php?id=1"

Program will automatically run Google dork exactly like this:

www.google.com/search?q=inurl:page.php?id=1

Then it will scan for vulnerabilities

sqlmap --dork="inurl:page.php?id=1" --random-agent

/!\ WARNING /!\ : DON'T TRY THIS AT HOME GUYS! THIS WILL SEARCH FOR

VULNERABILITIES IN MULTIPLE WEBSITES AT ONCE. THIS IS ILLEGAL.

For any issues, please contact me via email: [email protected]

sqlmap --dork="inurl:page.php?id=1" --batch --random-agent --tamper=between

We can use the following tamper scripts:

apostrophemask.py, apostrophenullencode.py, appendnullbyte.py, base64encode.py,

between.py, bluecoat.py, chardoubleencode.py, charencode.py, charunicodeencode.py,

charunicodeescape.py, commalesslimit.py, commalessmid.py, commentbeforeparentheses.py,

concat2concatws.py, equaltolike.py, escapequotes.py, greatest.py, halfversionedmorekeywords.py,

hex2char.py, htmlencode.py, ifnull2casewhenisnull.py, informationschemacomment.py,

lowercase.py, modsecurityversioned.py, modsecurityzeroversioned.py, multiplespaces.py,

overlongutf8.py, percentage.py, plus2concat.py, plus2fnconcat.py, randomcase.py,

randomcomments.py, securesphere.py, sp_password.py, space2comment.py, space2dash.py,

space2hash.py, space2morecomment.py, space2morehash.py, space2mssqlblank.py,

space2mssqlhash.py, space2mysqlblank.py, space2mysqldash.py, space2plus.py,

space2randomblank.py, symboliclogical.py, unionalltounion.py, unmagicquotes.py,

uppercase.py, varnish.py, versionedkeywords.py, versionedmorekeywords.py,

xforwardedfor.py

We will use "between.py" tamper script to bypass the URL Security and WAF:

--tamper=given...

URLセキュリティによってサイトが保護されているかどうかを確認します
開封後：
1. 上のスクリーンショットで強調表示されている「Dork」というタブに移動します。
2. URLにセキュリティがあるかどうかをテストするには、`--tamper` オプションをクリックすると、利用可能な複数の改ざんスクリプトが表示されます。
3. 表示された改ざんスクリプトをクリックするだけです。
4. これにより、Webサイト/URLにセキュリティがあることが確認され、同時にURLがSQLインジェクションに対して脆弱であることも確認されます。```sh
yarn build

インストール

tiktok-scraper の実行には Node.js v10+ が必要です。

NPM からインストール```sh npm i -g tiktok-scraper

**YARNからインストール**```sh
yarn global add tiktok-scraper

使用方法

端末での使用```sh

$ tiktok-scraper --help

Usage: tiktok-scraper [options]

Commands: tiktok-scraper user [id] Scrape videos from username. Enter only username tiktok-scraper hashtag [id] Scrape videos from hashtag. Enter hashtag without # tiktok-scraper trend Scrape posts from current trends tiktok-scraper music [id] Scrape posts from a music id number tiktok-scraper video [id] Download single video without the watermark tiktok-scraper history View previous download history tiktok-scraper from-file [file] [async] Scrape users, hashtags, music, videos mentioned in a file. 1 value per 1 line