TWINT - ट्विटर इंटेलिजेंस टूल

कोई प्रमाणीकरण नहीं। कोई API नहीं। कोई सीमा नहीं।

Twint एक उन्नत ट्विटर स्क्रैपिंग टूल है जो Python में लिखा गया है और जो ट्विटर प्रोफाइल से ट्वीट्स को बिना ट्विटर के API का उपयोग किए स्क्रैप करने की अनुमति देता है।

Twint ट्विटर के खोज ऑपरेटरों का उपयोग करता है ताकि आप विशिष्ट उपयोगकर्ताओं से ट्वीट्स स्क्रैप कर सकें, कुछ विषयों, हैशटैग और ट्रेंड्स से संबंधित ट्वीट्स स्क्रैप कर सकें, या ट्वीट्स से संवेदनशील जानकारी जैसे ईमेल और फोन नंबर छाँट सकें। मुझे यह बहुत उपयोगी लगता है, और आप इसके साथ वास्तव में रचनात्मक हो सकते हैं।

Twint ट्विटर पर विशेष क्वेरी भी करता है जो आपको एक ट्विटर उपयोगकर्ता के अनुयायियों, उपयोगकर्ता द्वारा पसंद किए गए ट्वीट्स, और वे किसे फॉलो करते हैं, बिना किसी प्रमाणीकरण, API, Selenium, या ब्राउज़र अनुकरण के स्क्रैप करने की अनुमति देता है।

tl;dr लाभ

Twint बनाम Twitter API उपयोग करने के कुछ लाभ:

• लगभग सभी ट्वीट्स प्राप्त कर सकता है (Twitter API केवल अंतिम 3200 ट्वीट्स तक सीमित है);
• तेज प्रारंभिक सेटअप;
• अनाम रूप से और बिना Twitter साइन अप के उपयोग किया जा सकता है;
• कोई दर सीमाएँ नहीं।

ट्विटर द्वारा लगाई गई सीमाएँ

ट्विटर उपयोगकर्ता टाइमलाइन ब्राउज़ करते समय स्क्रॉल को सीमित करता है। इसका मतलब है कि .Profile या .Favorites के साथ आप लगभग 3200 ट्वीट्स प्राप्त कर सकेंगे।

आवश्यकताएँ

• Python 3.6;
• aiohttp;
• aiodns;
• beautifulsoup4;
• cchardet;
• dataclasses
• elasticsearch;
• pysocks;
• pandas (>=0.23.0);
• aiohttp_socks;
• schedule;
• geopy;
• fake-useragent;
• py-googletransx.

स्थापना

Git:

git clone --depth=1 https://github.com/twintproject/twint.git
cd twint
pip3 install . -r requirements.txt

Pip:

pip3 install twint

या

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

Pipenv:

pipenv install git+https://github.com/twintproject/twint.git#egg=twint

2 मार्च, 2021 अपडेट

जोड़ा गया: Dockerfile

देखा गया कि बहुत से लोगों को स्थापित करने में समस्या हो रही है (मुझे भी)। कृपया अस्थायी रूप से Dockerfile का उपयोग करें जब तक मैं उनकी जाँच करूँ।

CLI मूल उदाहरण और संयोजन

कुछ सरल उदाहरण जो आपको मूल बातें समझने में मदद करेंगे:

• twint -u username - एक उपयोगकर्ता के सभी ट्वीट्स स्क्रैप करें (इसमें रीट्वीट शामिल नहीं हैं लेकिन जवाब शामिल हैं)।
• twint -u username -s pineapple - उपयोगकर्ता की टाइमलाइन से अनानास वाले सभी ट्वीट्स स्क्रैप करें।
• twint -s pineapple - सभी के ट्वीट्स से अनानास वाला हर ट्वीट एकत्र करें।
• twint -u username --year 2014 - 2014 से पहले ट्वीट किए गए ट्वीट्स एकत्र करें।
• twint -u username --since "2015-12-20 20:30:15" - 2015-12-20 20:30:15 के बाद से ट्वीट किए गए ट्वीट्स एकत्र करें।
• twint -u username --since 2015-12-20 - 2015-12-20 00:00:00 के बाद से ट्वीट किए गए ट्वीट्स एकत्र करें।
• twint -u username -o file.txt - ट्वीट्स स्क्रैप करें और file.txt में सहेजें।
• twint -u username -o file.csv --csv - ट्वीट्स स्क्रैप करें और csv फ़ाइल के रूप में सहेजें।
• twint -u username --email --phone - ऐसे ट्वीट्स दिखाएँ जिनमें फ़ोन नंबर या ईमेल पते हो सकते हैं।
• twint -s "Donald Trump" --verified - सत्यापित उपयोगकर्ताओं द्वारा डोनाल्ड ट्रम्प के बारे में ट्वीट किए गए ट्वीट्स प्रदर्शित करें।

कमांड और विकल्पों के बारे में अधिक विवरण wiki में स्थित हैं।

मॉड्यूल उदाहरण

Twint को अब एक मॉड्यूल के रूप में उपयोग किया जा सकता है और यह कस्टम फ़ॉर्मेटिंग का समर्थन करता है। अधिक विवरण wiki में स्थित हैं।

import twint

# Configure
c = twint.Config()
c.Username = "realDonaldTrump"
c.Search = "great"

# Run
twint.run.Search(c)

Output

955511208597184512 2018-01-22 18:43:19 GMT <now> pineapples are the best fruit

import twint

c = twint.Config()

c.Username = "noneprivacy"
c.Custom["tweet"] = ["id"]
c.Custom["user"] = ["bio"]
c.Limit = 10
c.Store_csv = True
c.Output = "none"

twint.run.Search(c)

संग्रहण विकल्प

• फ़ाइल में लिखें;
• CSV;
• JSON;
• SQLite;
• Elasticsearch.

Elasticsearch सेटअप

Twint के साथ Elasticsearch सेट करने के विवरण wiki में स्थित हैं।

ग्राफ़ विज़ुअलाइज़ेशन

Graph विवरण भी wiki में स्थित हैं।

हम एक Twint डेस्कटॉप ऐप विकसित कर रहे हैं।

सामान्य प्रश्न

मैंने एक उपयोगकर्ता से ट्वीट्स स्क्रैप करने का प्रयास किया, मुझे पता है कि वे मौजूद हैं लेकिन मैं उन्हें प्राप्त नहीं कर पा रहा हूँ

ट्विटर खातों को शैडो-बैन कर सकता है, जिसका अर्थ है कि उनके ट्वीट्स खोज के माध्यम से उपलब्ध नहीं होंगे। इसे हल करने के लिए, यदि आप CLI के माध्यम से Twint का उपयोग कर रहे हैं तो --profile-full पास करें, या यदि आप Twint को मॉड्यूल के रूप में उपयोग कर रहे हैं, तो config.Profile_full = True जोड़ें। कृपया ध्यान दें कि यह प्रक्रिया काफी धीमी होगी।

और उदाहरण

अनुयायी/फॉलोइंग

केवल अनुयायी उपयोगकर्ता नाम/फॉलोइंग उपयोगकर्ता नाम प्राप्त करने के लिए

twint -u username --followers

twint -u username --following

अनुयायियों/फॉलोइंग उपयोगकर्ताओं की उपयोगकर्ता जानकारी प्राप्त करने के लिए

twint -u username --followers --user-full

twint -u username --following --user-full

उपयोगकर्ता सूची

केवल उपयोगकर्ता की जानकारी प्राप्त करने के लिए

twint -u username --user-full

उपयोगकर्ता सूची से उपयोगकर्ताओं की उपयोगकर्ता जानकारी प्राप्त करने के लिए

twint --userlist inputlist --user-full

ट्वीट अनुवाद (प्रायोगिक)

100 अंग्रेज़ी ट्वीट्स प्राप्त करें और उनका इतालवी में अनुवाद करें

twint -u noneprivacy --csv --output none.csv --lang en --translate --translate-dest it --limit 100

या

import twint

c = twint.Config()
c.Username = "noneprivacy"
c.Limit = 100
c.Store_csv = True
c.Output = "none.csv"
c.Lang = "en"
c.Translate = True
c.TranslateDest = "it"
twint.run.Search(c)

नोट्स:

• Google अनुवाद की कुछ कोटा हैं

विशेष ब्लॉग पोस्ट:

• Twint को OSINT टूल के रूप में कैसे उपयोग करें
• Null Byte द्वारा बनाया गया मूल ट्यूटोरियल
• Spark, Optimus और Twint के साथ मिनटों में NLP के साथ ट्वीट्स का विश्लेषण
• Kafka और Neo4j में ट्वीट्स लोड करना

संपर्क

यदि आपका कोई प्रश्न है, चर्चाओं में शामिल होना चाहते हैं, या अतिरिक्त सहायता की आवश्यकता है, तो आप OSINT team पर हमारे Twint-केंद्रित चैनल में शामिल होने के लिए स्वागत है।