توينت - أداة استخبارات تويتر

لا توثيق. لا واجهة برمجة تطبيقات. لا حدود.

توينت هي أداة متقدمة لاستخراج التغريدات من تويتر مكتوبة بلغة Python، تسمح باستخراج التغريدات من ملفات تعريف تويتر بدون استخدام واجهة برمجة تطبيقات تويتر.

توينت تستخدم عوامل بحث تويتر لتتيح لك استخراج التغريدات من مستخدمين محددين، واستخراج التغريدات المتعلقة بمواضيع معينة، ووسوم، واتجاهات، أو فرز المعلومات الحساسة من التغريدات مثل البريد الإلكتروني وأرقام الهواتف. أجد هذا مفيدًا جدًا، ويمكنك أن تكون مبدعًا حقًا به أيضًا.

توينت تقوم أيضًا باستعلامات خاصة لتويتر تسمح لك باستخراج متابعي مستخدم تويتر، والتغريدات التي أعجب بها المستخدم، ومن يتابعهم بدون أي توثيق، أو واجهة برمجة تطبيقات، أو سيلينيوم، أو محاكاة متصفح.

فوائد الملخص

بعض فوائد استخدام توينت مقابل واجهة برمجة تطبيقات تويتر:

• يمكنه جلب تقريبًا جميع التغريدات (تحد واجهة برمجة تطبيقات تويتر إلى آخر 3200 تغريدة فقط)؛
• إعداد أولي سريع؛
• يمكن استخدامه بشكل مجهول وبدون تسجيل دخول إلى تويتر؛
• لا توجد حدود للمعدل.

الحدود التي يفرضها تويتر

يحد تويتر من التمرير أثناء تصفح الجدول الزمني للمستخدم. هذا يعني أنه باستخدام .Profile أو .Favorites ستتمكن من الحصول على ~3200 تغريدة.

المتطلبات

• Python 3.6;
• aiohttp;
• aiodns;
• beautifulsoup4;
• cchardet;
• dataclasses
• elasticsearch;
• pysocks;
• pandas (>=0.23.0);
• aiohttp_socks;
• schedule;
• geopy;
• fake-useragent;
• py-googletransx.

التثبيت

Git:

git clone --depth=1 https://github.com/twintproject/twint.git
cd twint
pip3 install . -r requirements.txt

Pip:

pip3 install twint

أو

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

Pipenv:

pipenv install git+https://github.com/twintproject/twint.git#egg=twint

تحديث 2 مارس 2021

تمت الإضافة: Dockerfile

لاحظت أن الكثير من الأشخاص يواجهون مشاكل في التثبيت (بما في ذلك أنا). يرجى استخدام Dockerfile بشكل مؤقت بينما أنظر في هذه المشاكل.

أمثلة CLI الأساسية ومجموعات

بعض الأمثلة البسيطة لمساعدتك على فهم الأساسيات:

• twint -u username - استخرج جميع تغريدات مستخدم (لا يتضمن إعادة التغريد ولكنه يتضمن الردود).
• twint -u username -s pineapple - استخرج جميع التغريدات من الجدول الزمني لـ المستخدم التي تحتوي على أناناس.
• twint -s pineapple - اجمع كل تغريدة تحتوي على أناناس من تغريدات الجميع.
• twint -u username --year 2014 - اجمع التغريدات التي تم تغريدها قبل 2014.
• twint -u username --since "2015-12-20 20:30:15" - اجمع التغريدات التي تم تغريدها منذ 2015-12-20 20:30:15.
• twint -u username --since 2015-12-20 - اجمع التغريدات التي تم تغريدها منذ 2015-12-20 00:00:00.
• twint -u username -o file.txt - استخرج التغريدات واحفظها في file.txt.
• twint -u username -o file.csv --csv - استخرج التغريدات واحفظها كملف csv.
• twint -u username --email --phone - أظهر التغريدات التي قد تحتوي على أرقام هواتف أو عناوين بريد إلكتروني.
• twint -s "Donald Trump" --verified - اعرض التغريدات من المستخدمين الموثقين الذين تغردوا عن دونالد ترامب.

مزيد من التفاصيل حول الأوامر والخيارات موجودة في الويكي

مثال على الوحدة

يمكن الآن استخدام توينت كوحدة برمجية وتدعم التنسيق المخصص. مزيد من التفاصيل موجودة في الويكي

import twint

# Configure
c = twint.Config()
c.Username = "realDonaldTrump"
c.Search = "great"

# Run
twint.run.Search(c)

المخرجات

955511208597184512 2018-01-22 18:43:19 GMT <now> pineapples are the best fruit

import twint

c = twint.Config()

c.Username = "noneprivacy"
c.Custom["tweet"] = ["id"]
c.Custom["user"] = ["bio"]
c.Limit = 10
c.Store_csv = True
c.Output = "none"

twint.run.Search(c)

خيارات التخزين

• الكتابة إلى ملف؛
• CSV؛
• JSON؛
• SQLite؛
• Elasticsearch.

إعداد Elasticsearch

تفاصيل إعداد Elasticsearch مع توينت موجودة في الويكي.

تصور الرسم البياني

تفاصيل الرسم البياني موجودة أيضًا في الويكي.

نحن نطور تطبيق سطح مكتب لتوينت.

الأسئلة الشائعة

حاولت استخراج التغريدات من مستخدم، وأنا أعلم أنها موجودة ولكني لا أحصل عليها

يمكن لتويتر أن يفرض حظرًا خفيًا على الحسابات، مما يعني أن تغريداتهم لن تكون متاحة عبر البحث. لحل هذه المشكلة، استخدم --profile-full إذا كنت تستخدم توينت عبر واجهة CLI، أو إذا كنت تستخدم توينت كوحدة برمجية، أضف config.Profile_full = True. يرجى ملاحظة أن هذه العملية ستكون بطيئة جدًا.

المزيد من الأمثلة

المتابعون/الذين يتابعهم

للحصول فقط على أسماء مستخدمي المتابعين/الذين يتابعهم

twint -u username --followers

twint -u username --following

للحصول على معلومات المستخدمين للمتابعين/الذين يتابعهم

twint -u username --followers --user-full

twint -u username --following --user-full

قائمة المستخدمين

للحصول فقط على معلومات المستخدم عن المستخدم

twint -u username --user-full

للحصول على معلومات المستخدمين من قائمة مستخدمين

twint --userlist inputlist --user-full

ترجمة التغريدات (تجريبي)

للحصول على 100 تغريدة إنجليزية وترجمتها إلى الإيطالية

twint -u noneprivacy --csv --output none.csv --lang en --translate --translate-dest it --limit 100

أو

import twint

c = twint.Config()
c.Username = "noneprivacy"
c.Limit = 100
c.Store_csv = True
c.Output = "none.csv"
c.Lang = "en"
c.Translate = True
c.TranslateDest = "it"
twint.run.Search(c)

ملاحظات:

• ترجمة جوجل لها بعض الحصص

مقالات مميزة في المدونات:

• كيفية استخدام توينت كأداة OSINT
• دروس أساسية من Null Byte
• تحليل التغريدات باستخدام البرمجة اللغوية العصبية في دقائق مع Spark وOptimus وTwint
• تحميل التغريدات إلى Kafka وNeo4j

الاتصال

إذا كان لديك أي سؤال، أو ترغب في الانضمام إلى المناقشات، أو تحتاج إلى مساعدة إضافية، فنحن نرحب بك للانضمام إلى قناتنا المخصصة لتوينت على فريق OSINT