TWINT - Twitter Intelligence Tool

Pas d'authentification. Pas d'API. Pas de limites.

Twint est un outil avancé de scraping Twitter écrit en Python qui permet de scraper les Tweets des profils Twitter sans utiliser l'API de Twitter.

Twint utilise les opérateurs de recherche de Twitter pour vous permettre de scraper les Tweets d'utilisateurs spécifiques, de scraper les Tweets liés à certains sujets, hashtags et tendances, ou d'extraire des informations sensibles des Tweets comme les e-mails et les numéros de téléphone. Je trouve cela très utile, et vous pouvez aussi faire preuve de créativité.

Twint effectue également des requêtes spéciales vers Twitter, vous permettant de scraper les abonnés d'un utilisateur Twitter, les Tweets qu'il a aimés, et ceux qu'il suit, sans aucune authentification, API, Selenium, ou émulation de navigateur.

tl;dr Avantages

Quelques avantages de l'utilisation de Twint par rapport à l'API Twitter :

• Permet de récupérer presque tous les Tweets (l'API Twitter limite aux 3200 derniers Tweets uniquement) ;
• Configuration initiale rapide ;
• Peut être utilisé anonymement et sans inscription à Twitter ;
• Aucune limitation de débit.

Limites imposées par Twitter

Twitter limite le défilement lors de la navigation dans la timeline d'un utilisateur. Cela signifie qu'avec .Profile ou .Favorites, vous pourrez obtenir environ 3200 tweets.

Prérequis

• Python 3.6 ;
• aiohttp ;
• aiodns ;
• beautifulsoup4 ;
• cchardet ;
• dataclasses
• elasticsearch ;
• pysocks ;
• pandas (>=0.23.0) ;
• aiohttp_socks ;
• schedule ;
• geopy ;
• fake-useragent ;
• py-googletransx.

Installation

Git :

git clone --depth=1 https://github.com/twintproject/twint.git
cd twint
pip3 install . -r requirements.txt

Pip :

pip3 install twint

ou

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

Pipenv :

pipenv install git+https://github.com/twintproject/twint.git#egg=twint

Mise à jour du 2 mars 2021

Ajouté : Dockerfile

J'ai remarqué que beaucoup de gens ont des problèmes d'installation (moi y compris). Veuillez utiliser temporairement le Dockerfile pendant que j'examine ces problèmes.

Exemples de base et combinaisons en CLI

Quelques exemples simples pour vous aider à comprendre les bases :

• twint -u username - Scraper tous les Tweets d'un utilisateur (n'inclut pas les retweets mais inclut les réponses).
• twint -u username -s pineapple - Scraper tous les Tweets de la timeline de l'utilisateur contenant pineapple.
• twint -s pineapple - Collecter chaque Tweet contenant pineapple parmi tous les Tweets.
• twint -u username --year 2014 - Collecter les Tweets tweetés avant 2014.
• twint -u username --since "2015-12-20 20:30:15" - Collecter les Tweets tweetés depuis le 2015-12-20 20:30:15.
• twint -u username --since 2015-12-20 - Collecter les Tweets tweetés depuis le 2015-12-20 00:00:00.
• twint -u username -o file.txt - Scraper les Tweets et les sauvegarder dans file.txt.
• twint -u username -o file.csv --csv - Scraper les Tweets et les sauvegarder en fichier csv.
• twint -u username --email --phone - Afficher les Tweets pouvant contenir des numéros de téléphone ou des adresses e-mail.

Plus de détails sur les commandes et options se trouvent dans le wiki

Exemple en module

Twint peut désormais être utilisé en tant que module et prend en charge le formatage personnalisé. Plus de détails sont disponibles dans le wiki

import twint

# Configuration
c = twint.Config()
c.Username = "realDonaldTrump"
c.Search = "great"

# Exécution
twint.run.Search(c)

Sortie

955511208597184512 2018-01-22 18:43:19 GMT <now> pineapples are the best fruit

import twint

c = twint.Config()

c.Username = "noneprivacy"
c.Custom["tweet"] = ["id"]
c.Custom["user"] = ["bio"]
c.Limit = 10
c.Store_csv = True
c.Output = "none"

twint.run.Search(c)

Options de stockage

• Écrire dans un fichier ;
• CSV ;
• JSON ;
• SQLite ;
• Elasticsearch.

Configuration Elasticsearch

Les détails sur la configuration d'Elasticsearch avec Twint se trouvent dans le wiki.

Visualisation graphique

Les détails sur le Graphique se trouvent également dans le wiki.

Nous développons une application de bureau pour Twint.

FAQ

J'ai essayé de scraper les tweets d'un utilisateur, je sais qu'ils existent mais je ne les obtiens pas

Twitter peut shadow-banner des comptes, ce qui signifie que leurs tweets ne seront pas disponibles via la recherche. Pour résoudre ce problème, passez l'option --profile-full si vous utilisez Twint en CLI, ou si vous utilisez Twint en module, ajoutez config.Profile_full = True. Veuillez noter que ce processus sera assez lent.

Plus d'exemples

Abonnés/Abonnements

Pour obtenir uniquement les noms d'utilisateur des abonnés/abonnements

twint -u username --followers

twint -u username --following

Pour obtenir les informations utilisateur des abonnés/abonnements

twint -u username --followers --user-full

twint -u username --following --user-full

Liste d'utilisateurs

Pour obtenir uniquement les informations d'un utilisateur

twint -u username --user-full

Pour obtenir les informations des utilisateurs d'une liste

twint --userlist inputlist --user-full

Traduction de tweets (expérimental)

Pour obtenir 100 tweets en anglais et les traduire en italien

twint -u noneprivacy --csv --output none.csv --lang en --translate --translate-dest it --limit 100

ou

import twint

c = twint.Config()
c.Username = "noneprivacy"
c.Limit = 100
c.Store_csv = True
c.Output = "none.csv"
c.Lang = "en"
c.Translate = True
c.TranslateDest = "it"
twint.run.Search(c)

Notes :

• Google Translate a des quotas

Articles de blog en vedette :

• Comment utiliser Twint comme outil OSINT
• Tutoriel de base réalisé par Null Byte
• Analyser les Tweets avec le NLP en quelques minutes avec Spark, Optimus et Twint
• Charger les tweets dans Kafka et Neo4j

Contact

Si vous avez des questions, souhaitez participer aux discussions ou avez besoin d'aide supplémentaire, vous êtes les bienvenus pour rejoindre notre chaîne dédiée à Twint sur OSINT team