Iran War Media Monitor

Lire l'analyse complète

Introduction

Ce projet surveille la couverture médiatique de la guerre entre l'Iran, Israël et les États-Unis.

Vous pouvez utiliser ce dépôt pour :

1. Créer un corpus d'articles de presse en anglais
2. Identifier les auteurs et les médias pour suivre qui dit quoi et quand
3. Effectuer une analyse de sentiment des articles afin de déterminer si un article soutient la guerre, est factuel et neutre, ou s'y oppose.

Méthodologie

Vous pouvez lire l'analyse technique complète ici. En résumé, Iran Media Monitor exécute deux workflows.

Le premier workflow lance le scraper qui collecte les métadonnées et les articles de presse à partir des flux RSS. Le flux est réglé sur Google RSS, mais vous pouvez changer le flux dans rss.py.

Le second workflow effectue une analyse de sentiment sur les articles collectés et met à jour ou insère les articles.

Le projet utilise MongoDB pour stocker les articles. Utilisez Docker pour créer une instance de MongoDB.

Données

Les points de données suivants sont collectés :

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

Les scripts :

Exécutez rss.py pour obtenir une liste des derniers articles du flux RSS.

Exécutez scraper.py pour obtenir les URL depuis Google RSS et scraper les articles.

Utilisez sentiment.py pour effectuer une analyse de sentiment sur les articles non traités. Le champ processed passe à True lorsqu'un document a reçu un score de sentiment.

Améliorations futures

1. Ajouter la possibilité de scraper davantage de flux RSS
2. Modèle personnalisé pour identifier la pertinence des articles à des fins de filtrage
3. Modèle personnalisé pour mieux prédire la tonalité des articles (favorable, opposé, factuel)
4. Extraire les entités et les relations : qui a fait quoi, quand, où et à qui.
5. Analyses par intelligence artificielle générative des articles (à la fois individuellement et sur l'ensemble du corpus).