Iran War Media Monitor

Lies den vollständigen Deep Dive

Einführung

Dieses Projekt überwacht die Nachrichtenberichterstattung über den Krieg zwischen Iran, Israel und den USA.

Sie können dieses Repository verwenden, um:

1. Ein Korpus von Medienartikeln auf Englisch zu erstellen
2. Autoren und Nachrichtenmedien zu identifizieren, um den Überblick zu behalten, wer was und wann sagt
3. Sentimentanalyse von Artikeln, um zu identifizieren, ob ein Artikel den Krieg unterstützt, sachlich und neutral ist oder sich dagegen ausspricht.

Methodik

Hier können Sie den vollständigen technischen Deep Dive lesen. Zusammenfassend führt Iran Media Monitor zwei Workflows aus.

Der erste Workflow führt den Scraper aus, der Metadaten und Nachrichtenartikel aus RSS-Feeds sammelt. Der Feed ist auf Google RSS eingestellt, aber Sie können den Feed in rss.py ändern.

Der zweite Workflow führt eine Sentimentanalyse an gesammelten Artikeln durch und fügt Artikel ein oder aktualisiert sie (upsert).

Das Projekt verwendet MongoDB zum Speichern von Artikeln. Verwenden Sie Docker, um eine MongoDB-Instanz zu erstellen.

Daten

Die folgenden Datenpunkte werden gesammelt:

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

Die Skripte:

Führen Sie rss.py aus, um eine Liste der neuesten Artikel aus dem RSS-Feed zu erhalten.

Führen Sie scraper.py aus, um URLs vom Google RSS zu erhalten und die Artikel zu scrapen.

Verwenden Sie sentiment.py, um eine Sentimentanalyse an unbearbeiteten Artikeln durchzuführen. Das Feld process wird auf True gesetzt, wenn ein Dokument einen Sentiment-Score erhalten hat.

Zukünftige Verbesserungen

1. Die Möglichkeit hinzufügen, mehr RSS-Feeds zu scrapen
2. Ein benutzerdefiniertes Modell, um die Relevanz von Nachrichtenartikeln zu Filtrationszwecken zu identifizieren
3. Ein benutzerdefiniertes Modell, um die Tonalität von Artikeln besser vorherzusagen (befürwortend, ablehnend, sachlich)
4. Entitäten und Beziehungen extrahieren und wer was, wann, wo und mit wem getan hat.
5. Generative KI-Analysen der Artikel (sowohl einzeln als auch des gesamten Korpus).