Iran War Media Monitor

Leggi l'approfondimento completo

Introduzione

Questo progetto monitora la copertura mediatica della guerra tra Iran, Israele e Stati Uniti.

Puoi usare questo repository per:

1. Creare un corpus di articoli giornalistici in inglese
2. Identificare autori e testate giornalistiche per tenere traccia di chi dice cosa e quando
3. Analisi del sentiment degli articoli per determinare se un articolo sostiene la guerra, è fattuale e neutrale, o si oppone alla guerra.

Metodologia

Puoi leggere l'approfondimento tecnico completo qui. In sintesi, Iran Media Monitor esegue due flussi di lavoro.

Il primo flusso esegue lo scraper che raccoglie metadati e articoli di notizie dai feed RSS. Il feed è impostato su Google RSS ma puoi cambiare il feed in rss.py.

Il secondo flusso esegue l'analisi del sentiment sugli articoli raccolti e aggiorna gli articoli.

Il progetto utilizza MongoDB per memorizzare gli articoli. Usa Docker per creare un'istanza di MongoDB.

Dati

I seguenti punti dati vengono raccolti:

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

Gli script:

Esegui rss.py per ottenere un elenco degli ultimi articoli dal feed RSS.

Esegui scraper.py per ottenere URL dal feed RSS di Google e fare scraping degli articoli.

Usa sentiment.py per eseguire l'analisi del sentiment sugli articoli non elaborati. Il campo process viene impostato su True quando un documento ha ricevuto un punteggio di sentiment.

Miglioramenti futuri

1. Aggiungere la possibilità di fare scraping di più feed RSS
2. Modello personalizzato per identificare la rilevanza degli articoli di notizie a fini di filtraggio
3. Modello personalizzato per prevedere meglio la tonalità degli articoli (a favore, contrario, fattuale)
4. Estrarre entità e relazioni e chi ha fatto cosa, quando, dove e a chi.
5. Analisi degli articoli tramite IA generativa (sia singolarmente che dell'intero corpus).