Monitor de Mídia da Guerra do Irã

Leia a Análise Aprofundada Completa

Introdução

Este projeto monitora a cobertura jornalística da guerra entre Irã, Israel e Estados Unidos.

Você pode usar este repositório para:

1. Criar um corpus de artigos de mídia em inglês
2. Identificar autores e veículos de notícias para acompanhar quem diz o quê e quando
3. Análise de sentimento dos artigos para identificar se um artigo apoia a guerra, é factual e neutro, ou se opõe à guerra.

Metodologia

Você pode ler a análise técnica aprofundada completa aqui. Em resumo, o Monitor de Mídia do Irã executa dois fluxos de trabalho.

O primeiro fluxo executa o raspador que coleta metadados e artigos de notícias de feeds RSS. O feed está configurado para o Google RSS, mas você pode alterar o feed em rss.py.

O segundo fluxo realiza análise de sentimento nos artigos coletados e atualiza os artigos.

O projeto usa MongoDB para armazenar artigos. Use Docker para criar uma instância do MongoDB.

Dados

Os seguintes pontos de dados são coletados:

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

Os scripts:

Execute rss.py para obter uma lista dos artigos mais recentes do feed RSS.

Execute scraper.py para obter URLs do Google RSS e raspar os artigos.

Use sentiment.py para realizar análise de sentimento em artigos não processados. O campo process é definido como True quando um documento recebeu uma pontuação de sentimento.

Melhorias futuras

1. Adicionar a capacidade de raspar mais feeds RSS
2. Modelo personalizado para identificar relevância de artigos de notícias para fins de filtragem
3. Modelo personalizado para prever melhor a tonalidade dos artigos (a favor, contra, factual)
4. Extrair entidades e relacionamentos e quem fez o quê, quando, onde e para quem
5. Análises de IA generativa dos artigos (tanto separadamente quanto de todo o corpus)