Мониторинг СМИ иранской войны

Прочитать полный анализ

Введение

Этот проект отслеживает освещение войны между Ираном, Израилем и Соединенными Штатами в СМИ.

Вы можете использовать этот репозиторий для:

1. Создания корпуса медиа-статей на английском языке
2. Идентификации авторов и новостных изданий для отслеживания, кто, что и когда говорит
3. Анализа тональности статей для определения, поддерживает ли статья войну, является фактологической и нейтральной, или выступает против войны.

Методология

Вы можете прочитать полное техническое исследование здесь. Вкратце, Мониторинг СМИ Ирана выполняет два рабочих процесса.

Первый рабочий процесс запускает парсер, который собирает метаданные и новостные статьи из RSS-лент. Лента настроена на Google RSS, но вы можете изменить ленту в rss.py.

Второй рабочий процесс выполняет анализ тональности собранных статей и вставляет или обновляет статьи.

Проект использует MongoDB для хранения статей. Используйте Docker для создания экземпляра MongoDB.

Данные

Собираются следующие точки данных:

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

Скрипты:

Запустите rss.py, чтобы получить список последних статей из RSS-ленты.

Запустите scraper.py, чтобы получить URL-адреса из Google RSS и собрать статьи.

Используйте sentiment.py для выполнения анализа тональности необработанных статей. Поле processed устанавливается в True, когда документ получает оценку тональности.

Будущие улучшения

1. Добавить возможность парсинга большего количества RSS-лент
2. Пользовательскую модель для определения релевантности новостных статей в целях фильтрации
3. Пользовательскую модель для лучшего прогнозирования тональности статей (за, против, фактологическая)
4. Извлечение сущностей и связей, а также кто, что, когда, где и кому сделал.
5. Анализ статей с помощью генеративного ИИ (как отдельных, так и всего корпуса).