イラン戦争メディアモニター

詳細な深掘り記事を読む

はじめに

このプロジェクトは、イラン、イスラエル、アメリカ合衆国の間の戦争に関するニュース報道を監視します。

このリポジトリを使用して、次のことができます：

1. 英語のメディア記事のコーパスを作成する
2. 著者やニュースメディアを特定し、誰がいつ何を言ったかを追跡する
3. 記事の感情分析を行い、記事が戦争を支持しているか、事実に基づき中立的か、反対しているかを識別する

方法論

詳細な技術的深掘りはこちらで読めます。要約すると、イランメディアモニターは2つのワークフローを実行します。

最初のワークフローは、RSSフィードからメタデータとニュース記事を収集するスクレイパーを実行します。フィードはGoogle RSSに設定されていますが、rss.pyでフィードを変更できます。

2番目のワークフローは、収集された記事に対して感情分析を実行し、記事をアップサート（更新/挿入）します。

このプロジェクトはMongoDBを使用して記事を保存します。Dockerを使用してMongoDBのインスタンスを作成してください。

データ

以下のデータポイントが収集されます：

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

スクリプト

rss.pyを実行して、RSSフィードから最新の記事リストを取得します。

scraper.pyを実行して、Google RSSからURLを取得し、記事をスクレイピングします。

sentiment.pyを使用して、未処理の記事に対して感情分析を実行します。ドキュメントが感情スコアを受け取ると、processedフィールドがTrueに設定されます。

今後の改善点

1. より多くのRSSフィードをスクレイピングする機能を追加
2. フィルタリング目的でニュース記事の関連性を識別するカスタムモデル
3. 記事のトーン（賛成、反対、事実ベース）をより正確に予測するカスタムモデル
4. エンティティと関係を抽出し、誰がいつどこで誰に何をしたかを特定
5. 記事の生成AI分析（個別およびコーパス全体の両方）