이란 전쟁 미디어 모니터

전체 심층 분석 읽기

소개

이 프로젝트는 이란, 이스라엘, 미국 간의 전쟁에 대한 뉴스 보도를 모니터링합니다.

이 저장소를 사용하여 다음을 수행할 수 있습니다:

1. 영어로 된 미디어 기사 말뭉치(코퍼스) 생성
2. 누가 언제 무엇을 말하는지 추적하기 위해 저자와 뉴스 미디어 매체 식별
3. 기사의 감정 분석을 통해 해당 기사가 전쟁을 지지하는지, 사실적이고 중립적인지, 아니면 전쟁에 반대하는지 식별

방법론

여기에서 전체 기술 심층 분석을 읽을 수 있습니다. 요약하자면, Iran Media Monitor는 두 가지 워크플로우를 실행합니다.

첫 번째 워크플로우는 RSS 피드에서 메타데이터와 뉴스 기사를 수집하는 스크래퍼를 실행합니다. 피드는 Google RSS로 설정되어 있지만 rss.py에서 피드를 변경할 수 있습니다.

두 번째 워크플로우는 수집된 기사에 대해 감정 분석을 수행하고 기사를 업서트(upsert)합니다.

이 프로젝트는 MongoDB를 사용하여 기사를 저장합니다. Docker를 사용하여 MongoDB 인스턴스를 생성하세요.

데이터

다음 데이터 포인트가 수집됩니다:

        {
                "collectionDate": str(datetime.now(timezone.utc).strftime("%Y-%m-%d %H:%M:%S")),
                "processed": False,
                "title": article.title,
                "author": article.authors,
                "publishedAt": str(article.publish_date),
                "publisher": publisher, 
                "language": article.meta_lang,
                "sourceUrl":article.source_url,
                "summary":article.summary,
                "keywords": article.keywords,
                "description": article.meta_description,
                "bodyText":article.text,
                }

스크립트:

RSS 피드에서 최신 기사 목록을 가져오려면 rss.py를 실행하세요.

Google RSS에서 URL을 가져와 기사를 스크랩하려면 scraper.py를 실행하세요.

처리되지 않은 기사에 대해 감정 분석을 수행하려면 sentiment.py를 사용하세요. 문서에 감정 점수가 부여되면 processed 필드가 True로 설정됩니다.

향후 개선 사항

1. 더 많은 RSS 피드를 스크랩할 수 있는 기능 추가
2. 필터링 목적으로 뉴스 기사의 관련성을 식별하는 맞춤형 모델
3. 기사의 어조(찬성, 반대, 사실적)를 더 잘 예측하는 맞춤형 모델
4. 엔터티와 관계 추출, 누가 언제 어디서 누구에게 무엇을 했는지 파악
5. 기사에 대한 생성형 AI 분석 (개별 기사 및 전체 말뭉치 모두)