
エンティティグラフ、OSINTデータマイニング、およびプラグイン。非構造化データと公開データを結びつけ、変革的なインサイトを得ましょう 🌐(Web版)
[![Contributors][contributors-shield]][contributors-url]
[![Forks][forks-shield]][forks-url]
[![Stargazers][stars-shield]][stars-url]
[![Issues][issues-shield]][issues-url]
私はまだデータを持っていません。データを得る前に理論を立てるのは大きな誤りです。人は無意識のうちに、 理論を事実に合わせるのではなく、事実を理論に合わせてねじ曲げ始めるものだからです。
🚧 ⚠️ 作業中; まだ使用できる段階ではありません、まだ ⚠️ 🚧
OSINTBuddy プロジェクトへようこそ。ここでは、非構造化データや公開データを接続・結合し、 段階的に探索できる結果として洞察を得ることができます。使いやすいプラグインシステムにより、 あらゆる開発者が新しいデータソースをすばやく統合できるため、自分にとって重要なものの発見、 操作、可視化に集中できます。
まだ、大したものではありません。
しかし、コンセプトは次のとおりです。
毎日、ほとんど理解できないほどの量のデータが生み出されています。そして毎年、その数はますます加速的なペースで増加しています。これらのデータソースは、情報の流れという観点から次の6つのカテゴリに分類できます。
OSINT は、情報を扱い、評価し、順位付けする方法です。私たちは 情報化時代 に生きており、OSINT 調査が扱わなければならない情報量 (情報爆発) と低品質データの問題により、研究者は溺れそうになっています。このデータの大部分は非構造化されており、ほとんどのデータ分析データベースが構造化データ向けに設計されているため、分析して実用的なインテリジェンスを生み出すには多くの課題が生じます。私たちは情報に囲まれていますが、そのほぼすべてが役に立つものではありません。
私はこの状況に取り組むことにしました。AIやビッグデータ分析などの技術の急速な発展は、これまでにない OSINT の新たな地平を切り開きました。私たちは、そのすべての情報をすぐ手元に欲しいと思っています。迅速かつ的を射た実用的なインテリジェンスが欲しいのです。だからこそ、私たちは自由なソフトウェアであるオープンソースの OSINT ツールを構築しています。誰でも学べる、昔ながらの Web 技術で作られています。しかし、これは本当のプロジェクトではありません。構想から 30 年が経ち、インターネットは私たち自身、私たちの社会と政治を映す鏡にすぎないことが証明されました。私たちは、民主主義の価値観とプロセスを直接脅かす一連の重大な課題に直面しています。テクノロジーを誰が所有し、設計し、制御するのかという問いは、かつてないほど緊急性を帯びています。
テクノロジーがオープンで公平であることを保証する技術的枠組みとは何でしょうか。企業の利益ではなく、ポジティブな社会変革に資するようデジタルインフラを「再構成」するにはどうすればよいのでしょうか。設計、プログラミング、構築には皆さんの助けが必要です。あなたの提案やアイデアを聞かせてください。私たちは皆さんの目の前で構築を進めていきます。「干し草の山から針を探す」という概念は、インターネット上では極限まで拡張されています。磁石を作りましょう。
[!CAUTION]
⚠️ 実験的ソフトウェア(プレアルファ)⚠️
OSINTBuddy は現在、実験的なソフトウェアです。まだ使用できる段階ではありません!開発に興味がある場合は、
pluginsdocker サービスをクローンする必要があります:git clone https://github.com/osintbuddy/plugins osintbuddy-pluginsをこのリポジトリのルートに配置してください。
現状では、このプロジェクトは、このアイデアのプロトタイプを作成し、問題領域への洞察を得るのに役立ってきたおもちゃのような環境にすぎません。このプロジェクトが真に成功するためには、最終的には、本格的で独創的で創造的な作業に使用できるものでなければなりません。それは、ツールが単に良い話をするだけでなく、実際に機能しているかどうかの基本的なテストです。このプロジェクトから、どのような強力で一般化可能なアイデアを学べるでしょうか。次の世代のシステムは、これをどのように発展させるべきでしょうか。システムは、あなたが問いたい問いを問えるように形作られている必要があります。
| リポジトリ | 説明 | 言語 | 目的 | ETA |
|---|---|---|---|---|
osintbuddy | 中核アプリケーション (このリポジトリ) | Rust, TypeScript/Preact | Web インターフェースとバックエンドサービス | アルファ版から 2〜4 か月 |
plugins | PyPi 上の Python プラグインシステムパッケージ | Python | 拡張可能なデータ収集フレームワーク | 2〜4 か月 |
entities | デフォルトの OSIB エンティティ定義 | Python | デフォルトのエンティティタイプとスキーマ | 4〜5 か月 |
私は、今日、一連の機会が利用可能であると確信しています。今日ではないにしても、すぐに、従来の OSINT や調査業務のためだけでなく、想像できるあらゆる文脈で、発見、学習、調査、実用的な洞察に到達するための媒体となる、新しい没入型メディアを創造することが可能になると信じています。photoshop のようなメディアは、photoshop に含まれる個々のツールのどれとも異なります。このような没入型メディアにおける可能性の範囲は驚くべきものであり、その可能性は、そのメディアの基本的なオブジェクトとアクションから生まれます。
手伝いたいですか?アイデアを書き留めて共有すること、議論をすること、何が機能して何が機能しないかを知らせることは、すべてこのプロジェクトを立ち上げるための助けになります。それは、OSINT の新しいツールを開発するのに役立つ、テコの効くポイントを特定する方法でもあります。それでは始めましょう。ここに 私のアイデアの一部 があります。
.env.example ファイルを .env にコピーし、必要に応じて設定を調整します。
cp .env.example .env
frontend/.env.example を frontend/.env にコピーし、必要に応じて調整します。
cp frontend/.env.example frontend/.env
さらにいくつかのバグと機能を修正したら、構築済みのフロントエンドと Rust サービスをビルドしてパッケージ化する GitHub Actions ワークフローをセットアップする予定です。最新情報については、Discord でプロジェクトをフォローしてください :)
この Rust での書き換えは、Python に飽きて、Rust を学ぶために全体を書き直すことにしたために存在します。今ではより速く、クラッシュも少なくなりました (たぶん)。
OSINTBuddy の開発を始めたい場合は、issue を作成または拾い上げて、次の手順に従ってください。
リポジトリをクローン
git clone https://github.com/osintbuddy/osintbuddy.git
cd osintbuddy
# using ssh?
# git clone [email protected]:osintbuddy/osintbuddy.git
デフォルトエンティティを初期化 (別名プラグイン) を OSIB 用に実行:
git clone https://github.com/osintbuddy/plugins.git osintbuddy-plugins
python3 -m venv venv
source ./venv/bin/activate
pip install -e ./osintbuddy-plugins/
git clone https://github.com/osintbuddy/entities.git plugins
スタック を起動。
docker compose up db ui
データベースをマイグレーション。
cargo install sqlx-cli --no-default-features --features native-tls,postgres
cargo install cargo-watch
cd crates/ && sqlx migrate run && cd ..
OSIB を実行
バックエンドの api と worker をホストシステム上の別々のターミナルで実行します:
# NOTE: Must run all terminals with Python (3.12.9) venv activated!
# In one terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/api -x "run -p api"
# In another terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/worker -x "run -p worker"
OSIB にアクセス フロントエンド、バックエンド、ドキュメント用に提供されている URL からアクセスできます:
http://localhost:55173http://localhost:48997/apihttp://localhost:55173/docs/overview