
Entity-Graphen, OSINT-Datamining und Plugins. Verbinde unstrukturierte und öffentliche Daten für transformative Erkenntnisse 🌐 (Web-Version)
Ich habe noch keine Daten. Es ist ein kapitaler Fehler, zu theoretisieren, bevor man Daten hat. Unmerklich beginnt man, Tatsachen zu verdrehen, um sie an Theorien anzupassen, statt Theorien an Tatsachen.
🚧 ⚠️ In Arbeit; Noch nicht einsatzbereit, noch ⚠️ 🚧
Willkommen zum OSINTBuddy-Projekt, wo du unstrukturierte und öffentliche Daten verbinden, kombinieren und Erkenntnisse daraus gewinnen kannst – als Ergebnisse, die Schritt für Schritt erkundet werden können. Ein benutzerfreundliches Plugin-System ermöglicht es jedem Entwickler, schnell neue Datenquellen zu integrieren, sodass du dich darauf konzentrieren kannst, zu entdecken, zu interagieren und zu visualisieren, was dir wichtig ist.
Noch nicht viel.
Aber hier ist das Konzept:
Eine fast unbegreifliche Menge an Daten wird jeden Tag erzeugt. Und jedes Jahr wachsen die Zahlen mit immer größerer Geschwindigkeit. Diese Datenquellen lassen sich in sechs verschiedene Kategorien des Informationsflusses unterteilen:
OSINT ist eine Methode, um Informationen zu bearbeiten, zu bewerten und einzustufen — Wir leben im Informationszeitalter, und die Informationsmenge, mit der sich die OSINT-Forschung auseinandersetzen muss, (Informationsexplosion), sowie das Problem geringer Datenqualität lassen Forscher ertrinken. Der Großteil dieser Daten ist unstrukturiert, was viele Herausforderungen bei der Analyse und der Erstellung umsetzbarer Erkenntnisse mit sich bringt, da die meisten Datenanalyse-Datenbanken für strukturierte Daten ausgelegt sind. Wir sind von Informationen umgeben, und fast keine davon ist nützlich.
Ich habe beschlossen, etwas dagegen zu tun. Die rasanten Entwicklungen in Technologien wie KI und Big-Data-Analytik haben neue Horizonte für OSINT eröffnet, die es zuvor nicht gab. Wir wollen all diese Informationen direkt zur Hand haben. Wir wollen schnell und präzise umsetzbare Erkenntnisse – genau deshalb bauen wir ein Open-Source-OSINT-Tool, das freie Software ist. Gebaut mit einfachen, altbewährten Webtechnologien, die jeder lernen kann. Aber das ist nicht wirklich das Projekt. Seit seiner Entstehung sind drei Jahrzehnte vergangen, und das Internet hat sich nur als Spiegel von uns, unserer Gesellschaft und unserer Politik erwiesen. Wir stehen vor einer Reihe bedeutender Herausforderungen, die direkt die demokratischen Werte und Prozesse bedrohen. Die Frage, wem Technologie gehört, wer sie gestaltet und wer sie kontrolliert, ist noch nie dringlicher gewesen.
Welche technischen Rahmenbedingungen stellen sicher, dass eine Technologie offen und gerecht ist; wie können wir digitale Infrastrukturen "rekonfigurieren", damit sie positive soziale Transformation statt Unternehmensinteressen?s Wir brauchen deine Hilfe, um sie zu entwerfen, zu programmieren und zu bauen. Wir wollen deine Vorschläge und Ideen hören, und wir werden direkt vor deinen Augen bauen. Die Vorstellung einer "Nadel im Heuhaufen" wird im Internet auf die Spitze getrieben. Lass uns einen Magneten bauen.
[!CAUTION]
⚠️ Experimentelle Software (Pre-Alpha) ⚠️
OSINTBuddy ist derzeit experimentelle Software. Sie ist noch nicht ganz einsatzbereit! Wenn du an der Entwicklung interessiert bist, benötigst du den
plugins-Docker-Dienst, geklont:git clone https://github.com/osintbuddy/plugins osintbuddy-pluginsim Wurzelverzeichnis dieses Repos.
So wie es ist, ist dieses Projekt eher eine Spielzeug-Umgebung, die sich beim Prototyping dieser Idee und beim Gewinnen von Einblicken in den Problemraum als nützlich erwiesen hat. Damit dieses Projekt wirklich erfolgreich ist, muss es letztlich dazu dienen können, ernsthafte, originelle und kreative Arbeit zu leisten. Das ist der grundlegende Test dafür, ob unsere Werkzeuge wirklich funktionieren und nicht nur eine gute Geschichte erzählen. Welche starken, verallgemeinerbaren Ideen können wir aus diesem Projekt lernen? Wie sollte die nächste Welle von Systemen darauf aufbauen? Das System muss so gestaltet sein, dass du die Fragen stellen kannst, die du stellen möchtest.
q
Ich bin davon überzeugt, dass sich heute eine Reihe von Möglichkeiten bietet. Ich glaube, es ist jetzt möglich – wenn nicht heute, dann bald – ein neues immersives Medium zu schaffen, nicht nur für traditionelle OSINT- und Forschungsarbeit, sondern ein Medium zum Entdecken, Lernen, Recherchieren und zum Gewinnen umsetzbarer Erkenntnisse in beliebig vielen Kontexten, die du dir vorstellen kannst. Ein Medium wie Photoshop unterscheidet sich von jedem einzelnen Werkzeug, das Photoshop enthält. Die Bandbreite der Möglichkeiten in solchen immersiven Medien ist atemberaubend, und diese Möglichkeiten entstehen aus den grundlegenden Objekten und Aktionen in diesem Medium.
Lust mitzuhelfen? Ideen aufzuschreiben und zu teilen, Diskussionen zu führen und mich wissen zu lassen, was funktioniert und was nicht, hilft alles dabei, dieses Projekt anzukurbeln. Es ist ein Weg, Hebelpunkte zu identifizieren, die uns helfen könnten, neue Werkzeuge für OSINT zu entwickeln. Also legen wir los – hier sind ein paar meiner Ideen:
.env.example zu .env, passe die Einstellungen bei Bedarf an.
cp .env.example .env
frontend/.env.example zu frontend/.env, passe sie bei Bedarf an.
cp frontend/.env.example frontend/.env
Sobald wir noch ein paar Fehler beseitigt und ein paar Funktionen ergänzt haben, wollen wir einen GitHub-Actions-Workflow einrichten, der das erstellte Frontend und die Rust-Dienste baut und paketiert. Folge dem Projekt auf Discord für die neuesten Updates :)
Dieses Rust-Rewrite existiert, weil ich Python satt hatte und beschlossen habe, das Ganze neu zu schreiben, um Rust zu lernen. Jetzt ist es schneller und stürzt weniger ab (hoffentlich).
Wenn du mit der Entwicklung für OSINTBuddy beginnen möchtest, erstelle oder übernimm ein Issue und folge diesen Schritten:
Repo klonen
git clone https://github.com/osintbuddy/osintbuddy.git
cd osintbuddy
# using ssh?
# git clone [email protected]:osintbuddy/osintbuddy.git
Initialisiere Standard-Entities (auch Plugins genannt) für OSIB:
git clone https://github.com/osintbuddy/plugins.git osintbuddy-plugins
python3 -m venv venv
source ./venv/bin/activate
pip install -e ./osintbuddy-plugins/
git clone https://github.com/osintbuddy/entities.git plugins
Starte den Stack.
docker compose up db ui
Datenbank migrieren.
cargo install sqlx-cli --no-default-features --features native-tls,postgres
cargo install cargo-watch
cd crates/ && sqlx migrate run && cd ..
OSIB ausführen
Führe das Backend api und den worker auf deinem Host-System in getrennten Terminals aus:
Ctrl+C/beende die Worker- und API-Terminals, dann docker compose down zum Aufräumen.docker compose down --volumes aus.Wir verwenden die GNU Affero General Public License v3.0 (AGPL), weil wir die Freiheit der Nutzung, Wiederverwendung, Vervielfältigung, Modifikation und erneuten Veröffentlichung von Modifikationen garantieren wollen. Denn Freiheit bedeutet nicht Freizügigkeit, sondern Gegenseitigkeit. Wenn du darauf aufbaust, gibst du etwas zurück. So bleibt die Allmende gesund. Dies ist eine technopolitische Entscheidung, die in den Gesellschaftsvertrag eingeschrieben ist. Hier genügt es zu sagen, dass die Affero-GPLv3-Lizenz die Dienstanbieter rechtlich dazu verpflichtet, jedem Benutzer direkten Zugang zu dem Computercode zu geben, der in einer bestimmten Instanz läuft.
Ermöglicht Ermittlern & Cybersicherheits-Enthusiasten, Wahrheiten aufzudecken, Ungerechtigkeit zu bekämpfen und eine sicherere Welt zu schaffen.
Beginne mit einer einzigen Spur. Schließe Fälle 12x schneller ab mit OSINT.
LinkScope ermöglicht es dir, Online-Ermittlungen durchzuführen, indem Informationen als eigenständige Dateneinheiten dargestellt werden, die als Entities bezeichnet werden.
Als erste automatisch GPU-beschleunigte Plattform kannst du all deine Daten nutzen, ohne dir Gedanken um Skalierung zu machen, und spontan umschwenken, um jeder Spur zu folgen, wohin deine Ermittlung dich führt. Ideal für alles von Sicherheits-, Betrugs- und IT-Ermittlungen bis hin zu 360°-Ansichten von Kunden und Lieferketten bis hin zur Kartierung von Krebsmutationen – Graphistry verwandelt das Potenzial deiner Daten in menschliche Erkenntnis und Wert.
Öffne ein Issue, wenn du mit mir in Kontakt treten möchtest, oder sende eine E-Mail an [email protected].
| Repository | Beschreibung | Sprache | Zweck | Zeitrahmen |
|---|
osintbuddy | Die Kernanwendung (dieses Repo) | Rust, TypeScript/Preact | Weboberfläche und Backend-Dienste | 2–4 Monate ab Alpha |
plugins | Das Python-Plugin-Systempaket auf PyPi | Python | Erweiterbares Framework zur Datenerfassung | 2–4 Monate |
entities | Die Standard-OSIB-Entity-Definitionen | Python | Standard-Entity-Typen und -Schemata | 4–5 Monate |
# NOTE: Must run all terminals with Python (3.12.9) venv activated!
# In one terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/api -x "run -p api"
# In another terminal run:
source ./venv/bin/activate
cargo watch -q -c -w crates/worker -x "run -p worker"
Auf OSIB zugreifen Greife über die bereitgestellten URLs für Frontend, Backend und Dokumentation auf OSIB zu:
http://localhost:55173http://localhost:48997/apihttp://localhost:55173/docs/overview