xuxueli__xxl-job_CVE-2020-29204_2-2-0

Einführung

XXL-JOB ist ein verteiltes Aufgabenplanungs-Framework. Das Kernziel des Designs ist eine schnelle Entwicklung und einfache Erlernbarkeit, Leichtgewichtigkeit und einfache Erweiterbarkeit. Es ist bereits Open Source und viele Unternehmen nutzen es in Produktionsumgebungen, wirklich „Out-of-the-Box“.

XXL-JOB ist eine verteilte Aufgabenplanungsplattform, deren Kernentwurfsziele schnelle Entwicklung, einfaches Lernen, geringes Gewicht und einfache Erweiterung sind. Der Quellcode ist jetzt offen und es wurde in die Online-Produktlinien vieler Unternehmen integriert – einsatzbereit.

Dokumentation

• Chinesische Dokumentation
• Englische Dokumentation

Kommunikation

• Community-Diskussion

Funktionen

• 1、Einfach: Unterstützt CRUD-Operationen für Aufgaben über die Weboberfläche, einfache Bedienung, einsatzbereit in einer Minute;
• 2、Dynamisch: Unterstützt die dynamische Änderung des Aufgabenstatus, Starten/Stoppen von Aufgaben und Beenden laufender Aufgaben – sofort wirksam;
• 3、Scheduling-Center HA (zentralisiert): Das Scheduling verwendet ein zentralisiertes Design, das „Scheduling-Center“ nutzt eine selbstentwickelte Scheduling-Komponente und unterstützt Cluster-Bereitstellung, um HA des Scheduling-Centers zu gewährleisten;
• 4、Executor HA (verteilt): Aufgaben werden verteilt ausgeführt, der Aufgaben-„Executor“ unterstützt Cluster-Bereitstellung, um HA der Aufgabenausführung zu gewährleisten;
• 5、Registrierungscenter: Executoren registrieren Aufgaben automatisch periodisch, das Scheduling-Center erkennt registrierte Aufgaben automatisch und löst deren Ausführung aus. Gleichzeitig wird auch die manuelle Eingabe von Executor-Adressen unterstützt;
• 6、Elastische Skalierung: Wenn eine neue Executor-Maschine online oder offline geht, werden Aufgaben bei der nächsten Planung neu zugewiesen;
• 7、Routing-Strategien: Bei Cluster-Bereitstellung von Executoren stehen umfangreiche Routing-Strategien zur Verfügung: Erster, Letzter, Round Robin, Zufall, konsistentes HASH, am seltensten verwendet, am längsten nicht verwendet, Failover, Busy-Transfer usw.;
• 8、Failover: Wenn die Aufgaben-Routing-Strategie „Failover“ ausgewählt ist und eine Maschine im Executor-Cluster ausfällt, wird automatisch ein Failover auf eine normale Executor-Maschine durchgeführt und ein Scheduling-Request gesendet.
• 9、Blockierungsbehandlungsstrategie: Strategie für den Fall, dass das Scheduling zu dicht ist und der Executor nicht rechtzeitig verarbeiten kann. Strategien umfassen: seriell auf einem Knoten (Standard), nachfolgende Planungen verwerfen, vorherige Planung überschreiben;
• 10、Aufgaben-Timeout-Steuerung: Unterstützt benutzerdefinierte Timeout-Zeiten für Aufgaben; bei Überschreitung wird die Aufgabe aktiv abgebrochen;
• 11、Aufgaben-Wiederholung bei Fehler: Unterstützt benutzerdefinierte Anzahl von Wiederholungen bei Fehlern; bei Fehlschlag wird die Aufgabe gemäß der voreingestellten Anzahl aktiv wiederholt; bei Sharding-Aufgaben wird eine Wiederholung auf Shard-Ebene unterstützt;
• 12、Aufgabenfehler-Benachrichtigung: Standardmäßig wird eine E-Mail-Benachrichtigung bei Fehlern bereitgestellt; gleichzeitig sind Erweiterungsschnittstellen für SMS, DingTalk usw. vorgesehen;
• 13、Broadcast-Sharding-Aufgaben: Bei Cluster-Bereitstellung von Executoren und Wahl der Routing-Strategie „Broadcast-Sharding“ wird ein Aufgaben-Scheduling alle Executoren im Cluster einmal auslösen; die Sharding-Parameter können für die Entwicklung von Sharding-Aufgaben genutzt werden;
• 14、Dynamisches Sharding: Broadcast-Sharding-Aufgaben werden pro Executor dimensioniert; dynamische Erweiterung des Executor-Clusters erhöht die Anzahl der Shards dynamisch, um die Geschäftsverarbeitung zu unterstützen; bei großen Datenmengen wird die Aufgabenverarbeitungsfähigkeit und -geschwindigkeit erheblich verbessert.
• 15、Ereignisgesteuerte Auslösung: Neben der Auslösung per „Cron“ und „Aufgabenabhängigkeit“ wird auch die ereignisgesteuerte Auslösung von Aufgaben unterstützt. Das Scheduling-Center bietet einen API-Dienst zur einmaligen Auslösung von Aufgaben, der flexibel basierend auf Geschäftsereignissen genutzt werden kann.
• 16、Aufgabenfortschrittsüberwachung: Unterstützt Echtzeit-Überwachung des Aufgabenfortschritts;
• 17、Rolling-Echtzeit-Logs: Unterstützt die Online-Anzeige von Planungsergebnissen und die rollierende Echtzeit-Anzeige vollständiger Ausführungslogs des Executors;
• 18、GLUE: Bietet eine Web-IDE, die die Online-Entwicklung von Aufgabenlogikcode, dynamische Veröffentlichung, Echtzeit-Kompilierung und sofortige Wirksamkeit unterstützt und den Bereitstellungsprozess überflüssig macht. Bietet Versionsrückblick über 30 Versionen.
• 19、Skriptaufgaben: Unterstützt die Entwicklung und Ausführung von Skriptaufgaben im GLUE-Modus, einschließlich Shell, Python, NodeJS, PHP, PowerShell usw.;
• 20、Kommandozeilenaufgaben: Bietet nativ einen generischen Kommandozeilen-Task-Handler (Bean-Task, „CommandJobHandler“); der Geschäftsbereich muss nur die Befehlszeile bereitstellen;
• 21、Aufgabenabhängigkeit: Unterstützt die Konfiguration von Unteraufgabenabhängigkeiten; wenn die übergeordnete Aufgabe abgeschlossen und erfolgreich ist, wird die Ausführung einer Unteraufgabe ausgelöst; mehrere Unteraufgaben werden durch Kommas getrennt;
• 22、Konsistenz: Das „Scheduling-Center“ gewährleistet durch DB-Locks die Konsistenz des verteilten Cluster-Schedulings; ein Aufgaben-Scheduling wird nur einmal ausgelöst;
• 23、Benutzerdefinierte Aufgabenparameter: Unterstützt die Online-Konfiguration von Eingabeparametern für Planungsaufgaben – sofort wirksam;
• 24、Scheduling-Thread-Pool: Das Scheduling-System löst die Planung mehrfädrig aus, um eine präzise und blockierungsfreie Ausführung sicherzustellen;
• 25、Datenverschlüsselung: Die Kommunikation zwischen Scheduling-Center und Executor wird verschlüsselt, um die Sicherheit der Planungsinformationen zu erhöhen;
• 26、E-Mail-Benachrichtigung: Bei Aufgabenfehlern wird eine E-Mail-Benachrichtigung unterstützt; mehrere E-Mail-Adressen können für Gruppenbenachrichtigungen konfiguriert werden;
• 27、Push zum Maven Central Repository: Die neueste stabile Version wird in das Maven Central Repository hochgeladen, um den Zugang und die Nutzung zu erleichtern;
• 28、Betriebsberichte: Unterstützt die Echtzeit-Anzeige von Betriebsdaten wie Aufgabenanzahl, Planungsanzahl, Executor-Anzahl usw.; sowie Planungsberichte wie Verteilungsdiagramme von Planungsdaten und Erfolgsverteilungen;
• 29、Vollständig asynchron: Der Aufgabenplanungsablauf ist vollständig asynchron gestaltet, z. B. asynchrone Planung, asynchrone Ausführung, asynchrone Rückmeldung; dies dämpft effektiv den Datenverkehr bei dichten Planungen und unterstützt theoretisch Aufgaben jeder Laufzeit;
• 30、Sprachunabhängig: Das Scheduling-Center und der Executor bieten sprachunabhängige RESTful-API-Dienste; Drittanbieter können damit das Scheduling-Center oder den Executor anbinden. Daneben werden auch andere plattformübergreifende Lösungen wie „Multi-Task-Modus“ und „httpJobHandler“ bereitgestellt;
• 31、Internationalisierung: Das Scheduling-Center unterstützt Internationalisierungseinstellungen mit zwei optionalen Sprachen: Chinesisch und Englisch, Standard ist Chinesisch;
• 32、Containerisierung: Bietet offizielle Docker-Images und aktualisiert und pusht diese in Echtzeit zu Docker Hub, um eine sofortige Einsatzbereitschaft zu gewährleisten;
• 33、Thread-Pool-Isolation: Der Scheduling-Thread-Pool wird isoliert; langsame Aufgaben werden automatisch in den „Slow“-Thread-Pool herabgestuft, um eine Erschöpfung der Planungs-Threads zu vermeiden und die Systemstabilität zu erhöhen;
• 34、Benutzerverwaltung: Unterstützt die Online-Verwaltung von Systembenutzern mit zwei Rollen: Administrator und regulärer Benutzer;
• 35、Berechtigungssteuerung: Berechtigungen werden auf Executor-Ebene gesteuert; Administratoren haben volle Berechtigungen, reguläre Benutzer benötigen zugewiesene Executor-Berechtigungen für entsprechende Aktionen;

Entwicklung

Mitte 2015 erstellte ich das XXL-JOB-Projekt-Repository auf GitHub und reichte den ersten Commit ein, gefolgt von Systemstrukturdesign, UI-Auswahl, Interaktionsdesign ...

Im November 2015 wurde schließlich die erste Hauptversion V1.0 von XXL-JOB veröffentlicht. Anschließend veröffentlichte ich es auf OSCHINA, wo es von @红薯 (Hongshu) eine heiße Empfehlung erhielt. Es erreichte gleichzeitig den ersten Platz in der Kategorie „Heiße Aktivität“ und den ersten Platz in der monatlichen Beliebtheit von Open-Source-Software auf git.oschina. Besonderer Dank gilt Hongshu und allen für ihre Aufmerksamkeit und Unterstützung.

Im Dezember 2015 veröffentlichte ich XXL-JOB im internen Wissensarchiv meines Unternehmens und erhielt Anerkennung von internen Kollegen.

Im Januar 2016 begannen wir im Unternehmen mit der internen Integration und Anpassung von XXL-JOB. Besonderer Dank gilt den Kollegen Yuan und Yin für ihre Beiträge sowie allen anderen internen Kollegen für ihre Aufmerksamkeit und Unterstützung.

Am 13. Mai 2017, auf der „62. OSChina Source Creation Conference“ in Shanghai, im Segment „Code her damit!“, hielt ich einen Vortrag über XXL-JOB vor 500 Zuschauern, die begeistert reagierten (Bildrückblick).

Am 22. Oktober 2017, auf der von Upyun Open Talk und Spring Cloud China Community gemeinsam veranstalteten „Angriff der Microservices – Praktiker-Station Shanghai“, hielt ich einen Vortrag über XXL-JOB. Das Publikum reagierte begeistert und diskutierte anschließend intensiv mit XXL-JOB-Nutzern.

Am 11. Dezember 2017 hatte XXL-JOB die Ehre, an der „InfoQ ArchSummit Global Architect Summit“ teilzunehmen, und wurde von „Lehrer Yang Bo“, Architekt von Paipaidai, im Spezialthema „Microservice-Prinzipien, Grundarchitektur und Open-Source-Praxis“ vorgestellt.

Am 18. Dezember 2017 nahm XXL-JOB am Wettbewerb „Beliebteste chinesische Open-Source-Software 2017“ teil und erreichte unter rund 9.000 registrierten inländischen Open-Source-Projekten die Top 30.

Am 15. Januar 2018 nahm XXL-JOB am Wettbewerb „Heißestes Open-Source-Projekt auf Gitee 2017“ teil und erreichte unter rund 6.500 registrierten Projekten die Top 20.

Am 14. April 2018, auf der von iTechPlus in Shanghai veranstalteten „2018 Internet Developer Conference“, hielt ich einen Vortrag über XXL-JOB. Das Publikum reagierte begeistert und diskutierte anschließend intensiv mit XXL-JOB-Nutzern.

Am 27. Mai 2018, auf der „75. OSChina Source Creation Conference“ in Shanghai, im Themenschwerpunkt „Architektur“, hielt ich einen Vortrag zum Thema „Grundarchitektur und Middleware-Landschaft“ vor über tausend Zuschauern, die begeistert reagierten (Bildrückblick).

Am 5. Dezember 2018 nahm XXL-JOB am Wettbewerb „Beliebteste chinesische Open-Source-Software 2018“ teil und erreichte unter über 10.000 registrierten Open-Source-Projekten den 19. Platz.

Am 10. Dezember 2019 nahm XXL-JOB am Wettbewerb „Beliebteste chinesische Open-Source-Software 2019“ teil und erreichte unter über 10.000 registrierten Open-Source-Projekten den 9. Platz in der Kategorie „Entwicklungsframeworks und Basiskomponenten“.

Mein Unternehmen, Dianping (Teil von Meituan), hat XXL-JOB bereits integriert, interner Codename „Ferrari“ (Ferrari basiert auf XXL-JOB V1.1, neu hinzukommende Anwendungen sollten die neueste Version verwenden). Nach neuesten Statistiken hat das System zwischen dem 21. Januar 2016 und dem 1. Dezember 2017 etwa 1 Million Planungen durchgeführt und dabei hervorragende Leistung gezeigt. Neu hinzukommende Anwendungen sollten die neueste Version verwenden, da nach Dutzenden von Versionsupdates das Aufgabenmodell, das UI-Interaktionsmodell und das zugrunde liegende Scheduling-Kommunikationsmodell erheblich optimiert und verbessert wurden, wodurch Kernfunktionen stabiler und effizienter geworden sind.

Bis heute wurde XXL-JOB in die Online-Produktlinien vieler Unternehmen integriert, z. B. E-Commerce, O2O und Big Data. Nach dem letzten Stand umfasst die Liste der integrierten Unternehmen (nicht ausschließlich):

Weitere Unternehmen, die integriert wurden, sind willkommen, sich im Registrierungsformular einzutragen. Die Registrierung dient lediglich der Produktwerbung.

Wir freuen uns über Ihre Aufmerksamkeit und Nutzung. XXL-JOB wird sich weiterentwickeln und anpassen.

Mitwirken

Beiträge sind willkommen! Erstellen Sie einen Pull Request, um einen Fehler zu beheben, oder eröffnen Sie ein Issue, um über eine neue Funktion oder Änderung zu diskutieren.

Wir freuen uns über Beiträge zum Projekt! Reichen Sie z. B. einen PR ein, um einen Bug zu beheben, oder erstellen Sie ein Issue, um über neue Funktionen oder Änderungen zu diskutieren.

Urheberrecht und Lizenz

Dieses Produkt ist Open Source und kostenlos und wird weiterhin kostenlosen Community- technischen Support bieten. Einzelpersonen oder Unternehmen können es frei nutzen.

• Lizenziert unter der GNU General Public License (GPL) v3.
• Urheberrecht (c) 2015–heute, xuxueli.

Das Produkt ist Open Source und kostenlos und wird weiterhin kostenlosen Community-technischen Support bieten. Einzelpersonen oder Unternehmen können es frei nutzen.

Spenden

Egal wie hoch der Spendenbetrag ist, er reicht aus, um Ihre Gedanken auszudrücken. Vielen Dank! ：） Zur Spende

Unabhängig von der Höhe des Spendenbetrags drückt er Ihre Wertschätzung aus. Vielen Dank! ：） Zur Spende