DeepSeek v4.1 flash – das stärkste Reverse-Engineering-Tool (unbegrenzt, fünfte Generation) Bitte mit einem Star vormerken ⭐ Wir freuen uns über Verbesserungsvorschläge zum Projekt
12 Development- und 8 Holdout-Fälle, jeweils 3/2 pro Kategorie. registry.mjs validiert Eingabe-SHA, Referenz-Digest, Budget und Laufprotokolle; es zertifiziert nicht das vom Aufrufer eingetragene Verdict.
Build: scripts/evals/build_targets.ps1 -Output <neues Verzeichnis außerhalb des Plugins>, dann node scripts/evals/freeze.mjs <targets.json> ausführen. Die tatsächlichen MSVC/C/PE/MAP-Zusammenfassungen beibehalten. verify_targets.mjs prüft mit der echten statischen Engine und Unicorn unter der ursprünglichen Genehmigung die Rückgabe-/Speicherschreibvorgänge der aufgelisteten Eingaben und speichert die Replay-Beweise der Wiederherstellung der Einzelfalluntersuchung. Dies ist keine native Debug-Beobachtung, kein Beweis über den gesamten Bereich und keine autonome VM-Wiederherstellung.
model_compare.mjs [output] [pilot-evidence.json] führt baseline/brief je dreimal über das installierte DSH SDK aus. Ein separates SDK-Profil vorbereiten: dsh --profile ig5-eval-v2 --from-default-profile sdk --help. Mit IG5_EVAL_PROVIDER/IG5_EVAL_MODEL eine vorhandene Route angeben; über IG5_EVAL_PROVIDER_PATCH kann ein privates Overlay einer vorhandenen Route übergeben werden. Anmeldedaten werden vom ursprünglichen Host aufgelöst, nicht in Quellcode/Berichte geschrieben, und es werden keine Mock-Modelle verwendet.
model_guard.mjs erlaubt nur feste JSON-Abfragen, ohne Pfade, Befehle und Oracle-Aktionen; die Weitergabe aller anderen Tools wird abgelehnt. Tatsächliche DSH-SDK-Tests validieren Rendering, die Ablehnung zusätzlicher Pfade und die Ablehnung über Tools hinweg. Läufe innerhalb der Grenzen können als isolated markiert werden; Läufe in gewöhnlichen Quellcode-Arbeitsbereichen gelten weiterhin als exposed. Behaltene Partitionen sind kein Beweis für Blindtests.
Frieren Sie Prompt, Dataset, Driver/Guard-Zusammenfassungen, Budget, Modell und Anbieter ein und speichern Sie die Rohdatenereignisse sowie jede Tool-Anfrage. Führen Sie zuerst audit_model_compare.mjs aus, um einen Snapshot des getesteten Skripts zu behalten, und ändern Sie erst danach den Evaluator; vorhandene Snapshots ermöglichen spätere wiederholte Audits. Das Audit überprüft anhand der rohen assistant/tool-Ereignisse erneut Format, Rückgabewerte, Position, alte Evidenzmarkierungen, aktuelles Zurücklesen der Evidenz, Budget, Token und Bereinigung. Nullwerte, fehlende Felder und zusätzlicher Text nach JSON gelten nicht als Erfolg; vom Aufrufer akzeptierte und unabhängige Ergebnisse werden getrennt gezählt. Bei Formatfehlern wird kein Ersatzlauf durchgeführt; bei Umgebungs-/Evaluator-Störungen bleibt der ursprüngliche Batch erhalten.
In dieser Runde wurden sechs echte Modell-Replays einer Entwicklungsaufgabe abgeschlossen; die übrigen Aufgaben bleiben unrun. Jede frische Session kann den Provider-Cache nicht steuern, daher werden cacheRead-Token separat erfasst; monetäre Kosten wurden nicht berechnet, und aus einem Einzelfall wird nicht auf die Erfolgsrate des gesamten Projekts geschlossen.
Der eigenständige Einstieg für PR09 ist memory_resume.mjs mit drei Strategien direkt/Log/LCM/brief+LCM, jeweils dreimal mit demselben Budget; --models verwendet das echte SDK. Es werden synthetische Untersuchungen und simulierte Kompression verwendet, getrennt von der Statistik des ursprünglichen echten statischen Aufgaben-Replays. audit_memory_resume.mjs erneut ausführen, um Bedingungen, Gegenbeispiele, Quell-Rücklesen und Aufrufkosten aus den rohen SDK-Ereignissen erneut zu verifizieren; Umgebungsblockaden bleiben erhalten, unbekannte Effekte werden nicht nachträglich als Erfolg ergänzt. Details siehe ../../docs/LCM_MEMORY.md.