DeepSeek v4.1 flash, le meilleur outil de rétro-ingénierie (génération 5 illimitée) — Mettez une Star ⭐, les contributions pour améliorer le projet sont les bienvenues
12 développement, 8 holdout, 3/2 pour chaque catégorie. registry.mjs vérifie le SHA d'entrée, le résumé de référence, le budget et l'enregistrement d'exécution, sans authentifier le verdict saisi par l'appelant.
Construction : scripts/evals/build_targets.ps1 -Output <nouveau répertoire hors du plugin>, puis exécuter node scripts/evals/freeze.mjs <targets.json>. Conserver les résumés réels MSVC/C/PE/MAP. verify_targets.mjs utilise le véritable moteur statique et Unicorn sous l'approbation d'origine pour vérifier les retours/écritures mémoire des entrées listées, et enregistre les preuves de rejeu de la restauration d'enquête à instance unique. Il ne s'agit pas d'observation de débogage native, de preuve exhaustive ni de restauration autonome de VM.
model_compare.mjs [output] [pilot-evidence.json] exécute baseline/brief trois fois chacun via le SDK DSH installé. Préparer un profil SDK indépendant : dsh --profile ig5-eval-v2 --from-default-profile sdk --help. Utiliser IG5_EVAL_PROVIDER/IG5_EVAL_MODEL pour spécifier une route existante ; IG5_EVAL_PROVIDER_PATCH permet de transmettre un overlay privé d'une route existante. Les identifiants sont résolus par l'hôte d'origine, ne sont pas écrits dans le code source/les rapports, et aucun modèle mock n'est utilisé.
model_guard.mjs n'autorise que des requêtes JSON fixes, sans chemins, commandes ni action oracle ; toute autre distribution d'outils est rejetée. Les tests réels du SDK DSH vérifient le rendu, le rejet de chemins supplémentaires et le rejet inter-outils. Une exécution dans les limites peut être marquée isolated ; une exécution dans un espace de travail de code source ordinaire reste considérée comme exposed. La conservation des partitions ne constitue pas une preuve d'aveugle.
Gelez le prompt, le dataset, les résumés driver/guard, le budget, le modèle et le fournisseur, et conservez les événements bruts ainsi que chaque requête d'outil. Exécutez d'abord audit_model_compare.mjs pour conserver un instantané du script testé, puis modifiez l'évaluateur ; les instantanés existants permettent des audits répétés ultérieurs. audit revérifie, à partir des événements bruts assistant/tool, le format, les valeurs de retour, les positions, les anciens marqueurs de preuve, la relecture des preuves actuelles, le budget, les tokens et le nettoyage. Les valeurs nulles, les champs manquants et le texte supplémentaire après le JSON ne comptent pas comme un succès ; les accepted de l'appelant et les résultats indépendants sont comptés séparément. Les échecs de format ne sont pas rattrapés par une réexécution de remplacement ; les défaillances d'environnement/évaluateur conservent le lot brut.
Ce cycle a achevé six relectures de modèles réels pour une tâche de développement ; les autres tâches restent unrun. Chaque session fraîche ne peut pas contrôler le cache du fournisseur, donc les tokens cacheRead sont enregistrés séparément ; le coût monétaire n'est pas calculé, et le taux de réussite de l'ensemble du projet n'est pas déduit d'un seul cas.
Le point d'entrée indépendant de PR09 est memory_resume.mjs, avec trois stratégies journal direct/LCM/brief+LCM, trois fois chacune à budget égal ; --models utilise le SDK réel. Utiliser une enquête synthétique et une compression simulée, en gardant les statistiques séparées de la relecture des tâches statiques réelles d'origine. Exécuter audit_memory_resume.mjs pour revérifier à partir des événements SDK bruts les conditions, les contre-exemples, la relecture des sources et le coût des appels ; les blocages environnementaux sont conservés, et les effets inconnus ne sont pas complétés en succès. Voir ../../docs/LCM_MEMORY.md pour les détails.