confusable-vision

تسجيل تشابه الحروف الرسومية التجريبي باستخدام تتبع الشعاع من الخطوط المتجهة. يعرض أزواج الأحرف المربكة في Unicode عبر 245 خط نظام، ويقيس التشابه الهيكلي مباشرة من ملامح الخط (بدون معالجة نقطية)، وينتج مخرجات JSON مسجلة بدرجات مسافة مستمرة لكل خط.

نتائج رئيسية من 52.6 مليون مقارنة لحرف واحد و190 مليون مقارنة متعددة الأحرف عبر 22,581 حرفًا و12 نظام كتابة:

• 249,976 زوجًا فريدًا مربكًا لحرف واحد عبر 245 خطًا و12 نصًا و66 زوجًا عبر النصوص. إجمالي 764,395 اكتشافًا على مستوى الخطوط.
• 2,524,275 زوجًا فريدًا متعدد الأحرف (bigram) بما في ذلك rn/m عبر 95 خطًا (33 تحتها مسافة 0.40) و oy/الـ uk السيريلية عبر 16 خطًا.
• درجات مسافة مستمرة لكل خط، وليست قوائم ثنائية. كل زوج له مسافة شعاعية مقاسة لكل خط، مما يعطي ثقة مدركة للخط لأدوات الأمان النهائية.
• اكتشافات أكثر بنسبة 305% من SDF، وأسرع بنسبة 29%. التوقيع الشعاعي المحسّن بخمس طبقات هو مجموعة شاملة صارمة لنتائج SDF؛ الأزواج الحصرية لـ SDF لم تتكرر تحت المراجعة اليدوية.

المخرجات تُغذي مباشرة namespace-guard للكشف عن التشابه المربك في وقت التشغيل في أسماء الحزم وأسماء النطاقات والمعرفات.

كيف يعمل

يقوم RaySpace بإطلاق أشعة متوازية عبر ملامح الخطوط بزوايا 36 ويلتقط خمس طبقات من المعلومات لكل حرف رسومي: أعداد التقاطعات، مواقع التقاطعات، زوايا التقاطعات، مسافات النبض (عرض الضربة عند كل تقاطع)، وأقصى نبض (عرض العداد بين التقاطعات). ينتج عن ذلك توقيع مضغوط لكل حرف في كل خط. تتم مقارنة توقيعين باستخدام مسافة L1 موزونة عبر جميع الطبقات الخمس.

مصفاة متتالية من ثلاث مراحل تجعل المقارنة الشاملة ممكنة:

1. مرشح عرض التقدم (تفاوت 15%) يزيل الأزواج ذات العروض المختلفة للأحرف. يزيل 63% من المرشحين.
2. مقارنة الأشعة (عتبة 2.0، مشددة إلى 1.0 لأزواج النصوص الكبيرة). يزيل 33% إضافية.
3. فقط 3.3% من المرشحين يبقون ليصبحوا اكتشافات.

بنك التوقيعات (أكثر من 294,646 إدخال عبر 245 خطًا؛ المزيد مع --include-uppercase) يُحسب مسبقًا مرة واحدة. ثم يعمل الاكتشاف كعملية حسابية أحادية الخيط على البنك، مكملاً 52.6 مليون مقارنة زوجية في 31 دقيقة دون خيوط عمل أو GPU.

البدء السريع

npm install

# 1. Build the ray signature bank (prerequisite, ~24 min)
npx tsx scripts/build-signature-bank.ts

# 1b. Include uppercase Latin A-Z (optional)
#     By default the bank only includes IDNA PVALID codepoints (lowercase,
#     digits, symbols). Use --include-uppercase to add uppercase A-Z, useful
#     for font identification and trademark visual comparison where uppercase
#     glyph shapes matter. The builder is resumable, so this only computes
#     the additional codepoints.
npx tsx scripts/build-signature-bank.ts --include-uppercase

# 1c. Include arbitrary codepoint ranges (optional)
npx tsx scripts/build-signature-bank.ts --extra-range=0041-005A

# 2. Single-char discovery (22,581 chars, 12 scripts, ~36 min)
npx tsx scripts/discover-singlechar-sdf.ts --scorer=ray

# 3. Multi-char (bigram) discovery (676 bigrams, ~63 min)
npx tsx scripts/discover-multichar-sdf.ts --scorer=ray

# 4. Score known TR39 multi-char confusables (~5 min)
npx tsx scripts/score-multichar-sdf.ts --scorer=ray

# TR39 confusable pair scoring
npx tsx scripts/build-index.ts          # Render index (~160s, 11,370 PNGs)
npx tsx scripts/score-all-pairs.ts      # Score all pairs (~65s, 235K comparisons)

# Novel confusable discovery
npx tsx scripts/build-candidates.ts          # Candidate set (~23K chars)
npx tsx scripts/build-index.ts --candidates  # Render candidates (~40min, 89K PNGs)
npx tsx scripts/score-candidates.ts          # Score against Latin targets (~15min, 2.9M comparisons)

# Extract high-scoring discoveries from both pipelines
npx tsx scripts/extract-discoveries.ts

ما وجدته

أفضل الأزواج المربكة (حرف واحد، متوسط المسافة < 0.10)

الأصفار = الخطوط حيث تنتج الملامح توقيعات شعاعية متطابقة بتًا (مسافة 0.000). w اللاتينية/ԝ السيريلية متطابقتان في جميع الخطوط الـ19 التي تحتوي على كلا الحرفين.

اختراقات عبر النصوص (حرف واحد)

يشكل الحرف الجورجي Coda (U+10FF) حلقة مربكة رباعية الاتجاهات مع o اللاتينية وo السيريلية وomicron اليونانية، جميعها تحت مسافة 0.08.

نتائج بارزة متعددة الأحرف

اكتشاف oy/الـ uk السيريلية هو النتيجة الجديدة البارزة: الزوج الثنائي اللاتيني "oy" متطابق بصريًا مع الحرف المزدوج السيريلي uk (ѹ) على مسافة 0.000 في Helvetica و0.0005 في Arial Unicode MS.

معايرة العتبة

ثلاث مستويات تشغيل موصى بها:

• صارم (< 0.50): 138 زوجًا لحرف واحد، إيجابيات كاذبة شبه معدومة. مناسب للحظر التلقائي (تسجيل IDN، التحقق من أسماء الحزم) حيث للإيجابيات الكاذبة تكلفة حقيقية.
• قياسي (< 1.00): 4,174 زوجًا لحرف واحد، توازن جيد بين التغطية والدقة. مناسب لوضع العلامات والمراجعة اليدوية في أدوات الأمان.
• استكشافي (< 2.00): مجموعة الاكتشاف الكاملة. يحتوي على ضوضاء في الطرف العلوي ولكنه مفيد للبحث وتدقيق الخطوط وبناء مجموعات التدريب.

الاستعلام عن الخطوط

الاستعلام عن الأزواج المربكة الموجودة لخط معين. مفيد لمصممي الخطوط الذين يشحنون محرفًا جديدًا، لبائعي المتصفحات الذين يقيمون تغيير خط النظام، أو لأي شخص يختار خط عرض للسياقات الحساسة أمنيًا مثل نطاقات IDN.

npx tsx scripts/query-font.ts --list-fonts                    # 218 fonts in discovery data
npx tsx scripts/query-font.ts "Arial"                         # All pairs for Arial (SSIM >= 0.7)
npx tsx scripts/query-font.ts "Arial" --threshold 0.8         # High-confidence only
npx tsx scripts/query-font.ts "Arial" --compare "Georgia"     # Diff two fonts by SSIM delta
npx tsx scripts/query-font.ts "Arial" --json                  # JSON for downstream processing

مطابقة اسم الخط هي سلسلة فرعية غير حساسة لحالة الأحرف، لذا فإن "arial" يطابق Arial وArial Black وArial Unicode MS. وضع المقارنة يرتب حسب أكبر اختلافات SSIM أولاً، مما يكشف بالضبط الأزواج التي تتحسن أو تسوء عند تبديل الخطوط.

يتطلب ملفات الاكتشاف من أنابيب التسجيل (مهملة في git، يُعاد توليدها محليًا).

المخرجات

الملفات الملتزمة (CC-BY-4.0)

المولدة (مهملة في git، شغّل الأنابيب لإعادة التوليد)

التقدم

• التحقق من TR39 (1,418 زوجًا، 230 خطًا، أنابيب SSIM)
• اكتشاف مربكات جديدة (793 زوجًا عالي الدرجة من 23,317 مرشحًا، SSIM)
• مسح المربكات عبر النصوص (12 نصًا من ICANN، 23.6 مليون زوج، 563 اكتشافًا، SSIM)
• الاستعلام عن الخطوط ومقارنتها لكل خط
• مسجل RaySpace بخمس طبقات من الخطوط المتجهة (يحل محل SDF وSSIM للاكتشاف)
• اكتشاف RaySpace لحرف واحد (249,976 زوجًا فريدًا، 245 خطًا، 12 نصًا)
• اكتشاف RaySpace متعدد الأحرف (2,524,275 زوجًا ثنائيًا فريدًا، 245 خطًا)
• اكتشاف عبر النصوص باستخدام RaySpace (أكثر بنسبة 305% من SDF، مجموعة شاملة صارمة)
• إنتاج confusable-weights-v2.json مع سجلات توزيعية لكل زوج: المتوسط، p50، p90، عدد الخطوط، عدد المسافة الصفرية، جزء المسافة الصفرية، والمستوى الموصى به (صارم/قياسي/استكشافي). مسافات RaySpace تحل محل SSIM. 4,174 زوجًا عند العتبة القياسية.
• تنسيق بنك التوقيعات الثنائي (تقليل زمن التحميل من 273 ثانية إلى ثوانٍ)
• تسجيل الخطوط العشوائية بالمسار دون إعادة تشغيل الأنابيب بالكامل

متعلق

• namespace-guard (v0.16.0+) يستهلك confusable-weights.json لتقييم المخاطر البصرية المقاسة عبر confusableDistance({ weights })
• REPORT.md: تقرير فني كامل من أنابيب SSIM (12 قسمًا، تحليل لكل خط، ملاحق)

منشورات المدونة

كتابات على paultendo.github.io تغطي النتائج والمنهجية وراء هذا المشروع:

منهجية RaySpace ونتائجها:

• RaySpace: قياس تشابه الحروف الرسومية باستخدام تتبع الشعاع من الخطوط المتجهة
• من أجهزة التصوير المقطعي إلى الأحرف المربكة: الفن السابق وراء RaySpace
• المربكات متعددة الأحرف: عندما يصبح rn m
• 250,000 زوج مربك. 102 منها مهمة لأسماء النطاقات.

نتائج أنابيب SSIM:

• عرضت 1,418 زوجًا مربكًا من Unicode عبر 230 خطًا. معظمها ليس مربكًا للعين.
• 793 حرفًا من Unicode تشبه الحروف اللاتينية ولكنها ليست (بعد) في confusables.txt
• 28 حرفًا من CJK والهانغول تشبه الحروف اللاتينية
• 248 زوجًا مربكًا عبر النصوص لا يغطيها أي معيار
• أسرع بـ148 مرة: إعادة بناء أنابيب مسح Unicode للقياس عبر النصوص
• عندما يكذب تشابه الأشكال: القطع الأثرية لنسبة الحجم في كشف المربكات
• DDoS الجديد: مربكات Unicode لا يمكنها خداع LLMs، ولكنها يمكنها مضاعفة فاتورة API 5 مرات

خلفية

كتابات تغطي مساحة المشكلة الأوسع التي حفزت هذا المشروع:

• نموذج تهديد لانتحال معرفات Unicode
• جعل مخاطر Unicode قابلة للقياس
• نموذجك اللغوي الكبير يقرأ نقاط كود Unicode، وليس الحروف الرسومية. هذا سطح هجوم.
• من يحمي كشف المربكات فعليًا؟
• Unicode يشحن خريطة مربكة واحدة. تحتاج اثنتين.
• confusables.txt وNFKC يختلفان على 31 حرفًا

الترخيص

• الكود (src/, scripts/): MIT
• البيانات المولدة (data/output/): CC-BY-4.0. حر الاستخدام والمشاركة والتعديل لأي غرض بما في ذلك التجاري، مع الإسناد.
• الإسناد: بول وود FRSA (@paultendo)، confusable-vision