confusable-vision

Эмпирическая оценка сходства глифов с помощью векторного рейкастинга. Визуализирует конфьюзабельные пары символов Unicode на 245 системных шрифтах, измеряет структурное сходство напрямую по контурам шрифта (без растеризации) и создает оценённые JSON-артефакты с непрерывными показателями расстояния для каждого шрифта.

Ключевые результаты из 52,6 миллионов односимвольных и 190 миллионов многосимвольных сравнений для 22 581 символа и 12 систем письма:

• 249 976 уникальных односимвольных конфьюзабельных пар для 245 шрифтов, 12 систем письма, 66 межсистемных пар. 764 395 открытий на уровне шрифта.
• 2 524 275 уникальных многосимвольных (биграммных) конфьюзабельных пар, включая rn/m для 95 шрифтов (33 из них с расстоянием ниже 0,40) и oy/кириллическая uk для 16 шрифтов.
• Непрерывные показатели расстояния для каждого шрифта, а не бинарные списки. Каждая пара имеет измеренное расстояние луча для каждого шрифта, что обеспечивает осведомлённость о шрифте при последующем использовании в инструментах безопасности.
• На 305% больше открытий, чем SDF, на 29% быстрее. Обогащённая пятислойная сигнатура луча является строгим надмножеством результатов SDF; пары, найденные исключительно SDF, не подтвердились при ручной проверке.

Выходные данные напрямую подаются в namespace-guard для обнаружения конфьюзабельных символов во время выполнения в именах пакетов, доменных именах и идентификаторах.

Принцип работы

RaySpace испускает параллельные лучи через контуры шрифта под 36 углами и захватывает пять слоёв информации для каждого глифа: количество пересечений, позиции пересечений, углы пересечений, ping-расстояния (ширина штриха в каждом пересечении) и ping max (ширина промежутка между пересечениями). Это создаёт компактную сигнатуру для каждого символа в каждом шрифте. Две сигнатуры сравниваются с помощью взвешенного L1-расстояния по всем пяти слоям.

Трёхступенчатый каскад фильтров делает полное сравнение осуществимым:

1. Фильтр ширины упреждения (допуск 15%) отсеивает пары с разной шириной символов. Удаляет 63% кандидатов.
2. Сравнение лучей (порог 2,0, ужесточён до 1,0 для больших пар систем письма). Удаляет ещё 33%.
3. Только 3,3% кандидатов выживают и становятся открытиями.

Банк сигнатур (294 646+ записей для 245 шрифтов; больше с --include-uppercase) предварительно вычисляется один раз. Затем обнаружение выполняется как однопоточные арифметические операции над банком, завершая 52,6 миллиона сравнений пар за 31 минуту без рабочих потоков или GPU.

Быстрый старт

npm install

# 1. Построить банк лучевых сигнатур (обязательно, ~24 мин)
npx tsx scripts/build-signature-bank.ts

# 1b. Включить заглавные буквы латиницы A–Z (опционально)
#     По умолчанию банк включает только IDNA PVALID кодовые точки (строчные,
#     цифры, символы). Используйте --include-uppercase для добавления заглавных A-Z, полезно
#     для идентификации шрифтов и визуального сравнения товарных знаков, где важны
#     формы заглавных глифов. Сборщик возобновляем, поэтому будут вычисляться только
#     дополнительные кодовые точки.
npx tsx scripts/build-signature-bank.ts --include-uppercase

# 1c. Включить произвольные диапазоны кодовых точек (опционально)
npx tsx scripts/build-signature-bank.ts --extra-range=0041-005A

# 2. Обнаружение односимвольных пар (22 581 символ, 12 систем письма, ~36 мин)
npx tsx scripts/discover-singlechar-sdf.ts --scorer=ray

# 3. Обнаружение многосимвольных пар (биграммы) (676 биграмм, ~63 мин)
npx tsx scripts/discover-multichar-sdf.ts --scorer=ray

# 4. Оценка известных многосимвольных конфьюзабельных пар из TR39 (~5 мин)
npx tsx scripts/score-multichar-sdf.ts --scorer=ray

# Оценка конфьюзабельных пар из TR39
npx tsx scripts/build-index.ts          # Построить индекс (~160 с, 11 370 PNG)
npx tsx scripts/score-all-pairs.ts      # Оценить все пары (~65 с, 235 000 сравнений)

# Обнаружение новых конфьюзабельных пар
npx tsx scripts/build-candidates.ts          # Набор кандидатов (~23 000 символов)
npx tsx scripts/build-index.ts --candidates  # Визуализировать кандидатов (~40 мин, 89 000 PNG)
npx tsx scripts/score-candidates.ts          # Оценить по отношению к латинским целям (~15 мин, 2,9 млн сравнений)

# Извлечь высокооценённые открытия из обоих конвейеров
npx tsx scripts/extract-discoveries.ts

Что было найдено

Лучшие конфьюзабельные пары (односимвольные, среднее расстояние < 0,10)

«Нули» = шрифты, в которых контуры дают побитно идентичные лучевые сигнатуры (расстояние 0,000). Латинская w и кириллическая ԝ идентичны во всех 19 шрифтах, содержащих оба глифа.

Межсистемные прорывы (односимвольные)

Грузинская Coda (U+10FF) образует четырёхстороннее кольцо конфьюзабельности с латинской o, кириллической o и греческим омикроном — все с расстоянием ниже 0,08.

Многосимвольные заглавные результаты

Открытие oy/кириллическая uk является выдающимся новым результатом: латинская биграмма «oy» визуально идентична кириллической букве-диграфу uk (ѹ) с расстоянием 0,000 в Helvetica и 0,0005 в Arial Unicode MS.

Калибровка порогов

Три рекомендуемых рабочих уровня:

• Строгий (< 0,50): 138 односимвольных пар, почти нулевой уровень ложных срабатываний. Подходит для автоматической блокировки (регистрация IDN, проверка имён пакетов), где ложные срабатывания имеют реальную стоимость.
• Стандартный (< 1,00): 4 174 односимвольных пар, хороший баланс охвата и точности. Подходит для пометки и ручной проверки в инструментах безопасности.
• Исследовательский (< 2,00): Полный набор обнаружений. Содержит шум на верхнем конце, но полезен для исследований, аудита шрифтов и создания обучающих наборов.

Запросы по шрифтам

Узнайте, какие конфьюзабельные пары существуют для конкретного шрифта. Полезно для дизайнеров шрифтов, выпускающих новый гарнитур, вендоров браузеров, оценивающих смену системного шрифта, или любого, кто выбирает экранный шрифт для чувствительных к безопасности контекстов, таких как IDN-домены.