davidjacobson/safetextСкрипт для удаления гомоглифов и символов нулевой ширины, чтобы обеспечить безопасное распространение документов из анонимных источников.
Инструмент для очистки текста, позволяющий безопасно распространять документы от анонимных источников путём удаления нулевой ширины символов и омоглифов.
Лица, пытающиеся утечь электронное письмо или другой текстовый файл, рискуют быть идентифицированы через фингепринтинг. Фингепринтинг часто происходит, когда первоначальный распространитель документа встроил некоторую форму канарейки. Например, письмо Илона Маска в 2008 году в ответ на утечки содержало немного разные формулировки для каждого сотрудника. Эта тактика была осознана сотрудниками и провалилась. Более простая тактика, также используемая, — это наличие почти невидимых изменений в тексте. SafeText предназначен для выявления и удаления этих изменений. В частности, этот инструмент удаляет омоглифы, символы нулевой ширины и другие незаметные символы. Этот инструмент также попытается выявить уникальное написание слов, которое может выдать местоположение человека.
Чтобы использовать SafeText, вызовите:
python safetext.py inputfile
Пример вывода:
λ python safetext.py TestFile.txt
[*] Cleaning TestFile.txt to TestFile.txt.safe ...
[!] FOUND HOMOGLYPHIC CHARACTER CYRILLIC_large_H ON LINE 1
The message said: "(Н)ey, let's hang out!"
[!] FOUND a SPACE ON LINE # 2
Lorem*Ipsum*Dolor*Sit
[!] WARNING - Use of spelling (colour) that identifies country on line 3
[!] FOUND HOMOGLYPHIC CHARACTER GREEK_B ON LINE 5
[!] FOUND HOMOGLYPHIC CHARACTER GREEK_C ON LINE 5
Subject: (Β)udget (Ϲ)uts
[*] Output file closed
Примечание: Соответствующие символы будут подчёркнуты, а не заключены в скобки. SafeText выведет результат в infile.safe.