EmailXpose

# Спецификация EmailXpose
**Прозрачность электронной почты на основе ИИ**
- HTML-зеркало: [https://roxanneardary.com/emailxpose-specification/](https://roxanneardary.com/emailxpose-specification/)  

---

## Обзор спецификации

EmailXpose — это открытая модульная система ИИ-безопасности и аналитики электронной почты, предназначенная для анализа содержимого писем, личности отправителя, ссылок, вложений, изображений и видео с целью выявления фишинга, спама, мошенничества, вредоносного ПО, социальной инженерии, обмана и контекстуальных аномалий.

EmailXpose сочетает традиционный анализ безопасности электронной почты с обработкой естественного языка, компьютерным зрением, мультимодальным интеллектом, поведенческим анализом, анализом угроз и интерпретацией символики. Система предназначена для объяснения своих выводов, а не просто для присвоения классификации угроз.

Архитектура должна поддерживать локально-ориентированную и автономную работу, модульные модели ИИ, настраиваемые политики обнаружения, проверку человеком, расширяемую аналитику угроз и дополнительные плагины без необходимости зависимости пользователей от конкретного поставщика или облачного провайдера.

## Принципы проектирования

- Реализация с открытым исходным кодом
- Модульная архитектура
- Локально-ориентированная обработка
- Анализ с возможностью работы офлайн
- Работа с сохранением конфиденциальности
- Отсутствие автоматического выполнения недоверенного содержимого электронной почты
- Принятие решений с участием человека
- Объяснимый ИИ
- Мультимодальный анализ
- Нейтральные к поставщикам интеграции
- Заменяемые модели ИИ
- Настраиваемые политики обнаружения
- Расширяемая архитектура плагинов
- Воспроизводимый анализ
- Безопасное поведение по умолчанию

---

## Основные требования к системе

EmailXpose должен предоставлять единый конвейер анализа, способный принимать сообщения электронной почты из локальных файлов, почтовых ящиков, поддерживаемых протоколов, API или совместимых интеграций.

Система должна разделять сбор, нормализацию, анализ, оценку, объяснение, хранение и представление на независимые модули.

Каждый компонент анализа должен создавать структурированные результаты, которые можно независимо оценивать, комбинировать, отображать, экспортировать или передавать другому модулю анализа.

Система никогда не должна выполнять недоверенные вложения электронной почты непосредственно на хост-системе.

---

## Основные модули

### Модуль сбора электронной почты

Модуль сбора электронной почты должен предоставлять безопасные механизмы импорта сообщений электронной почты в EmailXpose.

Возможности:

- Сбор электронной почты через IMAP
- Обработка сообщений, совместимых с SMTP
- Импорт локальных файлов электронной почты
- Разбор MIME-сообщений
- Обработка многокомпонентных сообщений
- Извлечение HTML-писем
- Извлечение обычного текста
- Извлечение встроенного содержимого
- Идентификация вложений
- Извлечение метаданных сообщения
- Нормализация сообщений
- Обнаружение дублирующихся сообщений
- Отслеживание целостности сообщений
- Настраиваемое сканирование почтовых ящиков

Модуль должен передавать нормализованные объекты электронной почты downstream-модулям анализа без выполнения активного содержимого.

### Модуль криминалистики заголовков электронной почты

Модуль криминалистики заголовков электронной почты должен проверять технические метаданные, связанные с доставкой и аутентификацией электронной почты.

Возможности:

- Полная проверка заголовков
- Анализ SPF
- Анализ DKIM
- Анализ DMARC
- Анализ результатов аутентификации
- Проверка Return-Path
- Анализ Reply-To
- Анализ взаимосвязи отправителя и получателя
- Обнаружение несоответствия отображаемого имени
- Анализ полученных заголовков
- Обнаружение аномалий маршрутизации
- Анализ выравнивания доменов
- Индикаторы подделки
- Оценка уверенности аутентификации
- Формирование временной шкалы заголовков

Модуль должен создавать структурированные результаты аутентификации и маршрутизации, которые можно включать в общую оценку угроз.

### Модуль идентичности и доверия отправителя

Модуль идентичности и доверия отправителя должен оценивать, соответствует ли видимый отправитель известным личностям и организационным связям.

Возможности:

- Профили личности отправителя
- Оценка доверия к отправителю
- Распознавание известных контактов
- Обнаружение нового отправителя
- Распознавание доверенных доменов
- История поведения отправителя
- Обнаружение подделки отображаемого имени
- Обнаружение подделки руководителя
- Обнаружение подделки контакта
- Проверка организационной идентичности
- Сопоставление связей отправителя
- Формирование графа идентичности отправителя
- Обнаружение похожих отправителей

Модуль должен поддерживать локальную информацию о доверии без необходимости централизованного сбора контактов пользователей.

### Модуль аналитики доменов

Модуль аналитики доменов должен анализировать домены, связанные с отправителями, ссылками, перенаправлениями и встроенным содержимым.

Возможности:

- Анализ репутации домена
- Анализ возраста домена
- Обнаружение недавно зарегистрированных доменов
- Обнаружение похожих доменов
- Обнаружение гомографов
- Обнаружение IDN-атак
- Обнаружение подозрительных поддоменов
- Анализ связей доменов
- Проверка согласованности доменов
- Проверка организационных доменов
- Анализ репутации IP
- Оценка угроз домена

Модуль должен поддерживать заменяемые и настраиваемые источники аналитики.

### Модуль анализа ссылок

Модуль анализа ссылок должен проверять URL-адреса без необходимости их открытия пользователем.

Возможности:

- Извлечение URL
- Нормализация URL
- Анализ назначения
- Проверка цепочки перенаправлений
- Анализ сокращённых URL
- Обнаружение подозрительных параметров
- Обнаружение закодированных URL
- Обнаружение несоответствия доменов
- Сравнение отображаемой ссылки и назначения
- Обнаружение вредоносных доменов
- Обнаружение фишинговых URL-паттернов
- Оценка репутации ссылок
- Проверка безопасных ссылок

Анализ ссылок должен выполняться в контролируемых сетевых и безопасных границах.

### Модуль аналитики угроз

Модуль аналитики угроз должен сопоставлять результаты EmailXpose с доступной аналитикой угроз.

Возможности:

- Интеграция с фидами угроз
- Сопоставление известных вредоносных доменов
- Сопоставление известных вредоносных URL
- Репутация IP
- Снятие отпечатков фишинговых кампаний
- Сопоставление индикаторов вредоносного ПО
- Сопоставление мошеннических паттернов
- Сопоставление сигнатур угроз
- Идентификация новых угроз
- Корреляция аналитики угроз
- Поддержка локальной базы данных угроз
- Поддержка аналитики угроз сообщества

Источники аналитики угроз должны быть необязательными и заменяемыми.

### Модуль анализа естественного языка

Модуль анализа естественного языка должен анализировать семантические и лингвистические характеристики содержимого электронной почты.

Возможности:

- Классификация текста
- Семантический анализ
- Классификация намерений
- Распознавание сущностей
- Обнаружение подозрительных фраз
- Обнаружение фишингового языка
- Обнаружение мошеннического языка
- Классификация спама
- Обнаружение запросов учётных данных
- Обнаружение запросов платежей
- Обнаружение запросов конфиденциальной информации
- Анализ семантического сходства
- Анализ стиля письма
- Идентификация языка
- Многоязычный анализ
- Индикаторы содержимого, созданного ИИ

Модуль должен поддерживать несколько моделей и позволять заменять модели без перепроектирования основного приложения.

### Модуль поведенческого и психологического анализа

Модуль поведенческого и психологического анализа должен выявлять паттерны социальной инженерии и манипуляций в сообщениях.

Возможности:

- Обнаружение срочности
- Обнаружение убеждения на основе страха
- Обнаружение давления авторитетом
- Обнаружение эмоциональных манипуляций
- Обнаружение манипуляций вознаграждением
- Обнаружение убеждения на основе угроз
- Анализ социальной инженерии
- Индикаторы принуждения
- Тактика давления
- Тактика изоляции
- Обнаружение ложного дефицита
- Обнаружение искусственных сроков
- Запросы секретности
- Необычные поведенческие запросы
- Анализ тона
- Обнаружение смены тона
- Обнаружение аномалий стиля письма
- Индикаторы возможного взлома учётной записи

Результаты должны представляться как вероятностные индикаторы, а не как окончательные утверждения о психологическом состоянии или намерениях отправителя.

### Модуль обнаружения мошенничества и обмана

Модуль обнаружения мошенничества и обмана должен выявлять паттерны, связанные с мошенническими коммуникациями.

Возможности:

- Обнаружение поддельных счетов
- Обнаружение платёжного мошенничества
- Обнаружение компрометации деловой электронной почты
- Обнаружение инвестиционных мошенничеств
- Обнаружение мошенничеств с трудоустройством
- Обнаружение подделки государственных органов
- Подделка финансовых учреждений
- Мошенничество с технической поддержкой
- Мошенничество с доставкой
- Мошенничество с подписками
- Мошенничество с благотворительностью
- Индикаторы мошенничества с предоплатой
- Индикаторы мошенничества в отношениях
- Индикаторы шантажа и сексторции
- Кампании по краже учётных данных
- Мошенничество с восстановлением учётных записей
- Паттерны кражи личности

Модуль должен поддерживать постоянно обновляемые правила обнаружения и модели машинного обучения.

### Модуль обнаружения спама

Модуль обнаружения спама должен выявлять нежелательную и низкоценную электронную почту.

Возможности:

- Обнаружение спама на основе содержимого
- Обнаружение спама на основе отправителя
- Обнаружение спама на основе репутации
- Кластеризация кампаний
- Обнаружение повторяющихся сообщений
- Индикаторы массовых сообщений
- Обнаружение рекламных паттернов
- Подозрительное поведение при рассылке
- Интеграция отзывов пользователей
- Персонализированная классификация спама

### Модуль защиты от вредоносного ПО и вложений

Модуль защиты от вредоносного ПО и вложений должен проверять вложения и потенциально опасное содержимое без его выполнения на хост-системе.

Возможности:

- Карантин вложений
- Идентификация типа файла
- Обнаружение подделки расширений
- Статический анализ вредоносного ПО
- Проверка архивов
- Проверка вложенных архивов
- Обнаружение исполняемых файлов
- Обнаружение макросов
- Обнаружение скриптов
- Анализ вредоносных документов
- Анализ угроз PDF
- Анализ документов Office
- Обнаружение обфускации
- Индикаторы полезной нагрузки
- Проверка метаданных файлов
- Генерация хэшей
- Сопоставление сигнатур вредоносного ПО
- Изолированный анализ в песочнице
- Интеграция ClamAV
- Настраиваемые движки анализа вредоносного ПО

Всё потенциально исполняемое содержимое должно оставаться изолированным до явного освобождения пользователем или авторизованным рабочим процессом безопасности.

### Модуль анализа изображений

Модуль анализа изображений должен анализировать изображения, встроенные в электронные письма или предоставленные в качестве вложений.

Возможности:

- Классификация изображений
- Обнаружение объектов
- Анализ визуального сходства
- Распознавание логотипов
- Идентификация брендов
- Индикаторы подлинности изображений
- Индикаторы манипуляции изображениями
- OCR
- Обнаружение скрытого текста
- Проверка метаданных
- Обнаружение подозрительных визуальных паттернов
- Анализ контекста изображения
- Семантическое сравнение изображения и письма
- Согласование изображения и текста
- Обнаружение вводящих в заблуждение изображений

### Модуль обнаружения подделки брендов и логотипов

Модуль обнаружения подделки брендов и логотипов должен выявлять визуальную подделку организаций, продуктов, услуг и доверенных брендов.

Возможности:

- Распознавание логотипов
- Анализ сходства логотипов
- Обнаружение изменённых логотипов
- Обнаружение поддельного корпоративного брендинга
- Подделка финансовых брендов
- Подделка государственного брендинга
- Подделка розничных брендов
- Подделка технологических брендов
- Анализ согласованности текста бренда
- Анализ согласованности домена бренда
- Обнаружение несоответствия визуальной идентичности

### Модуль анализа видео

Модуль анализа видео должен проверять видеосодержимое, прикреплённое к электронной почте или встроенное в неё.

Возможности:

- Проверка метаданных видео
- Извлечение кадров
- Выбор ключевых кадров
- Анализ сцен
- Обнаружение аномалий кадров
- Сравнение визуального текста
- Сравнение контекста видео и письма
- Индикаторы манипуляции
- Обнаружение вводящих в заблуждение медиа
- OCR из видеокадров
- Транскрипция аудио при поддержке
- Мультимодальная интерпретация видео

Анализ видео должен выполняться в изолированных средах обработки.

### Модуль анализа скрытого содержимого и стеганографии

Модуль анализа скрытого содержимого и стеганографии должен выявлять индикаторы того, что информация была скрыта в медиа.

Возможности:

- Обнаружение скрытого текста
- Обнаружение текста с низким контрастом
- Извлечение на основе OCR
- Обнаружение подозрительных метаданных изображений
- Индикаторы стеганографии
- Обнаружение аномалий встроенного содержимого
- Обнаружение скрытых URL
- Индикаторы закодированного содержимого
- Анализ необычной структуры изображений
- Анализ метаданных вложений

Модуль должен выявлять индикаторы и аномалии, не утверждая, что скрытая информация является вредоносной только потому, что она скрыта.

### Модуль интерпретации символики и контекста

Модуль интерпретации символики и контекста должен анализировать символическое и контекстуальное значение в тексте и медиа электронной почты.

Возможности:

- Обнаружение символов
- Классификация символов
- Контекстуальный анализ символики
- Интерпретация визуальной символики
- Анализ текстовой символики
- Сопоставление культурных символов
- Сопоставление психологической символики
- Анализ эмоциональной символики
- Обнаружение символики авторитета
- Символика страха и угроз
- Символика доверия
- Финансовая символика
- Анализ символики бренда
- Идентификация релевантной культурной или политической символики
- Сопоставление связей символа и контекста
- Анализ контекстуального значения

Модуль должен различать обнаруженные символы и предполагаемые интерпретации и должен сообщать о неопределённости, когда интерпретация неоднозначна.

### Модуль повествовательного намерения

Модуль повествовательного намерения должен анализировать, что сообщение, по-видимому, пытается передать, убедить, поощрить или побудить получателя сделать.

Возможности:

- Моделирование повествовательного намерения
- Анализ убедительного повествования
- Извлечение запрошенных действий
- Обнаружение подразумеваемых действий
- Идентификация поведенческих целей
- Корреляция паттернов манипуляции
- Анализ эмоционального обрамления
- Обрамление авторитетом
- Обрамление вознаграждением
- Обрамление угрозой
- Обрамление секретности
- Анализ повествования о построении доверия
- Оценка уверенности намерения

Модуль должен сообщать о предполагаемом намерении как об аналитической оценке, а не как о фактическом определении личных мотивов отправителя.

### Модуль контекстуального дрейфа

Модуль контекстуального дрейфа должен выявлять противоречия между различными компонентами электронного письма.

Возможности:

- Сравнение текста и изображения
- Сравнение текста и видео
- Сравнение текста и вложения
- Согласованность отправителя и содержимого
- Согласованность бренда и домена
- Согласованность темы и тела
- Согласованность вложения и сообщения
- Согласованность заявленной организации и визуальной идентичности
- Анализ согласованности повествования
- Обнаружение семантических противоречий
- Обнаружение мультимодальных аномалий

### Модуль мультимодального интеллекта

Модуль мультимодального интеллекта должен объединять результаты анализа текста, изображений, видео, вложений, отправителя, ссылок и символики.

Возможности:

- Слияние текста и изображений
- Слияние текста и видео
- Слияние текста и вложений
- Слияние отправителя и содержимого
- Слияние визуального намерения
- Обнаружение мультимодальных аномалий
- Обнаружение перекрёстных модальных противоречий
- Анализ семантического согласования
- Единый граф намерений
- Оценка комбинированных доказательств
- Мультимодальная оценка уверенности

### Модуль оценки риска

Модуль оценки риска должен объединять результаты отдельных модулей анализа в прозрачную оценку.

Возможности:

- Общий балл угрозы
- Вероятность фишинга
- Вероятность спама
- Вероятность мошенничества
- Вероятность вредоносного ПО
- Балл социальной инженерии
- Балл риска отправителя
- Балл риска домена
- Балл риска ссылки
- Балл риска вложения
- Балл риска медиа
- Балл контекстуальной аномалии
- Балл аномалии символики
- Комбинированный балл угрозы
- Настраиваемые пороговые значения
- Пользовательские политики
- Политики организации
- Оценка с учётом доказательств

Система оценки должна сохранять отдельные влияющие факторы, чтобы пользователи могли понять, как была получена окончательная оценка.

### Модуль объяснимости

Модуль объяснимости должен преобразовывать результаты анализа в понятные доказательства.

Возможности:

- Объяснения, почему это было отмечено
- Выделение подозрительных фраз
- Выделение подозрительных ссылок
- Выделение подозрительных вложений
- Объяснения аномалий заголовков
- Объяснения риска отправителя
- Объяснения визуальных аномалий
- Объяснения символики
- Объяснения поведенческого анализа
- Разбивка факторов риска
- Оценка на основе доказательств
- Индикаторы уверенности
- Понятные отчёты
- Отчёты для аналитиков

### Модуль расследования угроз

Модуль расследования угроз должен предоставлять инструменты для более глубокого изучения подозрительных сообщений.

Возможности:

- Рабочее пространство криминалистики электронной почты
- Реконструкция сообщений
- Временная шкала заголовков
- Расследование ссылок
- Расследование вложений
- Расследование отправителя
- Расследование домена
- Расследование медиа
- Сбор доказательств
- Обнаружение связанных сообщений
- Сопоставление связей кампаний

---

[Read more](https://gitlab.com/roxanne_ardary/emailxpose)