AIL Framework

Открытая платформа для сбора, обхода, обработки и анализа неструктурированной информации.

AIL framework — это открытая платформа для сбора, обхода, обработки и анализа неструктурированных данных из открытого веба, Tor, I2P, чатов, файлов и внешних источников.

Изначально разработанный в CIRCL, AIL помогает аналитикам превращать сырой, неупорядоченный контент в структурированную информацию с помощью извлечения, тегирования, обнаружения, корреляции и расследований.

Что такое AIL? https://ail-project.org

AIL (Analysis of Information Leaks) — это открытая платформа для сбора, обхода, обработки и анализа неструктурированной информации. Он поддерживает процессы сбора разведывательной информации, анализа утечек и расследований, помогая аналитикам извлекать, обнаруживать, коррелировать и обмениваться релевантной информацией из широкого круга источников.

AIL включает:

• расширяемый фреймворк на Python для обработки и анализа неструктурированной информации,
• менеджер краулеров для непрерывного и аутентифицированного сбора,
• фидеры для платформ общения и внешних потоков,
• движок обнаружения и ретроохоты на основе ключевых слов, регулярных выражений и YARA,
• возможности поиска, корреляции и расследования для перехода между извлечёнными данными,
• и функции экспорта/интеграции для таких платформ, как MISP.

Жизненный цикл интеллекта AIL

AIL следует практическому рабочему процессу анализа информации:

1. Сбор Непрерывное получение из чатов, веб-сайтов, скрытых сервисов, файлов и потоков.
2. Обработка Извлечение, декодирование, OCR, распознавание QR- и штрихкодов, обогащение и тегирование.
3. Обнаружение Отслеживание в реальном времени с помощью слов, наборов, регулярных выражений, тип-сквоттинга и правил YARA.
4. Анализ Поиск, поворот данных, графы корреляции и расследования.
5. Распространение Экспорт результатов и объектов в платформы обмена разведданными MISP.

Что нового в AIL v6.7

Сейчас AIL доступен в версии v6.7, и последние выпуски значительно расширили возможности поиска, анализа изображений, обхода и обработки документов.

Основные моменты:

• Единый интерфейс поиска с сортировкой по наилучшему совпадению и по новизне
• Фильтрация по диапазону дат и улучшенные расширенные методы поиска
• Описания изображений и скриншотов для более быстрого визуального анализа и поиска
• Расширенное извлечение OCR и QR, включая поддержку более сложных случаев с изображениями
• Полный конвейер обработки PDF, включая извлечение метаданных и поддержку перевода
• Поддержка обхода I2P в дополнение к сбору из открытого веба и Tor
• Пассивная корреляция SSH для анализа инфраструктуры и процессов деанонимизации
• Улучшенное исследование чатов для таких платформ, как Discord, Telegram и Matrix

Возможности

Сбор

• Модульная архитектура для обработки потоков неструктурированной информации
• Поддержка множества фидеров и импортёров
• Фидеры для чатов и потоковых источников, таких как Discord, Telegram и других провайдеров
• Поддержка обхода открытого веба, даркнета, скрытых сервисов Tor (.onion) и I2P
• Аутентифицированный обход с повторным использованием браузерных сессий, куки и локального хранилища
• Непрерывный или по запросу мониторинг веб-сайтов и скрытых сервисов
• Возможность отправки/импорта через веб-интерфейс

Обработка и обогащение

• Полнотекстовое индексирование неструктурированной информации (чаты, содержимое с краулинга)
• Извлечение URL, имен хостов, адресов электронной почты и учётных данных
• Обнаружение номеров телефонов, API-ключей, IBAN, сертификатов и закрытых ключей
• Обнаружение адресов Bitcoin, закрытых ключей и связанных артефактов криптовалют
• Извлечение и декодирование файлов из закодированного содержимого (Base64, hex)
• Обработка OCR для скриншотов и изображений
• Извлечение QR-кодов и штрихкодов с повторной обработкой встроенного содержимого
• Описания изображений, скриншотов и доменов с помощью ИИ
• Извлечение метаданных PDF, их импорт и перевод
• Система тегирования с использованием MISP Galaxy и MISP Taxonomies

Обнаружение и отслеживание

Трекеры — это определённые пользователем правила или шаблоны, которые автоматически обнаруживают, тегируют и уведомляют аналитиков о релевантной информации, собранной AIL.

Поддерживаемые типы трекеров:

• отслеживание по словам
• отслеживание по наборам слов
• отслеживание по регулярным выражениям
• правила YARA
• обнаружение тип-сквоттинга

Возможности обнаружения включают:

• тегирование и классификация в реальном времени
• отслеживание появлений объектов
• уведомления через вебхуки или электронную почту
• встроенный редактор YARA

AIL также поддерживает Retro Hunts, позволяя аналитикам запускать вновь созданные правила YARA против исторических данных для выявления ранее пропущенного контента.

Поиск, корреляция и расследование

• Единый интерфейс поиска с сортировкой по новизне и релевантности
• Поиск по диапазону дат и специализированный расширенный поиск для отдельных типов данных
• Поиск по чатам, обойдённым доменам, заголовкам, именам файлов и описаниям, сгенерированным ИИ
• Движок корреляции и визуализация графов для связей между:
  • декодированными файлами и хэшами
  • метаданными PGP
  • доменами, заголовками, dom-hash, favicons, именами cookie
  • именами пользователей и учётными записями
  • CVE
  • SSH-ключами
  • криптовалютами
  • метаданными PDF
  • ...
• Процесс расследования для группировки, обогащения и отслеживания находок аналитика