Hooker: Автоматизированный динамический анализ Android-приложений

О Hooker

Функциональное описание

Hooker — это проект с открытым исходным кодом для динамического анализа Android-приложений. Проект предоставляет различные инструменты и приложения, которые можно использовать для автоматического перехвата и изменения любых API-вызовов, совершаемых целевым приложением.

Он использует фреймворк Android Substrate для перехвата этих вызовов и сбора всей их контекстной информации (параметры, возвращаемые значения, ...). Собранная информация может сохраняться либо в ElasticSearch, либо в JSON-файлах.

Также предоставляется набор Python-скриптов для автоматизации выполнения анализа с целью сбора всех API-вызовов, совершаемых набором приложений.

Отказ от ответственности

Android-Hooker — это концепт-прототип, основанный на фреймворке Substrate. Это означает, что Hooker не будет работать, если Substrate неправильно установлен на вашем устройстве. На данный момент авторы успешно установили Substrate на устройства с версиями Android 4.1 и 4.2. Если вы знаете, как установить Substrate на более новые версии, пожалуйста, сообщите нам по электронной почте [email protected], и мы будем рады интегрировать это в проект.

Техническое описание

Hooker состоит из нескольких модулей:

APK-instrumenter — это Android-приложение, которое должно быть установлено на Android-устройство (например, эмулятор) перед проведением анализа.
hooker_xp — это Python-инструмент, который можно использовать для управления Android-устройством и запуска установки и стимуляции приложения на нём.
hooker_analysis — это Python-скрипт, который можно использовать для сбора результатов, хранящихся в базе данных Elasticsearch.
tools/APK-contactGenerator — это Android-приложение, которое автоматически устанавливается на Android-устройство с помощью hooker_xp для внедрения поддельной контактной информации.
tools/apk_retriever — это Python-инструмент, который можно использовать для загрузки APK из различных публичных онлайн-магазинов Android.
tools/emulatorCreator — это набор скриптов, которые можно использовать для подготовки эмулятора.

Дополнительная информация

Веб-сайт: https://github.com/AndroidHooker/hooker
FAQ доступен здесь
Трекер ошибок: запросы об ошибках и новых функциях собираются в GitHub Issues
Электронная почта: [email protected]
Twitter: подписывайтесь на аккаунты авторов (@Tibapbedoum и @Lapeluche)

Начало работы

Мы разрабатывали Hooker в 64-битной системе Debian, поэтому он может неправильно работать в других системах из-за неверных путей или параметров. Мы будем очень признательны за помощь в выявлении таких несовместимостей. Пожалуйста, сообщите об ошибке в нашем трекере ошибок, если столкнётесь с какой-либо проблемой при его использовании.

Для использования Hooker вам понадобится как минимум один сервер, на котором установлены:

python 2.7,
elasticsearch 1.7,
kibana 4.1,
Android 4.1 и 4.2,
androguard 1.9.

Настройка хоста ElasticSearch

Этот шаг связан с установкой ElasticSearch. Пожалуйста, скачайте и следуйте онлайн-документации ElasticSearch: http://www.elasticsearch.org/overview/elkdownloads/. Вы можете установить Elasticsearch на одном хосте или развернуть кластер узлов Elasticsearch.

Настройка Android SDK

Вы можете загрузить Android bundle здесь. Если вы хотите использовать установочный скрипт Hooker, вам необходимо:

Убедитесь, что вы задали переменную окружения ANDROID_HOME: $ export ANDROID_HOME=/path/to/your/sdk/folder
Загрузите SDK APIs через ваш SDK Manager.

Установка

Для помощи в сборке и установке всех необходимых зависимостей предоставляется установочный скрипт. Если вы хотите использовать этот скрипт, убедитесь, что у вас есть следующие зависимости:

# openjdk-7-jdk, ant, python-setuptools (just apt install them)

Когда всё будет готово, запустите установочный скрипт в корневом каталоге Hooker:

$ ./install.sh

Создание вашего эталонного Android Virtual Device (AVD)

Проверьте наличие доступных целей: $ $ANDROID_HOME/tools/android list target.
Запустите автоматический скрипт для более простой установки: cd tools/emulatorCreator && python HookerInstaller.py -s SDK_PATH -a Hooker_test -t ANDROID_TARGET -d AVD_DIRECTORY,
Когда журналы Python сообщат вам об этом:
- Откройте приложение SuperSU, нажмите "Continue" для обновления двоичного файла SU, выберите режим установки "Normal", подождите немного. Нажмите "OK" (не "Reboot"!) и выйдите из приложения.
- Откройте приложение Substrate, нажмите "Link Substrate Files", разрешите Substrate и снова нажмите "Link Substrate Files".
- Установите APK-файл APK-instrumenter с помощью ADB.
- Нажмите "Restart System (Soft)", когда появится окно приложения Substrate.
- Дождитесь перезагрузки системы и отключите защиту экрана блокировки: Menu > System Settings > Security > Screen lock > None
- Закройте эмулятор.
Если вы не хотите использовать автоматический скрипт, вам нужно помнить, что:
- Hooker требуется SD-карта для корректной работы,
- Hooker требует включённого режима снапшотов. Будьте осторожны, если используете android-studio для создания AVD: там есть баг (или фича, не знаю), из-за которого сложно использовать снапшоты...

Если вам интересно, вы можете посмотреть видео о том, как подготовить эмулятор, здесь

Настройка хоста, на котором выполняется Hooker

Если ваш хост Elasticsearch находится на другом хосте, чем ваш Android-эмулятор, вам нужно будет перенаправлять трафик через сеть. Для этого можно использовать socat:

$ socat -s -v TCP4-LISTEN:9200,fork,ignoreeof,reuseaddr TCP4:192.168.98.11:9200,ignoreeof

Если у вас возникла ошибка, связанная с эмуляцией OpenGLES (Could not load OpenGLES emulation library), вам нужно отредактировать ldconfig (от имени root):

# echo "/path/to/your/sdk/tools/lib" > /etc/ld.so.conf.d/android.conf
# ldconfig

Запуск HOOKER

Посмотрите это видео, чтобы увидеть демонстрацию того, как запустить ручной эксперимент по анализу конкретного приложения.

Работа с реальными устройствами

Если вы хотите использовать Hooker на реальных устройствах, сначала прочитайте соответствующий README.

Настройка файла конфигурации

Если вы хотите провести ручной анализ, скопируйте файл hooker_xp/sampleManualAnalysis.conf,
Если вы хотите провести автоматический анализ, скопируйте файл hooker_xp/sampleAutomaticAnalysis.conf,
Если вы хотите провести анализ на реальных устройствах, скопируйте один из файлов конфигурации *RealDevice*,
В зависимости от конфигурации вашей системы настройте различные параметры, объявленные в выбранном файле конфигурации. Примеры файлов конфигурации содержат много комментариев, поэтому, пожалуйста, прочитайте их,
В соответствии с предыдущими шагами вам нужно указать путь к вашему эталонному AVD, который вы только что создали. Как объясняется в комментариях, просто укажите путь и имя AVD, т.е. без расширения .avd.

Запуск ElasticSearch и Kibana

Hooker использует ElasticSearch для хранения событий и Kibana в качестве интерфейса для их анализа. Чтобы помочь вам анализировать приложения, мы поместили пример дашборда Kibana в каталог tools/kibana-dashboard. Для его использования вам нужно будет запустить первый эксперимент, а затем импортировать файл filekibana-export.json. Чтобы импортировать дашборд, вам нужно перейти по URL http://localhost:5601 и:

Перейдите в Settings -> Objects,
Нажмите на Import,
Выберите доступный дашборд.

Запуск эксперимента

Скрипт для проведения эксперимента на Python находится в каталоге hooker_xp:

$ cd hooker_xp && python hooker_xp.py -c yourAnalysisConfigurationFile.conf

Вы должны увидеть журналы Python, объясняющие, что происходит.

Вклад в проект

Мы будем рады, если вы поможете нам улучшить эту работу. Пожалуйста, используйте возможности GitHub для предоставления ваших исправлений и улучшений.

Авторы и спонсоры

Проект Hooker был инициирован Жоржем Боссером и Димитрием Киршнером. Оба работают в AMOSSYS, французской компании в области ИТ-безопасности http://www.amossys.fr.

Лицензия

Это программное обеспечение распространяется под лицензией GPLv3. Полный текст лицензии см. в файле LICENSE в корневом каталоге дистрибутива.

hooker

Популярное