
⏰ 🔥 TCP-прокси для имитации сетевых и системных условий с целью тестирования хаоса и отказоустойчивости
Toxiproxy — это фреймворк для имитации сетевых условий. Он создан специально для работы в средах тестирования, CI и разработки, поддерживает детерминированное искажение соединений, а также рандомизированный хаос и кастомизацию. Toxiproxy — это инструмент, который вам нужен, чтобы доказать с помощью тестов, что в вашем приложении нет единых точек отказа. Мы успешно используем его во всех средах разработки и тестирования в Shopify с октября 2014 года. Дополнительную информацию см. в нашем [посте в блоге][blog] об отказоустойчивости.
Использование Toxiproxy состоит из двух частей. TCP-прокси, написанный на Go (то, что содержит этот репозиторий), и клиент, взаимодействующий с прокси по HTTP. Вы настраиваете своё приложение так, чтобы все тестовые соединения проходили через Toxiproxy, и затем можете управлять их состоянием через HTTP. См. раздел Использование ниже о том, как настроить ваш проект.
Например, чтобы добавить 1000 мс задержки к ответу MySQL из Ruby-клиента:
Toxiproxy[:mysql_master].downstream(:latency, latency: 1000).apply do
Shop.first # this takes at least 1s
end
Чтобы остановить все экземпляры Redis:
Toxiproxy[/redis/].down do
Shop.first # this will throw an exception
end
Хотя примеры в этом README сейчас на Ruby, ничто не мешает вам создать клиент на любом другом языке (см. Клиенты).
Существующие решения, которые мы нашли, не предоставляли тот динамический API, который нам был нужен для
интеграционного и модульного тестирования. Linux-инструменты вроде nc и прочие не
кроссплатформенны и требуют root, что делает их проблематичными в средах тестирования,
разработки и CI.
Давайте рассмотрим пример с приложением на Rails. Обратите внимание, что Toxiproxy никак не связан с Ruby, это просто был наш первый вариант использования. Полный пример можно посмотреть в sirupsen/toxiproxy-rails-example. Чтобы сразу начать, перейдите к разделу Использование.
Для нашего популярного блога мы почему-то храним теги для наших постов в
Redis, а сами посты — в MySQL. У нас может быть класс Post, который
включает некоторые методы для управления тегами в множестве Redis:
class Post < ActiveRecord::Base
# Return an Array of all the tags.
def tags
TagRedis.smembers(tag_key)
end
# Add a tag to the post.
def add_tag(tag)
TagRedis.sadd(tag_key, tag)
end
# Remove a tag from the post.
def remove_tag(tag)
TagRedis.srem(tag_key, tag)
end
# Return the key in Redis for the set of tags for the post.
def tag_key
"post:tags:#{self.id}"
end
end
Мы решили, что возникновение ошибки при записи в хранилище данных тегов (добавление/удаление) — это нормально. Однако если хранилище данных тегов недоступно, мы должны иметь возможность увидеть пост без тегов. Мы могли бы просто перехватить Redis::CannotConnectError вокруг вызова Redis SMEMBERS в методе tags. Давайте используем Toxiproxy, чтобы проверить это.
Поскольку мы уже установили Toxiproxy и он запущен на нашей машине, мы можем перейти к шагу 2. Здесь нам нужно убедиться, что у Toxiproxy есть сопоставление для тегов Redis. В config/boot.rb (до установки любого соединения) мы добавляем:
require 'toxiproxy'
Toxiproxy.populate([
{
name: "toxiproxy_test_redis_tags",
listen: "127.0.0.1:22222",
upstream: "127.0.0.1:6379"
}
])
Затем в config/environments/test.rb мы задаём TagRedis как клиент Redis, который подключается к Redis через Toxiproxy, добавив эту строку:
TagRedis = Redis.new(port: 22222)
Все вызовы в тестовой среде теперь проходят через Toxiproxy. Это означает, что мы можем добавить модульный тест, в котором смоделируем сбой:
test "should return empty array when tag redis is down when listing tags" do
@post.add_tag "mammals"
# Take down all Redises in Toxiproxy
Toxiproxy[/redis/].down do
assert_equal [], @post.tags
end
end
Тест завершается с ошибкой Redis::CannotConnectError. Отлично! Toxiproxy успешно отключил Redis на время выполнения блока. Давайте сделаем метод tags устойчивым:
def tags
TagRedis.smembers(tag_key)
rescue Redis::CannotConnectError
[]
end
Тесты проходят! Теперь у нас есть модульный тест, который доказывает, что получение тегов при недоступном Redis возвращает пустой массив вместо выброса исключения. Для полного покрытия вам также следует написать интеграционный тест, который охватывает получение всей страницы записи блога при недоступном Redis.
Полный пример приложения находится по адресу sirupsen/toxiproxy-rails-example.
Настройка проекта для использования Toxiproxy состоит из трёх шагов:
Linux
См. Releases для получения последних
бинарных файлов и системных пакетов для вашей архитектуры.
Ubuntu
$ wget -O toxiproxy-2.13.0.deb https://github.com/Shopify/toxiproxy/releases/download/v2.13.0/toxiproxy_2.13.0_linux_amd64.deb
$ sudo dpkg -i toxiproxy-2.13.0.deb
$ sudo service toxiproxy start
OS X
С помощью Homebrew:
$ brew tap shopify/shopify
$ brew install toxiproxy
Или с помощью MacPorts:
$ port install toxiproxy
Windows