AIEngine (движок искусственного интеллекта)

AIEngine — это движок системы обнаружения сетевых вторжений нового поколения с возможностью интерактивного/программируемого управления на Python/Ruby/Java/Lua и Go, обладающий способностью к обучению без вмешательства человека, классификации доменов DNS, обнаружению спама, сбору сетевых данных, сетевой криминалистике и многим другим функциям.

AIEngine также помогает специалистам по сетям и безопасности идентифицировать трафик и разрабатывать сигнатуры для использования в NIDS, межсетевых экранах, классификаторах трафика и т.д.

Основные возможности AIEngine:

• Поддержка интерактивного взаимодействия/программирования с пользователем во время работы движка.
• Поддержка PCRE JIT для сопоставления регулярных выражений.
• Поддержка графов регулярных выражений (сложных шаблонов обнаружения).
• Поддержка шести типов сетевых стеков (lan, mobile, lan6, virtual, oflow и mobile6).
• Поддержка множеств и фильтров Блума для поиска IP-адресов.
• Поддержка архитектур x86_64, ARM и MIPS в операционных системах, таких как Linux, FreeBSD и MacOS.
• Поддержка сопоставления доменов HTTP, DNS и SSL.
• Поддержка запрещённых доменов и хостов для HTTP, DNS, SMTP и SSL.
• Частотный анализ неизвестного трафика и автоматическая генерация регулярных выражений.
• Генерация сигнатур Yara.
• Лёгкая интеграция с базами данных (MySQL, Redis, Cassandra, Hadoop и т.д.) для корреляции данных.
• Лёгкая интеграция с другими пакетными движками (Netfilter).
• Поддержка очистки кэшей памяти для обновления информации, хранящейся в памяти.
• Поддержка обнаружения DDoS на сетевом/прикладном уровне.
• Поддержка отклонения TCP/UDP-соединений.
• Поддержка сетевой криминалистики в реальном времени.
• Поддержка сигнатур JA3 TLS в SSL.
• Поддержка протоколов, таких как Bitcoin, CoAP, DHCPv4/DHCPv6, DNS, DTLS, GPRS, GRE, HTTP, ICMPv4/ICMPv6, IMAP, IPv4/v6, Modbus, MPLS, MQTT, Netbios, NTP, OpenFlow, PPPoE, POP, Quic, RTP, SIP, SMB, SMTP, SSDP, SSH, SSL, TCP, UDP, VLAN, VXLAN.
• Интеграция HTTP-сервера для получения информации о системе и её настройки в реальном времени.

Более подробная информация — в папке docs

Использование AIEngine

Чтобы использовать AIEngine (облегчённую версию), просто выполните бинарный файл aiengine или используйте привязки Python/Ruby/Java/Lua.

luis@luis-xps:~/c++/aiengine/src$ ./aiengine -h
aiengine 2.1.0
Mandatory arguments:
  -I [ --input ] arg                Sets the network interface ,pcap file or 
                                    directory with pcap files.

Link Layer optional arguments:
  -q [ --tag ] arg      Selects the tag type of the ethernet layer (vlan,mpls).

TCP optional arguments:
  -t [ --tcp-flows ] arg (=32768) Sets the number of TCP flows on the pool.

UDP optional arguments:
  -u [ --udp-flows ] arg (=16384) Sets the number of UDP flows on the pool.

    Domain optional arguments:
      -D [ --domain-file ] arg             Reads domain names from file.
      -B [ --domain-protocol ] arg (=dns)  Protocol to plug the domain-file (dns, 
                                           ssl, http).
      -S [ --matched-domain ]              Shows only the domains that matches.

Regex optional arguments:
  -R [ --enable-signatures ]     Enables the Signature engine.
  -r [ --regex ] arg (=.*)       Sets the regex for evaluate agains the flows.
  -c [ --flow-class ] arg (=all) Uses tcp, udp or all for matches the signature
				 on the flows.
  -m [ --matched-flows ]         Shows the flows that matchs with the regex.
  -M [ --matched-packet ]        Shows the packet payload that matchs with 
    	                         the regex.
  -C [ --continue ]              Continue evaluating the regex with the 
                                 next packets of the Flow.
  -j [ --reject-flows ]          Rejects the flows that matchs with the 
                                     regex.
  -w [ --evidence ]              Generates a pcap file with the matching 
                                     regex for forensic analysis.

Frequencies optional arguments:
  -F [ --enable-frequencies ]       Enables the Frequency engine.
  -g [ --group-by ] arg (=dst-port) Groups frequencies by src-ip,dst-ip,src-por
				    t and dst-port.
  -f [ --flow-type ] arg (=tcp)     Uses tcp or udp flows.
  -L [ --enable-learner ]           Enables the Learner engine.
  -k [ --key-learner ] arg (=80)    Sets the key for the Learner engine.
  -b [ --buffer-size ] arg (=64)    Sets the size of the internal buffer for 
    	                            generate the regex.
      -Q [ --byte-quality ] arg (=80)   Sets the minimum quality for the bytes of 
                                        the generated regex.
  -y [ --enable-yara ]              Generates a yara signature.

Optional arguments:
  -n [ --stack ] arg (=lan)    Sets the network stack (lan,mobile,lan6,virtual,
			       oflow).
  -d [ --dumpflows ]           Dump the flows to stdout.
  -s [ --statistics ] arg (=0) Show statistics of the network stack (5 levels).
  -T [ --timeout ] arg (=180)  Sets the flows timeout.
  -P [ --protocol ] arg        Show statistics of a specific protocol of the 
                                   network stack.
  -a [ --port ] arg (=0)       Sets the HTTP listenting port.
  -e [ --release ]             Release the caches.
  -l [ --release-cache ] arg   Release a specific cache.
  -p [ --pstatistics ]         Show statistics of the process.
      -o [ --summary ]             Show protocol summmary statistics 
                                   (bytes,packets,% bytes,cache miss,memory).
  -h [ --help ]                Show help.
  -v [ --version ]             Show version string.

Типы NetworkStack

AIEngine поддерживает шесть типов сетевых стеков в зависимости от топологии сети.

• StackLan (lan) — локальная сеть на основе IPv4.

• StackLanIPv6 (lan6) — локальная сеть с поддержкой IPv6.

• StackMobile (mobile) — мобильная сеть (интерфейс Gn) для IPv4.

• StackVirtual (virtual) — стек для виртуальных/облачных сред с VxLan и GRE Transparent.

• StackOpenFlow (oflow) — стек для сред OpenFlow.

• StackMobileIPv6 (mobile6) — мобильная сеть (интерфейс Gn) для IPv6.

Интеграция/программирование AIEngine с другими системами

AIEngine также является модулем Python/Ruby/Java/Lua, что обеспечивает большую гибкость при интеграции с другими системами и функциональными возможностями. Основные объекты, экспортируемые модулем Python, перечислены ниже.