下载:https://github.com/simsong/tcpflow/releases
Autotools 构建是受支持的 CI 与发布路径。在检出目录中运行 make -f Makefile.ci bootstrap native 执行检查;distcheck 还会重新构建、测试、安装并卸载生成的源码分发包。
执行 ./configure 后,make ci 会构建并测试当前构建目录,包括树内构建;其回归测试串行运行。独立的
asan、tsan、ubsan、clang-analyzer、clang-tidy、cppcheck 和 coverage
目标使用隔离的 .build/ 目录。CI 还会运行 Windows 运行时
测试、Debian 兼容性以及 FreeBSD/OpenBSD 检查。CodeQL 通过仓库现有的 GitHub 默认设置单独运行。详见详细的
CI/发布流程 和 与参考仓库的对比。
在已合并到 main 的提交上打上带注释的 v<version> 标签会触发
所有发布门禁,并生成源码 .tar.gz、原生 amd64/arm64 .snap
包、经 Authenticode 签名的独立 tcpflow64.exe 以及 SHA256SUMS。
该 EXE 不需要任何应用程序 DLL,可处理离线 PCAP 文件;其构建
不包含实时捕获、BPF 过滤器、Wi-Fi 解码或 Cairo PDF 报告。
Windows 会将生成的 IPv6/MAC/时间戳文件名组成部分中的冒号替换为下划线;报告中的网络地址值保留其正常格式。
Snap 包保留原生 PCAP/PDF 支持,且仅在 GitHub 上发布。
工作流会在发布前验证完整草稿的所有下载内容。
配置(切勿将机密值放入源文件):
| 变量 | 用途 |
|---|---|
CI_JOBS | 并行编译任务数,默认 2;shell 回归测试串行运行。 |
CI_BUILD_ROOT | 隔离的构建/报告根目录,默认为调用目录下的 .build。 |
CONTAINER_ENGINE、CHECK | 用于 container-check 的容器 CLI(默认 finch)和 Makefile.ci 目标。 |
CC、CXX、CPPFLAGS、CFLAGS、CXXFLAGS、LDFLAGS、LIBS、PKG_CONFIG_LIBDIR | 标准编译器、包含/库以及目标 pkg-config 设置。 |
SDKROOT | 为本地 Clang 分析显式选择的已安装 macOS SDK。 |
ASAN_OPTIONS、TSAN_OPTIONS、UBSAN_OPTIONS | Sanitizer 运行时诊断;CI 在出错时停止,并在 Linux 上启用泄漏检测。 |
WINDOWS_DEPS | 用于 windows 目标的静态 MinGW 依赖前缀。 |
VCPKG_ROOT、VCPKG_COMMIT | CI 中的 Windows 依赖目录和固定的 vcpkg 修订版本。 |
SNAPCRAFT_BUILD_ENVIRONMENT | Snapcraft 构建提供程序;CI 使用 lxd。 |
FONTCONFIG_FILE、XDG_CACHE_HOME | Snap 提供的捆绑字体配置,以及 PDF 报告可写的字体缓存位置。 |
RELEASE_TAG、RELEASE_COMMIT | 用于预检的带注释版本标签和精确不可变源码提交。 |
EXE | 用于 windows-test 的独立可执行文件路径。 |
CODECOV_TOKEN | 用于经过身份验证的覆盖率提交的 GitHub 密钥。 |
AZURE_CLIENT_ID、AZURE_TENANT_ID、AZURE_SUBSCRIPTION_ID | 用于 GitHub OIDC 登录的非机密身份设置。 |
AZURE_SIGNING_ENDPOINT、AZURE_SIGNING_ACCOUNT、AZURE_SIGNING_PROFILE | 非机密的 Artifact Signing 服务/配置文件设置。 |
WINDOWS_PUBLISHER | 签名验证器所要求的精确公共证书主题。 |
GH_TOKEN | 工作流提供的 GitHub 令牌,用于草稿创建、下载验证和发布。 |
GitHub 提供 GITHUB_* 和 RUNNER_* 上下文变量。签名仅限于受保护的 windows-signing 环境;仓库中不存储任何私有签名密钥。CMake 仍为旧版构建路径,不属于发布门禁。
大多数常见的 GNU/Linux 发行版都在其软件仓库中提供 tcpflow。因此在 Debian/Ubuntu 等系统上,你可以执行
sudo apt-get install tcpflow
在 Fedora/RedHat/CentOS 等系统上,你可以执行
sudo dnf install tcpflow
就这样。如果出于某种原因这还不够好,你可以从源码构建:
为 Linux 编译
请确保你已具备必要的前置依赖。根目录下有一些文件可以帮你完成这一步,具体取决于你的主机操作系统:
CONFIGURE_ARCH_17_8.sh CONFIGURE_FEDORA_18.sh CONFIGURE_FEDORA_26.sh CONFIGURE_UBUNTU_16_04.sh
根据你的操作系统,只需执行:
# sudo bash CONFIGURE_<YOUROS>.sh
配置好操作系统后,使用以下命令编译并安装:
./configure
make
sudo make install
如果你想用 git 下载开发树,请务必使用 --recursive 进行完整检出,然后运行 bootstrap.sh、configure 和 make:
git clone --recursive https://github.com/simsong/tcpflow.git
cd tcpflow
bash bootstrap.sh
./configure
make
sudo make install
为 Amazon AMI 下载并编译:
ssh ec2-user@<your ec2 instance>
sudo bash yum -y install git make gcc-c++ automake autoconf boost-devel cairo-devel libpcap-devel openssl-devel zlib-devel
git clone --recursive https://github.com/simsong/tcpflow.git
sh bootstrap.sh
在 Fedora Core 上使用 mingw 为 Windows 编译:
yum -y install mingw64-gcc mingw64-gcc-c++ mingw64-boost mingw64-cairo mingw64-zlib
mingw64-configure
make
要使用 CMake,请参阅详细说明:cmake/README.md
以普通用户(非 root)身份在干净的仓库中执行:
./bootstrap.sh # Generates the file ./configure
./configure # Generates the file tcpflow.spec
rpmbuild -bb tcpflow.spec --build-in-place
检查 specfile 和生成的 RPM:
rpmlint tcpflow.spec
rpmlint ~/rpmbuild/RPMS/x86_64/tcpflow-....rpm
安装:
sudo dnf install ~/rpmbuild/RPMS/x86_64/tcpflow-....rpm
tcpflow 是一个捕获作为 TCP 连接(流)一部分传输的数据的程序,并以便于协议分析和调试的方式存储这些数据。每个 TCP 流都存储在各自的文件中。因此,典型的 TCP 流会存储在两个文件中,每个方向一个。tcpflow 也可以处理已存储的 'tcpdump' 数据包流。
tcpflow 将所有捕获的数据存储在文件名格式如下的文件中:
[timestampT]sourceip.sourceport-destip.destport[--VLAN][cNNNN]
其中: timestamp 是首次看到该数据包的时间的可选时间戳 T 是表示已提供时间戳的分隔符 sourceip 是源 IP 地址 sourceport 是源端口 destip 是目标 IP 地址 destport 是目标端口 VLAN 是 VLAN 端口 c 是表示存在多个连接的分隔符 NNNN 是连接计数器,当存在多个具有相同 [time]/sourceip/sourceport/destip/destport 组合的连接时使用。 请注意,当执行时间戳前缀时,连接计数很少发生。
以下是一些示例:
128.129.130.131.02345-010.011.012.013.45103
上述文件的内容将是从主机 128.129.131.131 端口 2345 传输到主机 10.11.12.13 端口 45103 的数据。
128.129.130.131.02345-010.011.012.013.45103c0005
从 128.129.131.131 端口 2345 到主机 10.11.12.13 端口 45103 的第六个连接。
1325542703T128.129.130.131.02345-010.011.012.013.45103
一个从 128.129.131.131 端口 2345 到主机 10.11.12.13 端口 45103 的连接,该连接开始于 2012 年 1 月 2 日下午 5:19(-0500)
128.129.130.131.02345-010.011.012.013.45103--3
一个从 128.129.131.131 端口 2345 到主机 10.11.12.13 端口 45103 的连接,该连接在 VLAN 端口 3 上被看到。
你可以使用 -F 和 -T 选项更改用于创建文件名的模板。如果模板中出现目录,该目录将被自动创建。
如果使用 -a 选项,tcpflow 将自动解释 HTTP 响应。
如果输出文件是
208.111.153.175.00080-192.168.001.064.37314,
那么后处理将创建以下文件:
208.111.153.175.00080-192.168.001.064.37314-HTTP
208.111.153.175.00080-192.168.001.064.37314-HTTPBODY
如果 HTTPBODY 使用 GZIP 压缩,你可能还会得到
第三个文件:
208.111.153.175.00080-192.168.001.064.37314-HTTPBODY-GZIP
关于这些流的附加信息,例如它们的 MD5
哈希值,也会写入 DFXML 文件
tcpflow 与“tcpdump”类似,两者都处理来自网络 或存储文件的数据包。但不同之处在于,tcpflow 会重建 实际的数据流,并将每个流存储在单独的文件中, 以便后续分析。
tcpflow 理解序列号,并且无论是否存在重传或乱序 交付,都能正确重建数据流。然而,tcpflow 目前不理解 IP 分片;包含 IP 分片的流将无法被正确记录。
tcpflow 可以输出 DFXML 格式的摘要报告文件。该文件 包含有关编译 tcpflow 程序的系统、运行位置以及每个 TCP 流的信息, 包括源和目标 IP 地址与端口、字节数、 数据包数,以及(可选)每个字节流的 MD5 哈希值。
tcpflow 使用 LBL 数据包捕获库(可从 ftp://ftp.ee.lbl.gov/libpcap.tar.Z 获取),因此支持与“tcpdump”等程序相同的 丰富过滤表达式。它 应该可以在大多数流行的 UNIX 版本下编译;详情请参阅 INSTALL 文件。
tcpflow 是理解网络数据包流和 执行网络取证的有用工具。与 WireShark 等显示大量数据包或单个 TCP 连接的程序不同, tcpflow 可以在上下文中显示 数百、数千甚至数十万个 TCP 连接。
tcpflow 的一个常见用途是揭示 HTTP 会话的内容。使用 tcpflow,你可以重建通过 HTTP 下载的网页。你甚至可以提取作为“路过式下载”交付的恶意软件。
Jeremy Elson 最初编写这个程序是为了捕获各种使用未公开网络协议的程序所发送的数据, 试图对这些协议进行逆向工程。RealPlayer(以及大多数 其他流媒体播放器)、ICQ 和 AOL IM 都是此类应用的 典型例子。后来它被用于 HTTP 协议 分析。
Simson Garfinkel 于 1998 年创立了 Sandstorm Enterprises。Sandstorm 创建了一个类似于 tcpflow 的程序,名为 TCPDEMUX,以及该程序的另一个 版本,名为 NetIntercept。这些程序是 商业软件。Simson 离开 Sandstorm 后,需要一个 TCP 流 重组程序。他找到了 tcpflow 并接管了它的维护工作。
请在 GitHub 问题跟踪器 上提交缺陷
tcpflow 目前不理解 IP 分片。包含 IP 分片的流将无法被正确记录。IP 分片 越来越罕见,因此这似乎不是一个重大问题。
如果你正在撰写关于 tcpflow 的文章,请引用我们的技术报告:
Simson L. Garfinkel [email protected]
我继续将 bulk_extractor、tcpflow、be13_api 和 dfxml 移植到现代 C++。在调研了各项标准之后,我决定采用 C++17 而不是 C++14,因为对 17 的支持如今已十分普遍。(我大概不需要 20)。我仍然坚持使用 autotools,尽管似乎有充分的理由转向 CMake。我保留 be13_api 和 dfxml 作为以 python 风格包含的模块,而不是将它们做成被链接的独立库。不过,我并不 100% 确定这是正确的决定。
这个项目比预期耗时更长,因为我同时还在进行全面的代码重构。最耗时的事情是弄清楚如何理清所有与解析器选项和配置相关的 C++ 对象。
鉴于 tcpflow 和 bulk_extractor 都使用 be13_api,我的注意力已转向使用 tcpflow 让 be13_api 运行起来,因为它是一个更简单的程序。我现在大约完成了四分之三。我预计在 2020 年底之前完成一些东西。
--- Simson Garfinkel,2020 年 10 月 18 日
感谢: