概述

规则路由（rule route）

这部分详见ip rule命令帮助手册，
https://man7.org/linux/man-pages/man8/ip-rule.8.html
简要总结:

• 支持多种形式的路由查找，不再仅仅局限于根据目的地址查找一种模式。
• rule route采用了类似match-action模式， 不过rule route称之为SELECTOR和ACTION。
• SELECTOR 支持多种形式，比如IP、PORT、进出网口、tos以及非操作(not)
• ACTION 中几个重要的类型：
  • table：到指定的TABLE_ID对应的路由表里查找（所以这里要求必须支持多table）
  • nat: 支持IP地址nat
  • goto： 跳转到指定的rule route，通过这个可以做成多级级联。

几点说明

优先级

rule route是支持优先级的。 通过 ip rule show命令我们可以看到每条rule对应的优先级。添加rule时候，默认的是当前除0以外最高优先级的值-1， 即默认新建的rule优先级高。

Read More

以内核v6.6代码，介绍tcpdump程序如何与内核交互，加载bpf程序的。

加载：

libpcap通过sockopt里的“SO_ATTACH_FILTER“，
在 packet socket下的”sk_filter“挂载prog呈现。

运行：

当skb报文到达packet_rcv时候， 通过调用___bpf_prog_run函数（注意，这个函数是3个下滑线，区别于2个下划线的函数）
运行”sk_filter“对应的prog。
其中prog的
==>packet_rcv
==> ==> run_filter
==> ==> ==>bpf_prog_run_clear_cb

Read More

tcpdump通过libpcap库以及内核的af_packet对数据包问题进行抓取。
关于这两部分的如何协作抓包，之前blog里已经写过。
这里主要记录分析，在ebpf之前的内核(以v3.0)如何处理tcpdump里的filter的。

filter编译后，如何加载到内核里的：

在filter被翻译为一系列的指令后，这个指令buff被libpcap，
通过sockopt里的SO_ATTACH_FILTE选项，
最终挂载到AF_PACKET socket下的sk_filter上。

Read More

IPv6协议栈里， 当一个网口被down之后，网口上对应的IP地址也会一起被flush掉。
面对IPv6跟IPv4不同的行为方式，内核提供了一个规避的开关。
在4.6内核之后提供了一个开关，用来避免IPv6地址别清理掉。
这个开关既有全局的设置，也有每个interface粒度的单独开关。

Read More

OVS里最重要的几个元素：vport，flow，datapath。
其中datapth是vport和flow的桥梁。

VPORT

内核包含多个datapath（brige），上面包含一个或者多个vport。
其中一个VPORT表示一个端口，一个vport只能归于一个特定的datapath。
每个vport有自己的type, 对应不同的vport ops.
每个内核网口被注册为vport的时候。

Read More

接上部

如上半部分析，导致rx drop值增加的报文有三类

• IPv6
• STP
• LLDP

至此，为什么drop统计值增加，能够解释清楚了。

Read More

问题来源

接OP问题报告，监控到部分机器的net rx drop统计值异常，触发报警，
需排查具体原因，并确认是否影响业务。

问题分析

复现问题

跟OP同学确认,通过采集/proc/net/dev下的rx drop。
登录到出问题的机器上, 确认内核该统计值确实异常。

• 异常报文个数不多，大约1s一个左右。
• 不是所有机器都有异常，有部分机器drop统计为0.

相关内核代码

当一个数据报文经过对端设备（交换机或者网卡）传输到本机物理网卡时候，需要经过
网卡-- 网卡驱动-- 网络协议栈
这几个模块的处理。我们看到的drop统计值在增加，是在网络协议栈的入口处理部分产生异常导致。

Read More

mysql访问延迟问题分析

问题背景

收到数据库同学的问题排查的请求，
同一个数据中心里，dbproxy到mysql的连接失败率偏高，其tcp connect调用的超时时间是20ms+。

Read More

什么是tcp fast open（TFO）

背景

网络上有大量的短连接，传输的数据很少。google统计显示，其访问请求里有30%左右的流量是短连接。

原理

针对tcp 短连接的一个优化。在syn请求里携带请求数据，让server端尽早处理，进而降低一个RTT的延迟。
client端发送时候在syn报文里，增加一个tcp option选项(TFO)，server端通过它校验client端的合法性。

Read More

配置ixgbe网卡的RSS

1
2
3
4
5

ethtool -K em1 ntuple on
ethtool --show-ntuple em1
ethtool --config-ntuple em1  flow-type tcp4 dst-port 60001 action 1
ethtool --config-ntuple em1  flow-type tcp4 dst-port 60002 action 2
ethtool --show-ntuple em1

Read More