服务器连不上外网,别急着重启网卡|照着查 7 步,10 分钟定位
早上九点四十,群里有人艾特我,说测试环境那台机器装不上包,curl 挂在那儿不动,流水线红了一片。
我登上去敲了几条命令,十分钟不到就定位了,问题出在一个 ifcfg 文件里被人改过的 ONBOOT。
外网不通的报错长得都差不多,原因却散在从网线到 DNS 的整条链路上。从中间开始猜的人,最后往往把配置改得面目全非,故障还在原地。
我这些年养成一个笨习惯,从最底下往上走,一层一层把范围砍掉。命令就那么几条,顺序对了,多数故障几条命令之内就露头。
先说个大概的判断。网络排查快不快,主要看你从哪一头开始看。命令谁都会敲,顺序决定你要敲几条。
动手之前我会先问三句话。什么时候开始不通的,最近有没有人改过东西,同一网段别的机器是不是也不通。问清楚这三个,范围基本能砍掉一半,也能判断是单机还是整片网络。开头那台测试机,我问完时间就知道方向了,直接翻 ifcfg,ping 都没敲。
别急着重启
我理解为什么大家都爱重启。它快,它给人一种我已经处理过了的错觉,而且十次里确实有一两次能好。
那两次通常是守护进程自己挂了,或者 DHCP 续租失败,重启确实能捞回来。剩下八次,配置本身是错的,重启一百遍还是错,只是把错误重新加载了一遍。
更麻烦的是代价。CentOS 7 上重启 network 会把所有网卡先 down 再 up,你的 SSH 正好走这张网卡,连接当场断,IP 要是没起来,你就只能去机房或者开 VNC。云主机上这么干过一次,我至今记得那个下午,控制台一直转圈,人在工位上坐着,什么也做不了。
所以我把重启放到最后,只在确认配置没问题、但服务状态不对的时候用它。
链路和网卡
很多人一上来就 ip addr,看见有 IP 就认为底层没问题。这个假设在云上和虚拟化环境里经常不成立。
先看链路。
ip link show
ethtool eth0 | grep -i "link detected"state 是 DOWN,就不用往下查了,先 ip link set eth0 up。出现 NO-CARRIER 说明对端没信号,物理链路、交换机端口、光模块、虚拟机网络模式,这几个里挑一个查。
云主机上还有一种情况,控制台里网卡被解绑,或者实例被冻结、欠费,机器看着在跑,其实早就没网了。华为云那篇排查文档把资源状态放在第一位,这个排序是有道理的,我在这上面吃过亏,查了半小时才发现是实例欠费。
eth0 这个名字在 CentOS 7 之后经常变成 ens33、ens192。换镜像或者升级以后网卡名变了,配置文件还叫 ifcfg-eth0,NetworkManager 找不到对应设备,网卡就一直起不来。这种问题看着玄,其实一眼能看出来,ip link 里根本没有 eth0 这个设备。
IP 和配置
ip addr show看两件事。有没有 inet 那一行,地址是不是你预期的那个。
出现 169.254 开头的地址,基本可以断定 DHCP 没拿到租约。这时候别急着改静态 IP,先看 DHCP 服务还在不在,或者网卡是不是压根没被管理。
静态配置的机器,去看配置文件。Debian 系在 /etc/network/interfaces,RHEL 系在 /etc/sysconfig/network-scripts/ifcfg-xxx 下面。重点看三个字段,ONBOOT、BOOTPROTO、IPADDR。ONBOOT=no 的机器重启以后不会自己起网卡,这个坑在克隆出来的机器上特别常见。
还有个更隐蔽的,Network 和 NetworkManager 同时在跑。华为云的文档专门列了这一条。两个服务都觉得自己该管网卡,结果 IP 一会儿有一会儿没有,重启谁都不好使。正确做法是留一个,另一个 stop 掉再 disable。
DHCP 环境还要看租约进程。
ps -ef | grep dhclient | grep -v grep
nmcli device statusdhclient 没跑,私有 IP 会莫名其妙消失,机器看上去还在,ssh 却断了。nmcli 里那张网卡显示 unmanaged,说明它没被 NetworkManager 接管,配置写得再对也不会生效。
Ubuntu 18.04 以后是 netplan,改完 YAML 要 netplan apply。缩进错一个空格,它会报错退出,旧配置还在跑,所以测试结果跟没改一样。这种改了不生效的情况,十次里有八次是没 apply。
路由表
ip route show正常输出里应该有一条 default via 网关地址 dev 网卡名。route -n 里它显示成 0.0.0.0,两个是同一个东西,只是 net-tools 和 iproute2 的显示差别。
没有这条,数据包出了本机就不知道往哪走,报错是 Network is unreachable。这个报错和 Destination Host Unreachable 不是一回事,后者是 ARP 没解到对端,属于二层没通。混着看会把人带偏。
临时加一条。
ip route add default via 192.168.1.1 dev eth0重启就没了,要写进配置文件,或者用 nmcli 加。很多人调试时加了路由,测通了,第二天重启又挂,就是因为只加了临时的。
双网卡的机器要格外小心。路由表里出现两条 default,内核会按 metric 挑一条,理论上没问题,实际上回包的源地址可能选了另一张网卡的 IP,对端一看源地址不对就把包丢了。现象很怪,能 ping 出去,回来的包没了,SSH 连上几十秒就卡死,重连又能连上。
查这种问题我一般用这条。
ip route get 8.8.8.8它会告诉你内核实际选了哪条路由、哪个源地址、从哪张网卡出。比盯着 route -n 看半天直观得多。
网关
ping -c 4 192.168.1.1
arp -n网关通,说明二层和本机配置基本没问题,往上查。网关不通,先看 arp 表里有没有学到网关的 MAC,学不到就是链路或者 VLAN 的事,跟 IP 配置关系不大。
网关 IP 少写一位、多写一位,是最常见也最容易被忽略的错误。192.168.1.1 写成 192.168.1.10,机器照样能起来,IP 也对,就是出不去。这种时候人容易往复杂的方向想,反而不敢怀疑那个一眼就能看到的数字。
出网
ping -c 4 223.5.5.5
ping -c 4 8.8.8.8网关通、外网 IP 不通,问题基本在本机之外,或者在本机的转发和防火墙上。
云上还隔着几道关卡,很多人在虚机里查半天,其实控制台上就有答案。安全组的出方向是白名单,没放通就是不通。子网关联了网络 ACL,ACL 的默认规则是丢弃所有流量,取消关联以后默认规则照样生效,这个是文档里写着的,但很容易漏。EIP 被 DDoS 打过会被封堵,一般 24 小时自动解封,这段时间你在机器里怎么查都是通的,就是出不去。带宽被打满也一样,ping 通,业务全超时。
本机防火墙也要看一眼。
firewall-cmd --state
iptables -t nat -L -n -v装了 Docker 的机器有个经典问题,Docker 会把 FORWARD 链的默认策略改成 DROP。宿主机自己上网没事,容器全出不去,报错看起来像 DNS 故障。改一条 iptables 规则能解,改之前先确认是不是它干的。
还有一种情况,小包通大包不通。ping 得通,ssh 连不上,或者网页能打开但图片加载不出来。这是 MTU 的事,隧道、VPN、overlay 网络里很常见。
ping -s 1472 -M do 8.8.8.81472 加上 28 字节包头正好 1500。这个尺寸能通、更大的包不通,就是 MTU 小了。
DNS
到这一步还没找到问题,八成出在解析上。
分清两种现象。ping 域名报 unknown host,是解析失败,链路是通的。ping 域名一直超时,链路本身有问题,回到上一层。
cat /etc/resolv.conf
dig @223.5.5.5 www.baidu.com +shortresolv.conf 里看 nameserver。里面写 127.0.0.53 的,是 systemd-resolved 在代理,真正的上游要用 resolvectl status 看。写 127.0.0.1 的,本机得有个 DNS 服务在跑,没跑就全废。
这里有个特别气人的地方。你手改 resolv.conf,改完测试通了,一重启又变回去。因为 NetworkManager 或者 dhclient 会按自己的配置重写这个文件。要在 ifcfg 里加 DNS1,或者用 nmcli 改连接配置,改文件本身没意义。Ubuntu 服务器上这个问题尤其多,好多人改了一下午,重启一次回到解放前。
解析慢也别急着骂运营商。UDP 53 被拦的情况不少,尤其是一些限制比较严的安全组和专线环境。dig 直接指定服务器,能帮你判断是本机解析器的问题还是上游的问题。
/etc/hosts 里写死的解析也要看一眼,尤其是从别的环境整机拷过来的机器,hosts 里还留着上一套环境的域名映射。
应用层
curl -v --connect-timeout 5 https://example.com
ss -tulnp | grep 443
nc -zv 10.0.0.5 3306连接超时是网络或者端口的事,证书报错是证书的事,502 是后端的事。这几个现象对应的排查方向完全不同,混在一起看容易乱。
走代理的环境还要看环境变量,http_proxy、https_proxy、no_proxy。内网地址被塞进代理,报出来的错跟网络不通一模一样,光看 curl 的输出根本分不出来。
实在没头绪就抓包。tcpdump -i eth0 host 8.8.8.8 -nn,看包到底有没有发出去、有没有回来。发了没回,问题在链路或者对端;压根没发,问题在本机路由或者策略。抓包是最后的手段,也是最不会骗人的那一个。
三个实际例子
第一个,一台克隆出来的虚机。
交付的同事从模板克隆了一台,开机以后 ip addr 里空空如也,只有 lo。ifconfig -a 能看到 eth0,状态 DOWN,up 一下马上又 down 回去。配置文件在,ONBOOT=yes,IPADDR 也写着,看着一点问题没有。
线索藏在 HWADDR 那一行。模板里的 ifcfg-eth0 把原机的 MAC 写死了,克隆机的网卡 MAC 换了,NetworkManager 一看 MAC 对不上,就认为这个配置文件不属于当前设备,直接把网卡放着不管。把 HWADDR 删掉,或者改成新 MAC,重启服务,网卡立刻起来。
这种问题文档里很少有,只在克隆和批量部署的时候出现,碰上一次能记很久。
第二个,双网卡的机器 SSH 老是断。
现象是能连上,敲几条命令就卡住,等半分钟又好了,反复。ping 网关和外网都通,丢包率零,什么监控都正常。
登上去看路由,两条 default,metric 一样,一条走 eth0,一条走 eth1。eth0 是业务网,eth1 是管理网。ip route get 一看,去 8.8.8.8 的源地址选的是 eth1 的 IP,但出口是 eth0。包出去了,对端回包按源地址送回 eth1,eth1 那边根本没这条连接的状态,直接丢掉。
改法是把多余的那条 default 删掉,或者用 ip rule 做源地址策略路由,让从哪张网卡出去的流量就用哪张网卡的地址做源。前者快,后者规范,看你的网络规划。
第三个,resolv.conf 三天两头被改回去。
有台机器要访问一个内网域名,运维 A 改了 resolv.conf,通了。过两天又不行了,运维 B 又改一遍。一个月改了四五次,谁都没往深了想。
后来发现是 NetworkManager 在 DHCP 续租的时候按连接配置重写了这个文件,手改的内容全被覆盖。正确的位置在连接配置里,nmcli connection modify 加 ipv4.dns,然后重载连接。改完那台机器再没出过这个问题。
这三个例子有个共同点,故障现象都在应用层,根因都埋在配置的某一层。而且这几份配置单看都没错,错在配置和运行状态对不上。
避坑清单
动手之前先备份,cp 一份原配置,时间戳带上。改坏了能退回去,这个动作只花三秒钟,能救你一个晚上。
一次只改一个地方,改完立刻测。同时改三个参数,通了也不知道是哪个起的作用,下次还得重来。
重启 network 之前,先确认 SSH 不是单点。有带外管理就用带外,没有就先挂个定时任务,五分钟没恢复自动回滚。
别在云主机上随手 ifdown。那是本地机器的习惯,云上按错了就是失联,控制台还得等。
别只 ping 域名来判断网络。域名背后有解析、有链路、有端口,三件事得分开测。
别 ping 通了就认为业务正常。ICMP 通只说明三层通,80 和 443 未必通,应用未必活着。
别忘记控制台。EIP 绑没绑、安全组放没放、ACL 有没有关联、带宽打没打满,这四项在机器里查不出来。
改完一定要记录。时间、改了什么、改之前是什么、改完现象如何,写三行就够,下次换人接手能省一小时。
让它别再发生
我现在的做法是把这几层变成监控项,出事之前就能探到,不用等人喊。
ICMP 探一层,DNS 解析探一层,HTTP 探一层。三层分开探,出问题的时候一眼就能看出断在哪一层,不用登机器。blackbox_exporter 干这个很顺手,配三个 probe 就行。
变更之后跑一次自检,把关键状态抓下来存档。下面这段可以直接扔到机器上跑。
#!/bin/bash
echo "== link =="; ip -br link
echo "== addr =="; ip -br addr
echo "== route =="; ip route show
echo "== src =="; ip route get 223.5.5.5
echo "== neigh =="; ip neigh
echo "== resolv =="; cat /etc/resolv.conf
echo "== gw =="; ping -c 2 -W 1 $(ip route | awk '/default/{print $3; exit}')
echo "== net =="; ping -c 2 -W 1 223.5.5.5
echo "== dns =="; dig +short www.baidu.com @223.5.5.5
echo "== fw =="; firewall-cmd --state 2>/dev/null
iptables -S 2>/dev/null | head -20十来行输出,涵盖了从链路到防火墙的全部关键状态。出问题的时候,把这个输出贴到群里,比在群里打字描述半天有用得多。
网卡配置尽量进配置管理,别手改。手改的东西没有版本,也没有记录,出事了只能靠回忆。
每台机器留一条带外通道。VNC、串口、或者干脆另一张独立网卡的 SSH,随便哪个,关键时刻能救命。
最后几句
这套顺序其实就一句话,从下往上,通了就停,不通就往下走。别跳层,别猜。
大部分外网不通的故障,根本走不到第七层。多数在第二层、第三层就现原形了。难缠的是那些现象和层对不上的情况,比如回包走错网卡、resolv.conf 被覆盖、MTU 不对,这几种得靠经验和工具一起上。
我见过太多人在这类问题上耗掉一整晚,最后发现是 ifcfg 里一个 ONBOOT,或者路由表里多了一条 default。技术含量不高,代价却实打实。
把这七层记在脑子里,下次再遇到,先把范围缩到一层,剩下的就好办了。
如果这篇对你有用,点个赞,转发给那个总在群里问网络不通的同事。公众号「耕云躬行录」会持续更新这类生产环境的排查记录,全网同名 @运维躬行录,也欢迎来个人博客「躬行笔记」逛逛,地址是 https://www.fuzhoupyy.work。
后台回复「网络排查」,我把上面那份自检脚本和一份排查 checklist 打包好了,直接拿去用。