凌晨两点多,值班群里有人发了一张截图:Kibana Discover 里所有服务的日志都停在 01:47,之后一片空白。应用没报警,接口也正常,就是查不到日志。更麻烦的是,这时候恰好有个支付回调异常要排查。日志平台平时没人在意,出事时它是唯一的证据来源。我把这类问题来回看过很多遍,发现日志平台...
那天下午服务刚开始滚动发布,告警群就弹出一串错误:order 服务调用 payment 服务,日志里时不时冒出 connection refused,偶尔还有 3 秒超时。我先确认影响范围。报错并不是一直有,基本集中在发布那十几分钟里。错误率不高,可支付链路的业务方已经开始问了。最麻烦的是,每...
下午三点多,网关节点上的几个服务同时出现超时。监控上的现象很零碎:部分新请求连接超时,已经建好的长连接基本正常,重试后有一部分能成功。节点 CPU 和内存都不高,网卡流量也没到上限。有人登录节点执行了 dmesg,屏幕上反复出现一行日志:nf_conntrack: nf_conntrack: ...
晚上 20:03,登录接口请求量突然上涨。Nginx 还能接收连接,但后端认证服务的线程池已经排队,数据库连接数一路逼近上限,接口 P99 从 180ms 涨到 4.6s。值班同事紧急加了一条 limit_req,结果流量没压住,正常用户反而开始大量收到 503。继续检查才发现两个问题:$re...
本文基于当前 kubernetes-the-hard-way 仓库整理。目标不是提供一键脚本,而是通过手工部署理解证书、kubeconfig、systemd、容器运行时和 Pod 网络如何组成 Kubernetes 集群。1. 部署目标本实验使用 1 台管理机、1 台控制平面和 2 台工作节点...
热爱技术的云计算运维工程师,Python全栈工程师,分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录,领取海量学习资料