平台上线第三天,Grafana 里查日志很顺:Nginx 访问日志、systemd 日志都能看到,S3 存储桶里也开始出现对象。大家都以为日志平台已经能用了。接着做一次演练:让测试接口连续返回 5xx。Grafana 里能看到错误数在涨,告警群里却没有任何消息。Alertmanager 页面也...
凌晨的告警群里,最常见的一句话是:接口超时了,谁看一下日志。下面用一个脱敏后的典型场景说明。某个订单接口在晚高峰变慢,它的日志分散在三台应用机的 /data/app/logs 里。排查的人只能逐台登录,用 grep 拼时间线,各机器的时间格式还不完全一致,对齐时间花的功夫比看日志还多。这类问题...
热爱技术的云计算运维工程师,Python全栈工程师,分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录,领取海量学习资料