Prometheus 负责采集、短期查询和告警，ClickHouse 负责长期存储与大范围分析。两者接起来，真正麻烦的不是“能不能写进去”，而是数据能不能补回来、重复样本怎么处理、写入积压会不会失控。下面把架构、Remote Write、表结构、容量估算、故障演练和上线验收串起来讲。配置只是起...
凌晨一点多，批量升级 agent 的脚本跑完，Ansible 输出一片绿色。第二天早上看监控，两百多台机器里有六十多台版本号一点没变。告警规则是按新版本指标写的，这六十多台的告警全部失效，我们整整一晚都没发现。罪魁祸首是一行我写了好几年的命令：cp agent /usr/local/bin/;...
新机器到手，要上一个带域名的网站，Nginx 装好、证书签好、续签配好，这套活我在 Amazon Linux 2023 上做了不下十几遍。网上的教程大多是 CentOS 时代的写法，搬到 AL2023 上会碰到不少问题：EPEL 装不上，crontab 命令不存在，续签任务看起来配好了，实际一...
10月29日下午4点20分左右（北京时间10月30日凌晨），全球最大的加密货币交易所币安，开始看到一连串异常交易。几十亿美元的数字资产从公司账户里流出去。链上的每一笔都公开可查，所有人都看得见，一时间谁也拦不住。最后的数字是63.4亿美元，加密行业有史以来最大的一次盗窃。事后，币安给出的初步说...
晚上 9 点 40，群里开始有人喊支付回调超时，客服那边说已经有用户在问"钱扣了订单怎么还没好"。我第一反应还是老习惯，kubectl logs 挨个 Pod 翻，pay-api 有 12 个副本，翻到第 4 个的时候领导已经在群里 @ 我第三次了。后来换到 Grafana 里查 Loki，结...
热爱技术的云计算运维工程师，Python全栈工程师，分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录，领取海量学习资料
