运维知识
悠悠
2026年11月22日

云原生到底解决什么问题,和传统架构差在哪,该从哪学起

如果现在把你集群里任意一个 Pod 删掉,你的服务会怎么样。

这个问题我问过不少人,答得上来的不多。答不上来的人里,有一半已经在用 Kubernetes,镜像也在流水线里打,发版照样挑凌晨,出事第一件事是 exec 进容器改配置。他们对每个组件都熟,唯独没在脑子里跑过一遍,一个进程被杀死之后会发生什么。

运维这几年最难受的地方很具体。看板一片绿,用户还在报 502。发布走完了,第二天发现节点磁盘被容器日志写满。老板问这套架构能不能扛住下个月的量,你心里没底,因为上次压测是三个月前做的。

这篇分三块讲。它解决什么问题,和传统架构差在哪,一个还没上手的人该按什么顺序学。

云原生这四个字在招聘和评审里出现得太勤,说的人和听的人经常不在同一个频道。招聘要求写云原生,说的是会写 Helm chart。架构评审说云原生,说的是迁到公有云。运维值班表上的云原生,是又多了一层要背的锅。

云原生到底指什么

五个技术块各自解决的问题

官方定义来自 CNCF。这类技术让组织能在公有云、私有云、混合云这些动态环境里构建和运行可弹性扩展的应用,代表技术是容器、服务网格、微服务、不可变基础设施和声明式 API。国内讲得更顺口的是四个词,容器、微服务、DevOps、持续交付。

这两套说法都对,用起来还是不够。我把判断标准压成一句,云原生是一组关于失败的假设,机器会坏,进程会被杀,人记不住上个月改过什么。应用被改成在这些假设下还能正常提供服务,这件事就算落地了。Kubernetes 的作用是让这些假设每天真实发生一遍。

CNCF 列的五个技术块,落到系统里是五件具体的事。容器管打包,镜像里装着运行需要的一切。声明式 API 管状态,你提交期望,系统负责收敛。不可变基础设施是另一条约束,实例只替换不修补,没人在生产机器上跑 apt upgrade。微服务和它们配套,一个服务一个镜像,独立发布。服务网格管进程之间的通信,重试、限流、mTLS 从业务代码里挪到代理上。

上云和云原生是两件事。把虚机搬进云,交付物还是应用包,扩缩还是靠买机器,系统依然怕删。门槛就在这一句,删掉之后还能不能服务。

它解决什么

六个麻烦和对应的解法

最先撞上的是环境。同一份代码,测试环境跑得好好的,上生产就报错,多半是依赖版本、时区、字符集、系统库不一样。以前的做法是写一份安装文档让运维照着做,做十次有十次不一样。

镜像是把运行需要的东西一起打包。它是一叠只读层,加一个启动命令。Dockerfile 里每条 RUN、COPY 各自成层,层能被缓存,也能被别的镜像复用。写法上有讲究,依赖清单先 COPY 进去,装完依赖再 COPY 源码,改一行业务代码不会触发一次完整的依赖下载,构建时间从六分钟掉到四十秒。

FROM golang:1.23-alpine AS build
WORKDIR /src
COPY go.mod go.sum ./
RUN go mod download
COPY . .
RUN CGO_ENABLED=0 go build -trimpath -ldflags="-s -w" -o /out/app ./cmd/app

FROM scratch
COPY --from=build /out/app /app
ENTRYPOINT ["/app"]

这段构建出来的镜像不到 20MB,因为 scratch 里什么都没有。代价是容器里也没有 shell,进不去,排查只能靠日志和指标。容器和虚拟机的区别经常被说错,容器共享宿主机内核,隔离靠 namespace 做视图,靠 cgroup 做限额。在容器里 uname -r 看到的是宿主机的内核版本。它不虚拟出硬件,只给进程换了个视角,所以起得快,几十毫秒,虚拟机按分钟算。

接着是发布。以前发布挑时间窗口,改完手工验证,回滚是把备份包拷回去。现在滚动替换,新实例探针通过才摘旧实例,回滚是把 tag 改回上一个 digest。用 latest 就没这个确定性,同一个 tag 今天拉下来和明天拉下来是两个文件。

容量是另一笔账。以前扩容的单位是机器,采购流程两周起,按峰值预留,业务平时用两成,机器还是买了八成。现在扩容的单位是副本,一句 scale 或者一个 HPA,几十秒从三个变三十个。

resources:
  requests:
    cpu: 500m
    memory: 512Mi
  limits:
    cpu: "1"
    memory: 512Mi

调度器按 requests 挑节点。requests 写小一点,Pod 更容易调度上去,节点上塞的副本就多,超卖就严重。等到节点内存真的不够,kubelet 开始驱逐,BestEffort 的 Pod 最先走,Burstable 按实际用量超出 requests 的程度排队,Guaranteed 最后走。上面这段配置是 Burstable,因为 CPU 的 requests 和 limits 不相等。

HPA 按 CPU 算的时候,分母是那个容器的 requests,不是节点的核数。requests 写 100m 的服务跑到 200m 就触发扩容,实际只用了 0.2 核,集群里一半机器闲着。

配置也搬了家。以前改配置是登机器改文件再重启,现在配置放在 ConfigMap 或者环境变量里,跟镜像分开。挂成卷的那份,kubelet 周期性同步,改完到文件真正变化之间有一分钟左右的延迟,应用不重读文件等于没改。挂在环境变量里的那部分,改完必须重建 Pod,环境变量在容器启动那一刻就固定了。

拆服务解决的是另一类问题,人和人之间的等待。一个包十个团队改,发版要排队,谁也不敢动别人的代码。按服务切开,各自发自己的,接口写进契约里。代价是边界难划,拆错地方的服务,调用链比单体还长,一次请求跨六个服务,超时和重试要在每一跳都算清楚。

故障这件事最容易被低估。实例可丢弃,代价是进程随时会死。滚动更新会杀,缩容会杀,节点维护会驱逐,内存超限会 OOM,集群资源紧张时高优先级的 Pod 会抢占。

kubelet 先发 SIGTERM,同时开始计时,默认 30 秒。应用在这段时间里把请求处理完,关闭连接,退出。超过 30 秒还没退,SIGKILL 补上,进程当场死,正在处理的请求全部断开。容器退出码 137 就是 128 加 9,9 是 SIGKILL 的编号。

srv := &http.Server{Addr: ":8080", Handler: mux}
go srv.ListenAndServe()

sig := make(chan os.Signal, 1)
signal.Notify(sig, syscall.SIGTERM, syscall.SIGINT)
<-sig

ctx, cancel := context.WithTimeout(context.Background(), 25*time.Second)
defer cancel()
srv.Shutdown(ctx)

25 秒是我习惯留的余量,给宽限期留 5 秒让 kubelet 收尾。还有一个更隐蔽的窗口,Service 的 endpoints 更新和 kube-proxy 下发 iptables 规则是异步的,Pod 已经开始终止了,转发规则可能还在往它上面送流量。所以 preStop 要挂一个 sleep,等规则撤掉再关连接。

lifecycle:
  preStop:
    exec:
      command: ["sh", "-c", "sleep 5"]
terminationGracePeriodSeconds: 40

宽限期设 40,preStop 睡 5,应用自己用 25,剩下 10 秒是缓冲。三个数字要能对得上,改一个就要复核另外两个。发布时那一小段 502 多半来自这个窗口,前端看到零星失败,服务端日志干干净净,因为请求根本没走到应用。

再往前一步,是判断一个实例该不该接流量。探针分三种。liveness 管的是进程还活着没有,失败就重启容器。readiness 管现在能不能接流量,失败只是从 Service 的 endpoints 里摘掉,不重启。startupProbe 管启动完了没有,在它成功之前,另外两个探针不生效。

livenessProbe:
  httpGet:
    path: /healthz
    port: 8080
  timeoutSeconds: 3
  failureThreshold: 3
readinessProbe:
  httpGet:
    path: /ready
    port: 8080
  failureThreshold: 2
  periodSeconds: 5

默认值要背下来。periodSeconds 10 秒,timeoutSeconds 1 秒,failureThreshold 3 次。一个默认配置的 liveness,连续 30 秒探不通就重启。

我见过一次很典型的雪崩。liveness 的接口里顺手查了 Redis,写着写着成了习惯。某天 Redis 主从切换,二十秒不能读写,同一个服务的两百多个副本几乎同时探针失败,同时重启。重启本身不慢,慢在重启之后还要抢连接、抢锁、预热缓存,恢复用了二十多分钟。日志里每个 Pod 只有一行探针超时,看不出跟 Redis 有什么关系。readiness 查下游是合理的,liveness 查下游是危险的,前者摘流量,后者重启。

JVM 还有一种死法。liveness 的 timeoutSeconds 用默认的 1 秒,一次 GC 停顿就超时,累计三次就重启。表现是应用每隔几个小时重启一次,监控上 RESTARTS 缓慢增长,日志里找不到异常。

出问题之后怎么知道坏在哪,是另一回事。以前登机器看 top 和 tail,现在实例是临时的,登上去它可能已经没了。指标回答是不是坏了,它是聚合的时间序列,看趋势和分位数。日志回答哪里坏了,容器日志写 stdout,kubelet 落到节点的 /var/log/pods 下,写满之后 kubelet 开始驱逐 Pod。链路回答哪一跳坏了,一次请求跨六个服务,指标显示整体变慢,日志各自干净,只有一条完整的调用链能指出是第三跳的数据库连接池在等。

sum by (service) (rate(http_requests_total{status=~"5.."}[5m]))
/
sum by (service) (rate(http_requests_total[5m]))

配这条告警要注意分母。QPS 很低的服务,一个错误就能顶到 100%,半夜叫醒你没意义,加一个流量下限。标签的基数也是笔账,给请求打上用户 ID 或者订单号,时间序列的数量等于用户数乘以接口数,Prometheus 的内存几天就被吃光。

还有一个不显眼但经常背锅的东西,DNS。Pod 里的 resolv.conf 默认 ndots 是 5,解析一个外部域名要先按 5 个搜索域各试一遍。每次超时重试,一个简单的 HTTP 调用就能多出几秒。把 ndots 调到 1 或者 2,配上 FQDN,这类延迟立刻消失。

还有一层在机器外面。安全组、EIP、NAT 网关、负载均衡的健康检查、实例维护事件,这些东西在容器里 curl 不出来,在宿主机上 iptables 也看不见。Pod 里 curl 外网超时,登上节点 curl 正常,原因是节点有 EIP 直接出网,Pod 走 SNAT,安全组只放行了节点的 IP 段。两边的网络路径根本不一样。

和传统架构差在哪

传统架构与云原生架构对照

2010 年前后的一套典型系统长这样。一台物理机或者虚机,上面装 nginx、tomcat、mysql,数据目录挂一块云盘,配置文件放在 /opt/app/conf。发布就是 scp 覆盖 jar 包再重启。

这套东西的毛病很具体,状态全长在机器上。session 落在本地内存,上传的图片存在 /data/upload,日志写在 /var/log/app,定时任务的记录在 crontab 里。机器坏了,服务能重启,数据回不来。所以那个年代运维把机器当宠物养,起名字,记脾气,看硬盘灯怎么闪就知道是哪块盘。

两套架构的差别,落到具体动作上是这样的。

交付物先变。传统架构交付一个应用包,加一份安装文档,装到哪台机器上要看运维的手艺。云原生交付镜像,运行需要的东西都在里面,装到哪里不用管。

扩容的单位跟着变。以前加一台机器,再部署一遍,等采购。现在加的是副本,几十秒从三个变三十个,流量退下去再缩回来。

故障的影响面也变了。一台机器挂了,上面跑的东西一起没,影响面按机器算。一个实例挂了,剩下的副本继续接流量,影响面按副本算。

发布和回滚是最容易被低估的一段。以前发布挑时间窗口,改完手工验证,回滚是把备份包拷回去。现在滚动替换,回滚是一条命令改 tag。

资源账换了算法。传统架构按峰值预留,业务平时用两成,机器还是买了八成。云原生按 requests 调度,剩下的容量留给别人的业务,代价是被抢的时候先被驱逐。

责任边界也换了。以前一个包谁都能改,出事一起查,现在按服务切开,接口成了契约,一个服务挂了,调用方得有降级。这一条比工具难改,工具一个月能装上,边界要谈半年。

该从哪学起

学习顺序与验收动作

我见过太多人从 Kubernetes 开始学,背了一堆 kubectl,遇到一个 CrashLoopBackOff 就卡住。顺序错了。

先在一台机器上把容器玩明白。写 Dockerfile,看层怎么叠、缓存怎么命中、镜像怎么变小,会用多阶段构建,知道 PID 1 为什么要 tini。这一步的验收很简单,同一个镜像在笔记本和服务器上跑出一模一样的结果。

再上 Kubernetes,而且自己搭一次。kind 或者 minikube 都行,有条件用两台机器跑 kubeadm。这一步的目的只有一个,看懂 etcd 里存了什么,apiserver 收到请求干了什么,kubelet 怎么把 Pod 拉起来。验收方式是手写 YAML 起一个 Deployment 加 Service,然后删掉一个 Pod,观察它被重新创建。

接着把生命周期学透。三种探针的边界,优雅退出怎么写,preStop 和宽限期怎么配合,滚动更新的两个参数怎么调。验收方式很土,压着流量发一次版,客户端错误率为零。

网络这一步绕不开。Service 的虚拟 IP 怎么转发,Ingress 和 Service 怎么分工,CoreDNS 在中间干什么,NetworkPolicy 到底挡住什么。验收方式是拿一个 Pod 依次打通三个地方,同命名空间的另一个 Pod、跨命名空间的 Pod、集群外的域名,三跳都通,说明你对这套网络有基本概念。

调度和容量要单独花时间。requests 和 limits 的区别,QoS 三档,驱逐顺序,HPA 的分母,节点亲和。验收标准是拿到一个没调度上去的 Pod,能指着 describe 里的那句事件说清原因。

观测容易被当成工具活,其实它决定你排障的速度。指标、日志、链路各管什么,PromQL 写得出错误率和分位数,告警知道要卡流量下限。验收标准是给一个 502 的现场,五分钟内指出坏在哪一层。

后面才是 GitOps、服务网格、策略引擎、多集群。这些东西解决的是规模上来之后的治理问题。集群只有五个节点、服务只有十几个的时候上 Istio,你会先被它的配置复杂度拖死,而它要解决的问题你还没有。

方法上还有两条。不要为了考证而学,证书考的是记忆,排障考的是判断,两者只在开头重合。也不要只在一个托管集群的图形界面里点,点出来的东西你不知道背后写了什么 YAML,出了事只能等厂商。

资料上有个优先级。官方文档排第一,Kubernetes 的概念页写得比大多数教程清楚。排第二的是自己动手搭,报错信息里藏着最多东西。视频课程适合入门那两天,再往后就是浪费时间。看 controller 的源码比看十篇解读有用,ReplicaSet 那个控制器一共几百行,读完就明白所谓自愈是怎么回事。

最后几句

云原生这套东西,工具是外壳,判断是里子。判断来自你亲手删过多少次 Pod,看过多少次驱逐日志,改错过多少次探针。

关注@运维躬行录,公众号「耕云躬行录」,后面还会写这类云原生落地和线上排障的实操。

个人博客「躬行笔记」https://www.fuzhoupyy.work

文章目录

博主介绍

热爱技术的云计算运维工程师,Python全栈工程师,分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录,领取海量学习资料

微信二维码