这两年搞大模型训练、分布式推理、HPC 计算，绕不开几个词：GPU、NVLink、NCCL、EFA、RDMA、GPUDirect RDMA。我之前刚接触这块的时候，说实话也挺懵。一个模型训练慢，大家开会的时候嘴里都是“通信瓶颈”“AllReduce 太慢”“跨节点带宽不够”“EFA 没跑起来”...
从TLS说起在讲mTLS之前，我们得先把TLS搞明白。日常我们访问https网站，浏览器地址栏那个小锁，背后就是TLS在工作。TLS的核心逻辑其实很简单——单向认证。什么意思呢？就是客户端去验证服务端的身份，但服务端不验证客户端。流程大概是这样：客户端发起连接请求，告诉服务端我支持哪些TLS版...
说白了，当下用大模型最大的痛点就是：它太通用了。OpenAI的GPT、Meta的Llama这些开源模型，确实什么都能做，但对你的特定业务场景来说，那就是"什么都会，什么都不行"。微调就是来解决这个问题的——用你的私有数据，让模型学会你的"方言"。我之前在生产环境里踩过不少坑。显存不够、训练巨慢...
前两天升级集群的时候顺手刷了一下Kubernetes官方博客，突然看到一篇标题让我愣了一下——Running Agents on Kubernetes with Agent Sandbox。点进去一看，好家伙，K8s社区居然正儿八经地搞了一个SIG级别的项目，专门解决"怎么在集群里跑AI Ag...
热爱技术的云计算运维工程师，Python全栈工程师，分享开发经验与生活感悟。
欢迎关注我的微信公众号@运维躬行录，领取海量学习资料
