智谱 GLM 首席科学家唐杰在 X 平台分享了一项关于 GLM-5.3-Flash 推理系统优化的研究。他透露,GLM-5.3-Flash 从首次运行在国产 AI 加速器上,到完成全部生产流量承载,仅用了两周时间,系统端到端吞吐能力提升 3.2 倍。
此次部署运行在超过 10 万颗国产 AI 加速器组成的集群上。团队需要解决国产芯片显存容量和互联带宽限制、新模型架构适配、100 万 token 长上下文支持以及多模态请求处理等问题,同时国产 AI 加速器的软件生态仍处于发展阶段,部分 Kernel 支持不足,很多资料需工程团队自行探索。
唐杰表示,完成大量优化工作的并非只有基础设施工程师,还有一个由 GLM-5.3 驱动的 Infra Agent。该 Agent 参与了推理系统优化过程,帮助分析性能瓶颈、提出优化方案,并完成部分代码修改。唐杰将其描述为「一个帮助优化服务自身的模型」,认为距离真正的递归自我改进仍然很远,但一种早期形态已经出现。
