完整记录 · 省级气象部门
同一套模型跑三台机器,
最快的不是算力最强的那台
客户是江西省级气象部门。一条线要把跑在国外 GPU 上的降水外推模型迁到国产平台;另一条线在做多源融合定量降水预报的研究,需要一个能自由做实验的训练平台。两条线卡在同一件事上:国产算力上,气象 AI 训练到底跑不跑得起来。
老模型迁过去只改了 7 行:用梯度检查点把显存峰值从 62GB 压到 55GB,训练慢约 25%,精度零损失。30 轮跑完 81 分钟——比客户现役的国外顶级 GPU 业务机(107 分钟)还快 24%,而且单卡显存还少三分之一。
新模型更极端:全局注意力在全分辨率气象场上一跑,显存需求飙到 5449GB。我们没有硬刚硬件,换成线性复杂度的状态空间模型加编码器降采样,序列压到四分之一,单步训练从 43 秒压到 3.7 秒,一轮约 3.1 分钟,显存不到 10GB。
最后把三台机器的实测摆到一起,才看清真正的问题:算力最强的那台业务机,因为配的是老旧机械盘,数据读取慢 6 倍,总耗时 107 分钟垫底;加固态盘的那台 40 分钟。结论从「要不要换 GPU」变成「先把存储升级到位」——不动 GPU,效率就能提 30% 到 40%。全程只用空闲卡,线上推理零影响。