完整记录 · 省级通信基础设施运营企业
集群时间快了 7 分半,
改一步就可能全瘫
客户的一套 4 节点分布式存储集群常年在线,上面跑着业务系统读写。某次巡检发现,四台节点显示的系统时间都比北京时间快了约 7 分半——步调一致地一起快,业务当时还正常。问题是要不要改、怎么改。
最直觉的做法是一台一台把时间调回来。对这类集群,这恰恰是致命的:节点靠彼此的时间一致性判断谁还活着,逐台调时会让节点在集群眼里忽死忽活,直接触发数据保护雪崩。可生产系统没有试错窗口,方案必须一次给对。
我们没在生产上试。用自动化工具在几分钟内拉起一套 4 节点等价集群,把「整体快 7.5 分钟」精确复刻。先验证「整体一起快」不会告警、业务照常读写——这解释了客户为什么能带病运行;再故意逐台调时,集群瞬间近半数据降级、几乎全部分片不可用;最后跑正确做法:给集群加一层保护旗标,四台在同一时刻一起拨回,再固化下来。全程零故障。
交付的不只是步骤:每一步的判断标准、出问题怎么回退,都写成了清单,另附一条根治建议——配置统一自动对时,从此不靠人工。整个推演在一个上午内完成。