黄昏中的通信铁塔

应用场景 / 07

通信与运营商

这行的故障,多半不是「坏了」,
是某个看起来很小的配置错了。

  • 7.5 分钟现场集群时间偏差
  • 115 万条信令实测数据集
  • 62 毫秒全文检索定位

这行的坑长什么样

通信这行,系统常年在线,没人敢停。故障往往不是硬件坏了,而是一个看起来无害的配置——时间快了几分钟、某个参数按默认值留着——在某个时刻把整套东西打挂。

所以我们的做法是:不猜,先复现;不试生产,先在等价环境里把错的那条路走一遍。

02

我们在这行
知道的事

四条,都有实测撑着

  1. 01

    集群时间快 7 分半,不能一台一台调

    四台节点步调一致地比北京时间快 7.5 分钟,业务还照常跑。最直觉的做法是逐台把时间调回来——但对这类分布式存储恰恰致命:节点靠彼此的时间一致性判断谁还活着,逐台调时会让节点在集群眼里忽死忽活。实验室实测:近半数据降级,几乎全部分片不可用。

  2. 02

    「存储用单调时钟,随便调时间」是错的

    社区里流传这个说法,只对了一半。集群里负责裁决「谁活着」的那层用的是真实墙上时钟,时间乱跳一样会把整套存储打挂。这一条不验证就下结论,代价是生产事故。

  3. 03

    不拿客户的生产系统做实验

    我们用自动化工具在几分钟内拉起一套 4 节点的等价集群,把现场状态精确复刻,再把「错误做法」和「正确做法」各跑一遍。客户拿到的不是「据说可以」,是「我们替你试过、有数据」。

  4. 04

    存下来不等于能用

    5G 每天几十亿条信令,上了国产数据库也未必查得动。我们灌了约 115 万条信令做实测:全文定位 62 毫秒、二维聚合 696 毫秒、异常发现 174 毫秒;混合检索故意放到约 10 秒,换 100% 召回、零漏检。

03

一条
完整的记录

一个上午,拆一颗定时炸弹

完整记录 · 省级通信基础设施运营企业

集群时间快了 7 分半,
改一步就可能全瘫

客户的一套 4 节点分布式存储集群常年在线,上面跑着业务系统读写。某次巡检发现,四台节点显示的系统时间都比北京时间快了约 7 分半——步调一致地一起快,业务当时还正常。问题是要不要改、怎么改。

最直觉的做法是一台一台把时间调回来。对这类集群,这恰恰是致命的:节点靠彼此的时间一致性判断谁还活着,逐台调时会让节点在集群眼里忽死忽活,直接触发数据保护雪崩。可生产系统没有试错窗口,方案必须一次给对。

7.5 分钟现场时间偏差
4 节点实验室 1:1 复现
0 故障正确做法实测

我们没在生产上试。用自动化工具在几分钟内拉起一套 4 节点等价集群,把「整体快 7.5 分钟」精确复刻。先验证「整体一起快」不会告警、业务照常读写——这解释了客户为什么能带病运行;再故意逐台调时,集群瞬间近半数据降级、几乎全部分片不可用;最后跑正确做法:给集群加一层保护旗标,四台在同一时刻一起拨回,再固化下来。全程零故障。

交付的不只是步骤:每一步的判断标准、出问题怎么回退,都写成了清单,另附一条根治建议——配置统一自动对时,从此不靠人工。整个推演在一个上午内完成。

04

怎么起步

先复现,再动手

  1. 先判断这个时间要不要动时间不准会影响日志审计、告警时间戳和排障可信度,长期放着是隐患。但先判断影响面,再动手。
  2. 把风险挪到实验室1:1 复现现场状态,把错的做法也跑一遍。知道哪条路会瘫,比知道哪条路能通更重要。
  3. 给一条根治的路人工调时只是止血。配统一自动对时、写进巡检项,才不会明年再来一次。

下一步

先把那条错的路走一遍,
再碰生产。

手上有一个不敢动的配置、或者一组查不动的信令,可以先发过来。我们在等价环境里跑一遍,告诉你哪条路会出事。

李钦鹏 · 江西省南昌市青山湖区洪都中大道 158 号鸿雁电子市场内 N 栋 01