一份断网报告,为什么值得架构团队阅读
Cloudflare 于 2026 年 10 月 27 日发布第三季度互联网中断回顾,观察范围是当年 7 至 9 月。报告记录了 49 起中断,其中政府要求的网络关闭有 19 起,电力故障有 14 起,自然灾害有 5 起。这里的统计来自 Radar 的观测与标注,并非全球所有故障的完整普查。Cloudflare 官方报告
报告还描述了一个具体案例:9 月 10 日,洪都拉斯一处互联设施的供电故障影响至少 11 家主要服务商,持续约三小时。下面的架构讨论以这一现象为切入点,是作者提出的设计和验证建议,不是对报告逐段翻译,也不代表 Cloudflare 对任何方案的效果保证。
多副本解决不了共同依赖
先画故障域,再数机器
假设一个业务有三台应用服务器,分散在三个机房。如果它们使用同一条上游链路、同一身份服务或同一个关键数据库,那么应用进程虽然有三份,业务仍可能只剩一条可用路径。架构图上画了多个方框,不等于实际故障能够被隔离。
更有用的做法是画依赖表:从客户端解析域名开始,经过接入网络、流量入口、鉴权、应用、数据存储,直到第三方接口。每一层都记录服务方、地域、切换方式和操作者。不能确认独立性的项目应标记为待核实,而不是默认它们互不相关。
这种梳理尤其适合已有系统。团队未必马上需要购买第二套基础设施,却可能先发现一个便宜得多的问题:备用站点虽然已经部署,登录入口和配置发布却仍依赖主站点。主站失联时,备用站点存在,但无法被正常启用。
多地域不是一句部署参数
把服务放到两个地域只是开始,还要明确写入在哪发生、读到的数据允许延迟多久、切换期间哪些操作必须暂停。如果两个站点都能接受同一笔订单,却没有确定冲突处理规则,提升入口可达性可能换来业务状态的不一致。
因此,跨地域方案应先回答业务问题,再选择复制方式。对于展示型内容,允许短时间读取旧版本可能足够;对于库存扣减和支付结果,则需要更谨慎的状态约束。这里不存在适用于所有系统的单一答案,关键是把取舍写进可测试的规则,而非留给故障当天临时讨论。
可用性必须从用户所在位置观察
服务端健康,不代表用户能到达
内部探针返回成功,只能说明探针所在位置能够完成那条路径。真实用户可能在另一个运营商、地区或接入方式中。服务器指标没有异常,与某一群用户无法访问,可以同时成立。
可以按主要用户群建立外部探测,至少区分域名解析、连接建立、页面加载和关键业务提交。报警不必追求数量多,而应让值班人员判断:是所有人受影响,还是特定网络;是完全不可达,还是响应缓慢;是只能浏览,还是写入失败。
对中小型站点而言,先选择几个有代表性的观察点,通常比一次铺开复杂监控更容易维护。要保留探测位置、时间和失败阶段,否则只收到“网站异常”四个字,很难决定该查应用日志还是联系网络服务方。
把流量减少与服务恢复分开判断
访问量下降有多种可能原因,单独一条曲线不足以证明应用故障。反过来,曲线恢复也不一定意味着积压任务已经处理完毕。监控应结合请求成功率、关键操作结果以及队列状态,避免用单个总量指标替代业务判断。
恢复标准可以分层定义:用户能够打开页面,是入口恢复;订单能够正确提交,是业务恢复;延迟任务被安全消化、数据完成核对,才是完整恢复。每一层都需要负责人确认,不能只因为第一张图转绿就结束事件。
降级设计要留下诚实的边界
只读比错误承诺更有价值
当写入链路不可用时,一个清楚标记状态的只读页面,可能比不断超时的完整界面更实用。用户至少可以看到已有信息,知道哪些操作暂不可用。前提是页面不能把缓存内容伪装成实时结果,也不能显示一个看似成功、实际没有提交的按钮。
例如活动报名服务可以展示活动安排,却明确暂停提交;内容站点可以继续提供缓存文章,但暂缓评论。这里讨论的是产品取舍,不是声称所有场景都能通过缓存维持可用。涉及个人信息和访问权限的内容,还必须保证降级没有绕过原有控制。
重试需要预算,积压需要出口
客户端、网关和后端如果各自无上限重试,会让恢复中的服务持续承受额外压力。一个更稳妥的设计是为任务设置总时限、有限次数和可识别的请求标记,并让用户看见“处理中”与“失败”的区别。
对于异步任务,必须确定积压后如何排队、哪些任务可以丢弃、哪些必须人工处理。恢复时也不宜一口气放开所有历史请求。团队可以先恢复少量流量,确认关键依赖稳定,再逐步增加处理量。这些参数应通过测试寻找,不能从别人的案例直接照搬。
演练不是按下切换按钮就结束
检验人能否在故障中操作系统
一个有用的演练可以从简单问题开始:主站不可达时,值班人员能否登录备用控制台?紧急文档是否存放在同一套失联系统里?通知渠道是否仍可使用?这些问题看起来琐碎,却决定了自动化失效后是否还有可行路径。
演练记录应包含操作步骤、预期结果、实际耗时和需要人工判断的节点。发现问题后,要有具体改进项与复测条件。一次没有形成修改的演练,可能只证明团队曾经做过演示,而不是系统已经具备恢复能力。
恢复之后,还要验证业务事实
切换成功后,应抽查关键记录是否重复、遗漏或停留在中间状态,并检查通知是否与实际结果一致。如果订单已提交但用户看到失败,简单重发可能造成重复处理;如果用户看到成功而记录缺失,则需要主动修复与沟通。
因此,恢复流程最好提前准备核对脚本和人工清单,明确哪些判断可以自动完成,哪些必须交给业务负责人。恢复速度重要,但未经核对的“快速恢复”可能把短期不可用变成长时间的数据问题。
架构评审可以从一张表开始
这份新报告值得带进架构评审的,不是让每个团队立刻建设昂贵的多活系统,而是促使大家检查共同依赖。列出关键业务路径、可接受的中断时间、允许的数据滞后、降级行为、切换负责人和恢复核对方式,已经能暴露许多隐藏假设。
可靠性不是服务器数量的同义词。它最终要回答的是:某一层真的失效时,用户会遇到什么,团队能做什么,以及如何证明业务已经恢复。把这些问题变成可执行、可验证的步骤,比在架构图上再增加一个副本更接近实际目标。
评论
暂无评论。