滚动发布完成了,实例数也始终够用,监控却在每次替换 Pod 时冒出一小串连接重置。团队已经捕获 SIGTERM,还给 preStop 加了五秒等待,为什么请求仍会失败?
问题往往出在几个动作没有共同的完成条件:控制面已经宣布实例退出,上游代理还在使用旧连接;应用已经停止监听,代理才把最后一个请求送过来;HTTP 连接已经断开,数据库里的事务却还在执行。任何一层单独说“我关闭成功了”,都不足以说明一次业务已经安全结束。
本文围绕一个普通订单查询服务设计停机协议,比较应用主导和入口协调两种方案。目标是把计划内发布造成的中断压到可验证的范围,并给超时与故障留下恢复路径。下面的容量和时间是设计假设,不是某个线上系统的测量结果;代码只做了本地 HTTP 测试,没有完成 Kubernetes 集群验收。
先把要保护的工作列出来
假设服务有八个 Pod,入口每秒一千六百个请求。先假定单 Pod 在满足延迟目标时可承担每秒二百五十个请求,这个容量需在真实部署中压测确认。普通查询约两百毫秒,业务执行期限为两秒。少量报表需要九十秒,不适合继续塞在同一条同步 HTTP 请求里。
请求经过外部负载均衡、入口代理、Service 对应的后端集合,最后到应用和数据库。这里画的是逻辑依赖,实际入口可能直接选择 Pod IP,也可能经过 Service 转发,不能把所有部署都想成同一种网络路径。发布前应确认谁缓存了后端地址,谁维护上游连接池,哪些内部调用绕过入口直连应用。
对这个场景,我会把承诺写成三条:停机前已经接纳、能够在期限内完成的请求,尽量正常返回;停机后不再开启没有完成预算的新业务;已经可靠接单的长任务,即使进程退出也能恢复。第三条需要持久化任务状态,不能靠延长进程寿命代替。
“尽量正常返回”也要有边界。客户端先断网、节点突然掉电、进程被强制杀死,都可能绕过正常停机流程。架构可以减少计划内发布的可避免错误,不能承诺任何故障下每一条 TCP 连接都不中断。写接口还需独立解决结果未知:服务端提交成功但响应丢失时,客户端只能通过幂等键或结果查询确认,不能盲目再创建一次订单。
Kubernetes 的终止不是一条同步调用链
Pod 被标记删除后,节点侧开始本地关闭,控制面同时更新端点信息。这两条链路会并行推进,不能假设“所有代理摘除成功”先于“应用收到停止信号”。默认停止信号通常是 SIGTERM,镜像或受支持的配置可以改变它;宽限期结束后,剩余进程会被强制终止。Pod 生命周期说明
preStop 在正常终止流程中先于停止信号执行,但它消耗的就是同一份终止宽限期。给 Pod 三十秒、在钩子里等待二十五秒,不会再留给应用完整三十秒。钩子还应能够重复调用,不能每执行一次就重复提交一项业务。容器生命周期钩子说明
端点状态也值得单独看清。普通 Service 的终止端点会通过 terminating 表达正在退出,ready 通常不再为真;serving 则保留是否还能服务的判断。代理通常避开终止端点,但在全部可用端点都正在终止等情况下,具体实现可能仍使用既 serving 又 terminating 的端点。publishNotReadyAddresses 还有特殊语义,不能套用普通 ready 筛选规则。EndpointSlice 条件定义
这些字段是路由方可消费的状态,不是全网络已收敛的回执。即便读到了最新 EndpointSlice,也不能据此证明每个入口代理、节点转发表和客户端连接池都停止使用旧目标。相反,readiness 探针失败只表达容器不适合接收常规流量;删除 Pod 本身已经会触发端点终止状态,并不依赖先等一次探针失败。探针职责说明
应用需要分开表达摘除与排空
把应用只分成“健康”和“不健康”很难描述发布。更有用的状态是正常服务、请求摘除、停止接单与排空完成。
请求摘除时,readiness 返回失败,但应用暂时仍有能力处理已经在路上的请求。停止接单时,业务入口不再创建新工作,监听器开始关闭;已登记的工作继续完成。排空完成则意味着本进程承诺负责的工作已经结束,依赖连接才可以释放。
这个区分能避免一个常见错误:readiness 一失败,业务处理器立即对所有请求返回 503。若代理尚未更新,原本可以完成的请求就被主动变成了错误。短暂继续服务迟到流量可以缩小这个窗口,但也不能无限继续,否则永远无法排空。何时从请求摘除切换到停止接单,需要由明确的策略决定。
方案一让应用在有限预算内自行收尾
低复杂度方案保留普通滚动更新。preStop 通过仅在本机可达的管理接口请求摘除,应用暂停领取新的后台任务,继续处理短请求;钩子在预留的时间内观察流量,然后返回。随后信号处理器停止接单并等待已有工作完成。
如果入口没有可验证的摘除回执,观测窗口只能根据真实发布时的传播分布选择。例如实测常态收敛很快,可以先给五秒预算,并持续统计窗口之后仍到达的请求。五秒这个数字只能降低风险,不能证明第六秒不会有迟到流量。即使连续一秒没有请求,也可能只是业务碰巧空闲,不能把“安静”当成所有代理确认。
钩子超过预算时,应记录摘除未确认并进入既定收尾策略,而不是悄悄把超时当成成功。Pod 已经进入删除流程后,不能靠让 preStop 一直等待来取消删除。这个方案适用于短请求、入口可控、少量可恢复错误可以接受的服务;若业务要求发布时严格不接受这类中断,就需要更强的入口协议。
它的优点是组件少,应用和部署配置都比较容易维护。代价是残余传播窗口,以及对调用方恢复能力的依赖。读请求可以在总期限内做有限重试,写请求则必须先确认重试语义。不能用全局无限重试掩盖发布错误,那会在容量最少的时候制造更多流量。
方案二先在入口完成交接再删除实例
更严格的方案把协调放到删除之前。发布控制器先准备替代容量,再要求所有相关入口把特定 Pod UID 标记为退出。入口停止给它分派新请求、淘汰相应的空闲上游连接,并报告当前路由版本和剩余工作。只有确认条件满足,控制器才让应用排空并删除 Pod。
确认不能只是“新配置收到”。如果代理已经把一个请求放进待发送队列,配置更新后它仍可能发往旧实例。更强的回执应覆盖分派队列及在途请求,直到这些请求完成或被明确转移,才报告该目标不再承担工作。HTTP/2、流式响应和长连接会延长这个过程,因此协议必须规定最大等待时间与客户端重连方式。
下面是设计伪代码,不是 Kubernetes 自带接口,也不是某个代理的现成配置:
ensure_replacement_capacity_ready()
retirement = persist_retirement(pod_uid, routing_revision)
for gateway in verified_gateway_membership:
gateway.stop_assigning_new_requests(retirement)
wait_until_each_gateway_confirms(
same_pod_uid,
revision_at_least=routing_revision,
queued_requests=0,
active_requests=0,
deadline=rollout_deadline
)
if confirmation_incomplete:
pause_rollout_and_keep_old_process_alive()
else:
application.stop_accepting_new_work()
await application.drain_and_close_dependencies()
delete_pod()
这里真正新增的复杂度是成员关系。若入口扩容后,新代理加载旧配置,又把退出中的 Pod 加回去,之前的回执就失效了。因此退出记录要有稳定的实例身份和递增版本,新入口必须先读到当前退出状态才能开始分派;已退出的入口也要被可靠移出成员集合。不能只在发布开始时取一份代理列表,之后不再管变化。
还有两个前提不能省略:所有相关请求必须经过受控入口,直接访问 Pod 的内部客户端也需要纳入;发布系统必须真正掌握旧实例的删除时机。普通 Deployment 控制器不会自动执行上述握手,不能先触发它缩容旧副本,再希望另一个脚本及时阻止删除。可以采用支持发布阶段钩子的控制器,或经过设计的分组切换流程,但要避免多个控制器争抢同一组副本。
入口协调方案适合已具备统一网关和发布平台、请求中断成本较高的系统。它增加路由版本、控制器恢复和额外容量成本。若调用路径非常分散、团队无法盘点所有入口,声称全局已摘除反而会制造错误信心,此时应先收敛流量边界。
一个容易漏掉的计数是断连后仍在执行的工作
HTTP 连接数不能直接作为业务工作数。客户端断开时,正在等待的数据库调用未必取消;响应已经发送后,应用也可能偷偷启动了一个后台 Promise。如果停机逻辑只等服务器关闭回调,就可能提前关闭数据库连接池,或者直接退出。
Node 的 server.close() 停止接受新连接,并处理不再发送请求或等待响应的连接;从 Node 19 起,它也会清理空闲连接。closeAllConnections() 会强制关闭活动 HTTP 连接,不等于取消业务逻辑,而且不负责已经升级成其他协议的连接。下面仅处理普通 HTTP/1.1,不覆盖 WebSocket、HTTP/2 或框架自带生命周期。Node HTTP 关闭 API
下面的生命周期核心可保存为 service.mjs。它把业务执行从 socket 生命周期中分离:接单检查与计数登记在第一次 await 之前完成,工作真正退出后才减计数。withdraw() 只改变就绪状态,drain() 才停止接单。重复调用 drain 返回同一个 Promise。
import http from 'node:http';
export function createService(work) {
let phase = 'serving', active = 0, httpClosed = false;
let drainPromise, resolveDrain;
const settle = () => {
if (httpClosed && active === 0) resolveDrain?.();
};
const server = http.createServer(async (req, res) => {
if (req.url === '/readyz') {
res.writeHead(phase === 'serving' ? 200 : 503).end();
return;
}
if (req.url !== '/work' || req.method !== 'GET') {
res.writeHead(404).end();
return;
}
if (phase === 'draining') {
res.writeHead(503, { Connection: 'close' }).end();
return;
}
active++; // Register before the first await.
try {
const result = await work();
if (!res.destroyed) res.end(result);
} catch {
if (!res.destroyed) res.writeHead(500).end('failed');
} finally {
active--; // Disconnection does not prove work completion.
settle();
}
});
return {
server,
get active() { return active; },
withdraw() {
if (phase === 'serving') phase = 'withdrawing';
},
drain() {
if (drainPromise) return drainPromise;
phase = 'draining';
drainPromise = new Promise((resolve, reject) => {
resolveDrain = resolve;
server.close(error => {
if (error) { reject(error); return; }
httpClosed = true;
settle();
});
});
return drainPromise;
},
forceCloseHttp() { server.closeAllConnections(); }
};
}
这个模块故意没有暴露公网停机端点,也没有假装是一套完整订单服务。调用方先通过 app.server.listen() 启动监听,再由受保护的本机管理通道调用 withdraw,由停止信号或协调器调用 drain。传入的 work 必须代表完整工作生命周期;如果它启动后台任务后立即返回,计数仍然会漏记。
真实集成还需要一个总截止时间。收到停止信号后,先阻止新任务领取,调用 drain;正常完成后关闭数据库池、消息客户端和日志出口。到截止时间仍未完成,就记录未完成数量、触发可用的取消机制,并执行预先定义的强制退出路径。强制关闭 HTTP 只能切断连接,不能把未完成业务记成成功。信号处理器必须幂等,容器入口也必须能够把信号交给应用进程。
不要把 requestTimeout 配成两秒,就认为业务函数也只能执行两秒。它约束接收请求的时间,业务执行期限需要在数据库、远程调用与自身逻辑中另外落实。总截止时间到了,即便本地超时返回了错误,下游副作用也可能已经发生,需要用业务状态确认结果。
本次实际测了什么
在 Node v24.22.1 上,使用标准库 HTTP 客户端和 node:test 对同一份核心代码执行了五个本地测试,最终全部通过:
- 请求摘除后,就绪端点返回 503,但迟到的业务请求仍能完成。
- 排空保留已经接纳的响应,同时新建连接被拒绝;重复 drain 复用同一个 Promise。
- 客户端主动断开后,业务工作仍计入 active,排空不会提前完成。
- 业务函数抛错会返回失败并释放计数,不把实例永远留在排空状态。
- 强制关闭 HTTP 连接后,未结束的业务仍会阻止正常排空完成。
测试用可显式释放的 Promise 控制执行顺序,不靠随机 sleep 等待竞态。第三项最关键:它证明示例没有把连接断开误当成业务结束。第五项则证明强制断连不具备“取消所有工作”的能力。
这组测试没有发送真实容器停止信号,没有验证代理连接池、Kubernetes 探针传播、数据库驱动取消或日志刷出,也没有测负载下的尾延迟。上述集成步骤及入口协调伪代码尚未执行,不能据此宣称实现了零丢请求发布。
时间预算和容量要一起算
回到三十秒宽限期的假设,可以为 preStop 摘除窗口留五秒,为停止接单后的排空留十五秒,为资源关闭留五秒,再留五秒余量。预算必须按实际工作重新分配,不能把每个子系统都各给三十秒,串起来却需要两分钟。
普通请求期限是两秒,并不自动说明十五秒排空一定足够。正在上传的请求、不可取消的数据库调用、事件循环阻塞、后台工作和缓慢的响应发送都可能占用时间。预算要包含这些阶段,并明确哪些工作到期转交恢复系统,哪些只能报告结果未知。
容量也不能只看正常八个实例。按前面的假设,八个 Pod 的目标吞吐总和是每秒两千次,入口一千六百次,利用率约八成。如果同时减少两个有效 Pod,只剩每秒一千五百次的目标能力,发布本身就制造了过载,停机尾部只会更长。即使只少一个,剩余七个实例的平均负载也升到约九成一,未必还能满足原来的延迟目标。
因此可以先从 maxUnavailable: 0、少量 maxSurge 和合理的 minReadySeconds 开始评估,要求新实例真正具备服务能力再替换旧实例。具体值取决于预热时间和资源配额。这些设置管理副本替换节奏,不会替应用证明任务已完成;终止中的旧 Pod 仍可能占用资源,实际总占用也可能超过 replicas 加 maxSurge。Deployment 滚动更新说明
假设每个 Pod 申请一个 CPU 和五百一十二 MiB 内存,多保留两个实例至少要多准备两个 CPU 和一 GiB 内存,还未计算代理与节点余量。数据库连接池同样要算重叠期:每个实例上限二十条连接,八个变十个就可能从一百六十条增至两百条。只给计算层留余量,却把数据库连接耗尽,也会让新版本一直就绪失败。
平均在途量可以用到达率乘平均耗时粗估。在每秒一千六百次、平均两百毫秒的假设下,约有三百二十个同时在途请求,均匀分布时每个 Pod 约四十个。这只是平均数,不是允许停机时丢掉的数量,更不是最大在途数。长尾和流量倾斜必须实测,不能用平均值决定硬性截止时间。
长任务的恢复要独立于发布成功
九十秒报表不该迫使每次发布等待九十秒。更稳妥的边界是在接口可靠保存任务后返回任务编号,由工作进程执行。停机时先停止领取新任务,已领取任务在自身预算内完成;来不及完成的任务保留可恢复状态,等下一任执行者接手。
关键问题不是队列是否仍有连接,而是谁拥有当前任务、确认发生在什么时刻。如果业务结果没持久化就确认完成,进程退出会留下丢失;如果结果已经写入但确认没成功,恢复后可能重复执行。因此结果写入与重复处理必须有明确规则。这里只讨论停机与任务交接,消息一致性协议需要另外设计,不能把“任务会重试”当成结果一定正确。
任务租约到期后,旧进程也不一定已经停止。它可能只是暂停,恢复后仍会继续写入。接管流程应避免两个执行者同时提交冲突结果,例如让权威存储校验执行代次,或者让结果操作按任务编号幂等。释放租约之前,还需要确认旧执行者不再有提交能力;仅仅把内存变量改成 false 不够。
节点失联和 SIGKILL 的验收尤其重要。正常 preStop 测试全部通过,只能证明有通知时的路径。真正可靠的任务系统,应在没有任何清理机会时仍能查出哪些工作完成、哪些待重试、哪些结果未知。恢复后的版本还要能理解旧版本写下的任务状态,因此任务格式、数据库迁移和代码回滚要有兼容窗口。
发布验收应记录交接过程而不只统计进程退出
建议给每次实例退出记录同一个关联标识,至少包含请求摘除、停止接单、最后一次接单、业务 active 归零、HTTP 关闭、依赖关闭和进程退出的时间。敏感请求参数不必写入日志,记录请求类别、耗时、结果状态和可安全关联的标识即可。
还应观察两个容易被总错误率掩盖的指标:请求摘除后仍收到多少新请求,以及停止接单时有多少业务最终被强制中断。按入口、版本和退出原因拆分,才能区分正常发布、节点驱逐和异常重启。探针失败率不能代替这些指标,返回零退出码也不能证明客户端收到了成功响应。
集群验收可以先从单实例替换开始,故意延迟一条业务请求、让客户端提前断开、让一个代理保留旧连接,再扩大到节点排空、入口扩容和批量发布。每一步都应核对业务结果,而不仅是 HTTP 状态码。写请求需要查询最终记录,长任务需要检查是否重复完成,读请求需要确认重试没有超出总期限。
若入口协调器在一半回执到达时重启,应能从持久化退出记录继续,而不是重新把旧实例开放。若替代容量无法就绪,应暂停发布而不是扩大不可用范围。若只剩强制终止这一条路,则要把它作为降级事件记录并触发恢复,不能为让发布页面变绿而抹去未完成工作。
对大多数短请求服务,先把信号、接单门闩、业务计数、截止时间和恢复语义做对,收益通常高于立即引入复杂协调器。只有当剩余传播窗口确实超过业务容忍范围,并且所有入口可以被管理时,入口回执协议才值得增加。发布的可靠性最终取决于每项工作何时被接纳、由谁负责完成、失败后如何确认结果;等待几秒只能是预算的一部分。
评论
暂无评论。