下游变慢时,如何限制超时、重试与在途请求

以聚合查询为场景,比较分层重试与统一预算,推演截止时间、重试额度、并发隔离和背压的关系,并用可运行模型检验容量边界。

当一个依赖从几十毫秒变成几百毫秒时,入口流量可能完全没有增长,服务却开始出现连接池耗尽、内存上涨和级联超时。此时把超时调长,会让更多请求停留在系统里;把超时调短并自动重试,又可能把下游推得更远。

本文讨论一个具体问题:聚合查询接口怎样在下游变慢时,仍然把资源消耗控制在可解释的范围内。核心主张是同时约束三个量:一次业务请求还能等待多久、整个调用方可以增加多少次尝试、某个依赖同时可以占用多少资源。任何一个约束单独存在,都无法替代另外两个。

这是一份基于官方文档和本地离散模型的设计推演,不是线上事故复盘,也不把模型输出包装成性能测试。参数均为说明问题而设定的假设,生产值必须通过真实负载与故障演练确定。

一、先写清楚场景、目标和限制

假设商品详情接口需要读取商品基本信息、库存展示信息和个性化推荐。基本信息是成功响应的必要条件,库存展示可以返回明确的“暂不可用”,推荐可以省略。这里讨论的是展示查询,不能把库存未知转换成“有货”,更不能把这种降级直接用于下单扣减。

假设单个聚合服务实例收到每秒一千个详情请求,每个请求最多发起一次初始库存查询,库存平均响应时间正常时为四十毫秒。接口从入口接收请求到返回响应的目标预算为五百毫秒。它是本设计的预算目标,不是已经实现的服务等级承诺。

约束包括:不通过无限扩容吸收故障;不能因为推荐失败而压垮商品查询;不能让一千个调用方各自认为“再试一次代价很小”;必须区分完整成功、明确降级和失败。由于这里的依赖查询没有写入副作用,重试可行性比支付接口高,但读请求也消耗连接、内存和下游计算,不能据此无限重试。

成功标准因此不能只看 HTTP 成功比例。需要同时观察基本信息可用率、库存完整率、用户可见延迟、下游实际尝试数以及在途请求数。如果通过大量返回缺失库存的页面把接口成功率抬高,却不记录降级率,系统只是把故障藏到了业务语义里。

二、两种方案的差别在哪里

方案甲是在每一层配置固定超时和重试。网关失败重试,聚合服务失败重试,依赖客户端也失败重试。它容易落地,各团队独立维护,轻微网络抖动下也确实可能提高成功率。问题在于,各层只知道自己的失败,不知道整个业务请求已经消耗的时间和工作量。

假设三个调用层级都允许总共三次尝试,且每次都走完整个下层失败路径,那么最底层最多承受二十七次尝试。这里“三次”包含初次调用,不是三次额外重试。这个乘法是最坏路径的上界,实际还受截止时间和错误发生位置影响,不能拿来当作所有故障都会出现的流量倍率。

更隐蔽的问题是重做成功部分。库存失败后若网关重试整个详情请求,商品查询和推荐查询也会重新运行。重试位置越靠上,掌握的业务语义可能越完整,重复计算范围却可能越大。因此,重试所有权应按具体依赖操作确定,而不是笼统规定所有接口只能由网关处理。

方案乙是在聚合服务设置业务截止时间,为库存依赖建立独立准入控制,并由一个明确的调用层持有重试预算。商品和推荐分别使用自己的容量边界。请求超过时间、尝试额度或并发额度中的任意一个限制,就停止继续投入,按业务规则降级或返回错误。

这个方案多出了预算传递、准入计数和指标维护成本,短期内还可能降低“最终总能等到”的成功比例。换来的收益是故障代价有边界,核心查询不必陪着可选功能一起耗尽资源。对于低频后台维护工具,方案甲配合较长截止时间可能足够;对于高并发交互接口,方案乙更符合稳定性目标。

三、请求流与预算流必须一起设计

请求从入口进入后,先完成身份校验和廉价的输入检查,再建立本次请求的截止时间。聚合服务分别调度三个依赖。每个依赖调用依次经过剩余时间检查、依赖准入、连接获取和网络执行,结果回到聚合层后进行业务合并。依赖失败只回到拥有该依赖重试策略的一层,不自动触发整个聚合流程重跑。

假设入口处理消耗三十毫秒,合并与发送响应预留三十毫秒,那么依赖不能继续使用原始五百毫秒。它们共享剩余的四百四十毫秒墙钟窗口,但并行请求不会因为数量为三个,就自动各分得三分之一。时间预算约束关键路径,资源预算约束所有分支的工作总量,二者要分别计算。

如果某些调用存在串行依赖,例如先读取商品类型再决定查询哪个库存分区,后一步拿到的是前一步完成后的剩余时间。把完整预算重新赋给每一跳,会制造一个看似处处有超时、整体却没有上界的调用链。

在同一进程内可以用单调时钟计算剩余时间,避免系统时间调整影响持续时长。跨机器传递则优先使用框架已支持的截止时间语义,而不是未经校准地比较两台机器的绝对时间。gRPC 的官方说明指出,传播时会扣除已经过去的时间,并转换为超时形式;不同语言实现的自动传播支持和默认行为需要核对。[1]

入口还应限制外部传入的超长预算,不能因为客户端要求等十分钟就给它十分钟。取消和截止时间需要进入连接获取、请求发送、响应读取及等待退避等环节。只给读响应设置超时,可能漏掉连接池排队。也不能假设客户端超时意味着远端计算立即结束,远端是否停止仍依赖实现。

四、重试预算应该属于依赖,而非每个请求

“每个请求最多重试一次”只限制单次请求的倍数。若一千个请求同时失败,它仍然允许再产生一千次调用。要约束故障期间的总体负载,需要给同一依赖设置共享预算。

本文选择一个便于审计的设计假设:每十次真正发出的初始调用,累计获得一次额外尝试额度;额度有上限,重试自身不再产生额度。本地拒绝的请求没有触达依赖,不获得额度。初始额度设为零可以得到严格的比例约束,但低流量服务的第一个瞬时失败可能没有机会重试。若业务选择设置启动额度,就必须把这个额外突发量写进容量计算。

这个规则不是 gRPC 内建重试节流算法的复述,也不是可直接粘贴的某个 SDK 配置。gRPC 官方提供的节流机制会根据失败与成功改变令牌状态,其语义与这里“按初始调用产生固定比例额度”的模型不同。[2] 接入现有 SDK 时,应先确认到底由谁执行重试,避免把两个机制叠加后误以为拥有同一个上限。

预算可以先在进程内按依赖维护,以免引入一个新的远程协调依赖。代价是它只能约束本实例。扩容后二十个实例的总额度会扩大,不能把单实例的上限当作整个集群的承诺。若确实需要集群上限,可以给各实例分配额度,再由下游按调用方身份限制总量;分配系统失败时也要有保守的本地上界。

重试还必须同时满足时间条件。假设剩余一百一十毫秒,下一次退避四十毫秒,一次值得尝试的调用至少需要六十毫秒,返回预留二十毫秒,那么这次重试不应该启动。剩余时间只比退避时间长并没有意义。最短有效执行时间也不是随意选择的常数,应从成功请求的分布和业务收益估计。

退避加入随机抖动可以分散同步重试,但不能创造容量。AWS 关于超时与重试的文章强调,多层重试会放大负载,抖动可以缓解请求扎堆。[3] 本文进一步要求:每次准备重试时重新读取剩余时间,等待退避后再检查一次,然后才申请实际执行所需的并发许可。退避期间不占用依赖执行槽位,否则限制器会被一批尚未发出请求的等待者填满。

错误分类同样重要。参数错误、权限拒绝、确定的业务不存在不应因网络重试策略而反复调用。依赖主动拒绝过载时,应尊重其退避提示,并检查提示是否已经超出业务预算。对超时的重试尤其保守,因为前一个尝试可能仍在远端运行;只读语义消除了重复写入风险,却没有消除重复计算。

五、并发隔离补上速率限制的盲区

假设库存调用平均耗时从四十毫秒变为三百毫秒,在每秒一千次稳定到达且系统可稳定运行的理想条件下,平均在途量的估算从四十变成三百。这个计算使用平均值,不是把尾延迟代入就能得出精确容量,也不能直接描述瞬间积压。

如果库存与商品共用一个没有隔离的连接或执行资源池,库存变慢就可能抢走商品需要的资源。依赖隔离的目标是让故障消耗被限制在对应边界内。AWS 的相关资料指出,非阻塞模型可以减少线程阻塞,但等待仍会消耗其他有限资源。[4] 因而换成异步代码以后,仍然需要约束在途请求。

假设为库存设置一百二十个执行槽位,不等待或只允许极短且有界的排队。正常情况下这个上限高于四十的平均占用,为突发留出了空间;慢到三百毫秒时,则必须拒绝或降级一部分请求。在恒定服务时间且持续饱和的理想模型里,一百二十个槽位每三百毫秒周转一次,长期吞吐约为每秒四百次。真实系统有尾延迟、网络失败和调度开销,这只是模型推算。

并发上限也要配合内存预算。假设每个在途库存查询连同上下文占用六十四 KiB,一百二十个槽位约对应七点五 MiB。这个数不含连接缓冲、运行时开销与其他依赖,不能据此宣称进程只需要这么多内存。若排队再保留一万个完整请求,前面的槽位限制也挡不住队列内存上涨。

背压需要往上游传播。库存准入拒绝后,聚合层应立即执行既定降级,而不是进入另一个无限等待队列。服务整体过载时,入口也需要有界准入。所有依赖槽位的和、聚合请求上下文及排队内存必须一起验算,否则每个局部限制都合理,进程总量仍可能越界。

六、用一个可运行模型检查边界

下面的 Python 程序模拟每毫秒一个初始请求,共一千个。服务时间固定,槽位满时直接拒绝,没有队列,没有网络,也没有重试流量注入。它分别检查在途上限、比例额度和时间判断,目的在于验证规则的基本性质,不是比较某个框架的吞吐性能。

import heapq

def admitted(service_ms, cap, n=1000):
    active = []
    peak = accepted = 0
    for now in range(n):
        while active and active[0] <= now:
            heapq.heappop(active)
        if len(active) < cap:
            heapq.heappush(active, now + service_ms)
            accepted += 1
            peak = max(peak, len(active))
    return accepted, peak

def retries(primary_count, failure_count, ratio=10):
    credits = primary_count
    granted = 0
    for _ in range(failure_count):
        if credits < ratio:
            break
        credits -= ratio
        granted += 1
    return granted

def enough_time(remaining, backoff, minimum, reserve):
    return remaining >= backoff + minimum + reserve

assert admitted(40, 120) == (1000, 40)
assert admitted(300, 120) == (460, 120)
assert retries(1000, 1000) == 100
assert retries(1000, 20) == 20
assert not enough_time(110, 40, 60, 20)
assert enough_time(120, 40, 60, 20)
print("all 6 assertions passed")

本地已经执行这六个断言,全部通过。正常耗时场景接纳一千次、峰值在途四十;慢依赖场景接纳四百六十次、峰值一百二十。后一结果不是长期每秒吞吐四百六十次:模拟从空系统开始,最后一批被接纳的请求可以在一秒观察窗结束后完成,因此不能用接纳量替代窗口内完成量。

额度函数处理的是固定批次:先给一千次初始调用记账,再分配失败重试额度。实际在线实现必须按调用发生顺序原子记账,不能提前透支未来流量;在并发程序中使用锁或等价原子操作,并给积累额度加容量上限。初始调用被准入拒绝时不能记账,重试在真正发出之前需要同时拿到额度和执行许可;获取失败的回滚必须保持计数一致。

这段模型未验证多个线程抢额度、取消后的资源释放、进程重启、连接池行为和远端是否停止执行,也未证明业务成功率会提高。它只能证明在所定义的离散条件下,准入没有超过槽位上限,固定批次重试没有超过比例预算,以及示例时间判断符合预期。明确这些缺口,比再增加几个看起来漂亮的输出更有价值。

七、故障恢复不能依赖瞬间放开所有限制

最危险的恢复时刻往往是依赖刚刚变快、积压和重试一起到达的时候。本文方案不保留无限队列,因此恢复无需先处理大量已经过期的交互请求。新请求继续经过准入,重试仍然受比例预算控制;如果另加熔断器,半开探测也要有独立且很小的并发上限,不能让所有实例在同一秒同时全量试探。

另一个边界是“本地已经结束,远端还在运行”。如果取消后立刻释放本地槽位,却没有远端执行期限,那么这个槽位只约束本地等待者,不约束远端真实计算量。生产实现需要下游自身的并发准入、执行超时和取消检查。对无法及时终止的任务,必须把实际占用保留在对应资源账本中,或使用服务端配额控制,而不能只看客户端活跃请求数宣布已经安全。

隔离粒度也不能无限细。每个用户一个池可能导致碎片化,某个空闲池的容量无法服务其他用户;所有用户一个池又可能被单一大租户占满。可以从依赖级隔离开始,在有证据表明租户负载差异明显时再加入公平调度。若多个依赖最终共享同一个数据库,客户端分池只能保护调用方,数据库仍需自己的总资源边界。

上线时先记录逻辑请求与实际尝试,检查网关、SDK、服务网格中是否存在重复重试。随后小流量启用预算,再启用并发准入,观察完整率、降级率和过载拒绝是否符合预期。演练至少覆盖依赖变慢、立即失败、部分分区失败、取消失效与恢复突发。本文没有执行这些环境级演练,不能把它们列为已通过项目。

八、什么情况下值得采用

这套设计适合高并发交互查询、存在可选依赖、请求有明确时限的服务。它允许团队把“慢一点能不能接受”“多试一次值得多少资源”“可选功能最多占多少容量”转成可审计的规则。

它不直接适用于需要持久交付的长任务。长任务应有持久化状态、明确的受理语义和独立调度,不能因为交互连接断开就假定业务已经失败。它也不能为非幂等写入提供正确性保证;支付、库存扣减等操作在结果未知时仍需业务去重和状态确认。

最后,重试预算限制额外工作,并发隔离限制同时占用,截止时间限制一次请求的等待范围。三者的价值在于各自守住不同边界,再由业务定义降级结果。容量不足时仍然会有人收到失败,但失败发生的位置、持续时间和资源代价都应该可以解释,而不是等到所有功能一起失去响应才知道问题有多大。

参考资料与证据范围

资料于 2026 年 11 月 8 日核对。这些是持续维护的官方资料,不是当天发布的新功能公告。文中架构参数和模型为独立推演,不代表资料作者的生产配置。

  1. gRPC:Deadlines,用于核对截止时间传播与语言实现差异。
  2. gRPC:Retry,用于核对内建重试和节流的语义,避免把本文额度模型误称为 SDK 原生算法。
  3. AWS:Timeouts, retries, and backoff with jitter,用于核对多层重试放大与抖动的作用边界。
  4. AWS:Using dependency isolation to contain concurrency overload,用于核对慢依赖导致的并发资源占用与隔离思路。

相关文章

评论

登录后即可参与讨论

暂无评论。