报表页面点下「生成」时,接口最多等几十秒;后台处理大文件却可能要二十五分钟。如果只把 Lambda 超时从十五分钟调到三十分钟,请求稍后仍可能报超时,而后台未必停止。用户换一个页面再点一次,实际就可能多跑一份报表。这里要处理的不是怎样把等待条拖得更长,而是怎样在第一次请求失去联系之后,仍然知道同一份作业有没有被接收、跑到了哪一步、哪份结果最终生效。
AWS 在 2026 年 11 月 19 日宣布延长按需 Lambda Event Functions 的单次运行时间。这给原先卡在十五分钟内的后台作业打开了空间,但不会自动延长调用链上其他组件的等待时间。本文以客户手动生成大文件报表为例:同一账户可以查回自己的作业,超过交互时限就不等待报表正文,重试不增加可见结果份数,长作业也不能把短作业的执行并发全部占满。
先把三个钟分开记
第一只是用户和入口等多久。对 Amazon API Gateway 的 HTTP API,官方配额列出的集成等待上限是三十秒,且该项不能调高。客户端可以更早离开,请求链上的其他中间层也可能有更短的期限。超过其中一项只能说明调用没有在可用时间里拿到响应,不能从一个超时响应倒推出后台函数已经停止,更不能据此断言后台没有写入。这里谈的是 HTTP API,并不把同一个数字套到所有 API Gateway 产品。
第二只是 Lambda 单次调用能运行多久。按需 Event Functions 的同步、异步及受支持的事件源映射可配置到一千八百秒;这不会把三十分钟变成一份完成承诺。应用必须留出写结果、记录状态和退出的时间,不应在剩几秒时才启动一次无法及时结束的上传。Managed Instances 的同步上限也到三十分钟,异步及受支持映射仍可到九十分钟;Amazon MQ、DocumentDB 和部分旧的非预置 Kafka 映射另有限制。设计评审应先在配置清单里记录具体触发器和运行形态,而不是写一句「Lambda 都支持三十分钟」。这里用 SQS 标准队列映射,不借用其他触发方式的重试说明。
第三只是队列消息在一次接收后隐藏多久。Lambda 与 SQS 配置文档区分了两条规则:创建或更新映射时,函数超时不得超过队列可见性超时;AWS 另外建议把可见性设置到函数配置超时的六倍,并为启用的批处理窗口加时。设函数一千八百秒、标准队列批窗口五秒,建议值是一万零八百零五秒,不是三小时内必定重试,也不是函数能占用三小时。刚收到消息后就遇到进程超时或没有返回成功,消息可以等到这段隐藏期结束以后才再次可见。可见性设置既影响节流重试空间,也影响故障后下一次尝试有多早,不能只按「越长越稳」来调。
三只钟的起点也不同。页面首次发起后可能过几秒才把作业写进数据库;队列可能积压几分钟才第一次被接收;批窗口可能让已接收消息再等片刻才进入函数。对用户有意义的是从请求接收到作业结果可读的总时间,对值班者有意义的还包括入队延迟、队列滞留、尝试时长和距上次成功推进的时间。把四个间隔全装成一个「处理时间」,无法区分容量不足和单条任务在失败后等重投。
三种实现,按重新计算的代价选
直接同步调用仍然有用。预生成报表只需要在一个可靠的小时间预算内执行一次查询时,拿结果即返回,省去作业表、队列和状态页。这个选项需要给慢查询设硬上限,并事先定义超时后是否允许调用者重试。报表长度随输入大幅波动,或者副作用落地位置不明时,即使把接入换成能等更久的调用方式,用户仍可能在收到结果前断开。只放大入口等待不是交付保证,还会增加同时挂起的连接。
第二种是短请求建作业、后台从队列领取。这适合重复算一次可以接受、最终结果适合一次提交的大文件转换。创建接口验证输入、返回可查询的作业 ID;后台可以比浏览器活得久;状态查询有自己的短超时。代价是消费者必须接受重复投递、重新领取、故障状态和人工重放,查询方也要面对短暂的排队,并不能把已接收展示成已完成。在这个场景我会先采用它,因为输入可以固定为一个报告区间和数据快照,结果也只有一份可下载制品。
第三种是有持久检查点的工作流。当一次失败会把二十多分钟的高成本计算全部推倒重来,才值得拆成阶段,例如固定数据切片、生成分片、合并并校验、最后把成品标记可读。每一步声明输入版本和输出归属,恢复只跳过已有可信结果的阶段。引入工作流之后仍要区分整个工作流和单次调用各自的时限;如果重做很便宜而拆分会迫使保存大量中间数据,反而会增加复杂性。再大的上限也不是替代测试和小批量试行的理由。
确认接收,比马上入队更重要
设计一条短路径:浏览器发出 POST,携带本次用户意图稳定的幂等键。服务在同一次数据库事务里保存作业行和待投递记录,约束的键是账户与幂等键,并保存输入摘要。原事务成功后才返回接受状态和作业 ID;后台投递程序可以重复投递同一个 ID。若第一次请求已经提交但响应丢了,再来同键同输入便返回原 ID。若借同一个键提交不同的输入,则要求客户端解决冲突,不得悄悄以新输入覆盖正在运行的作业。超时也不应让客户端自动生成另一个意图键。
为什么不先写作业再直接把队列发送结果当成最终事实?数据库提交成功、发送失败时,状态页会永久停在已接收;反过来先发消息,消费者可能先看到一个尚未入库的 ID。事务性的待投递记录解决的是「承诺不丢」,不是通知只发一次。发送成功后、标记已发之前进程也可能退出,下次仍会发送同一个 ID。投递程序应以失败次数和待投递年龄告警,还要有扫尾任务对账数据库中久未投递的记录;API 不应把一个未落盘的内存对象包装成已接受的作业。
读取端通过已认证的账户和作业 ID 找到状态。会话或账号切换时不能把别的账户的 ID 当访问凭据。可以区分排队、执行、等待重试、完成和终止,详情再附尝试次数和最近一次推进时间,而不猜百分比。完成状态只有在用户可见的结果指针已确认提交后才生效;临时制品不提供下载链接。浏览器恢复时查状态,而不是重新提交一遍;展示「已收件」「仍未开始」「上一次尝试失败」时分别用真实的状态字段,避免把用户刷新按钮变成补漏机制。
只让当前尝试公布最终结果
收到消息后,消费者先按 ID 读取作业记录。已完成的记录可以快速确认,不重做报表。仍能处理的记录需要领取租约并拿到递增的尝试代次;租约未到期时不能因为一条重复消息就抢走同一作业。如果旧进程冻结或离线,接班者只能在符合过期或恢复规则时拿到下一代。每次延长租约、保存进度或提交结果都应校验该代次。代次与队列可见性不是同一把锁:前者保护数据库状态,后者影响消息投递;单靠消息偶尔不重复,并不能证明没有两个工作者同时尝试。
工作者把制品写到按作业和代次区分的暂存地址,再尝试条件更新作业行,要求状态尚未完成且尝试代次仍归自己。实际数据库更新还要校验有效租约;同一个目标不应被旧尝试覆盖。更新成功后才把该地址设为当前结果,消息处理可以返回成功。若制品写完但更新未提交,读端仍不会把它当成当前版本,后续有效尝试可以另存并公布。若更新成功但队列确认前进程丢失,重投发现已完成,直接确认即可。读路径需要保证不会签发临时制品地址;清理程序只能在有安全时间余量后回收没有被结果指针引用的暂存数据。
下面的 JavaScript 用 Node.js 的断言展示配置分界和结果公布。它把第二次领取直接安排在第一次之后,表示测试夹具已经制造了租约过期;它不实现真正的租约或消息接收。保存为 demo.cjs 后运行 node demo.cjs。文中检查在独立内存运行环境执行,通过九项断言;没有部署 AWS 资源,也不把内存序列操作当成数据库并发验证。
const assert = require('node:assert/strict')
const budget = (fn, window, visible) => ({
valid: fn <= visible,
recommended: visible >= 6 * fn + window
})
const job = { fence: 0, output: null }
const claim = () => job.output === null ? ++job.fence : null
function commit(token, artifact) {
if (token === null || token !== job.fence || job.output !== null)
return false
job.output = artifact
return true
}
assert.ok(25 * 60 > 30 && 25 * 60 < 30 * 60)
assert.deepEqual(budget(1800, 5, 1799), { valid: false, recommended: false })
assert.deepEqual(budget(1800, 5, 10800), { valid: true, recommended: false })
assert.deepEqual(budget(1800, 5, 10805), { valid: true, recommended: true })
const a = claim()
const b = claim()
assert.equal(commit(a, 'staging/job/a'), false)
assert.equal(commit(b, 'staging/job/b'), true)
assert.equal(commit(b, 'staging/job/duplicate'), false)
assert.equal(claim(), null)
assert.equal(job.output, 'staging/job/b')
console.log('9 checks passed')
真实实现不能把内存变量改成一次读再一次无条件写。必须把代次、状态和租约的前置条件交给数据库原子检查,并对零行更新单独处理。若更新请求超时,先读同一份作业,识别到底是自己写入的结果已获提交、接班者取得了新代次,还是可以再尝试提交。例子的保证仅是一个用户可见结果指针;发邮件、向外部系统转账、同步别的数据库都不受这条更新保护。新增外部动作需要各自的幂等键或可核验的提交记录;不能给整个端到端流程贴「恰好一次」的标签。
让长作业与短作业各有额度
估算时先取实际运行时长的分布,不要把一千八百秒误当所有请求的平均。假设每分钟到达四份,每份平均占用六分钟,在稳定、无重试且每次只处理一份时,平均约有二十四个调用同时占用执行名额。如果峰值到每分钟八份而平均不变,需求约四十八个;设定的三十分钟上限没有改变这两个数。反过来,若平均时长升到十二分钟,原到达率下也会占掉约四十八个。这些是容量假设,不是运行实测。要把重试比例、冷启动、下游配额、存储请求和长尾拉回预算表,给长作业单独队列或映射并限制并发,短交互才不会背着长队列一起降级。
即使单消息时长低于上限,如果一批里顺序处理多条任务,整批的耗时也可能超过函数允许时长。慢任务先考虑小批量;确实需要同批处理时,验证部分批失败响应,避免一条异常触发整批已成功项重做。失败进入死信后,先查输入是否仍有效、输入版本和原作业行是否一致、结果是否已经对用户可见,再按原作业身份重放。不要看到死信件数升高就新建作业,因为这会破坏用户原始幂等约束,也会让排查者错把相同报表当不同任务。
上线先保持原始函数和旧队列,为长作业建一条小流量路径,不改每一种报表的默认时限。第一轮验收可以用受控失败:让创建请求提交后丢响应,验证同键取回原 ID;在写完暂存件后停止尝试,观察旧代次不能发布,且重投最终能生成有效指针;再模拟结果已提交但消息没有确认,检查重复投递只确认不重算。分别测队列最老消息、排队时间、函数超时、节流、失败等待及可读结果的时间,不能只看函数成功率。AWS 文档给的是配置边界,这些演练仍须在自己的非生产环境执行。
如果业务承诺十分钟内恢复,而评估表已经显示一次超时后的消息可能长时间不可见,就不要把三小时建议值当作恢复指标。选择可以缩小单次尝试预算、拆出较短检查点,或者由受管的对账执行路径按明确条件唤醒同一作业,且继续用代次阻止旧尝试写回。验收结论应该写成可复核的业务条件,例如「在请求响应丢失且第一次结果已暂存的情况下,查回同一作业并只看到一份结果」,而不能写成「所有报表现在都能跑三十分钟」。
评论
暂无评论。