任务执行器 A 已经拿到任务,随后暂停了四十秒。数据库认为租约到期,把任务交给 B;B 完成计算后,A 又恢复了。此时两个进程都拥有一份真实的任务载荷,也都可能向下游发请求。把领取 SQL 写成原子操作,只能解决最初的竞争,不能让已经失效的进程自动停止。
本文围绕一个具体服务设计 PostgreSQL 任务队列:为报表生成计算结果,再将结果提交到同一个数据库。重点是领取权怎样转移,以及旧执行器恢复后怎样失去提交资格。涉及外部服务时,保证会明显变弱,需要另外定义接口契约。
一、先规定这条队列承诺什么
假设任务平均计算耗时两秒,长尾可能达到两分钟,允许重复计算,但同一个任务只能留下一个有效结果。输入在入队后不可修改;业务需要更正输入时创建新任务,并用单独的业务版本表达先后关系。任务可能来自多个租户,但暂时不要求跨租户公平,也不要求严格先进先出。
队列部署在单写主库上,执行器通过主库领取、续租和提交。示例选择每次领取一个任务、三十秒租约、十秒续租周期。数值只是便于推演的初始配置,不能直接当作所有服务的默认值。任务结果必须能放进一次短事务,计算阶段不持有数据库事务,也不把数据库连接一直占在执行器手中。
这里的可用性目标是:执行器崩溃后,任务最终能够再次领取。安全性目标是:同一个任务的新一轮领取生效后,旧轮次不能覆盖其结果。两者并不等价。把租约设置得很短会缩短故障恢复等待,却会让正常但缓慢的执行器更容易被接管;延长租约则会放大崩溃后的空窗。
二、两种实现,成本发生在不同地方
第一种方案是把任务领取、计算、结果写入放在一个数据库事务中,全程持有任务行锁。另一个消费者用 SKIP LOCKED 跳过已锁住的任务。这种方法在计算只是几条本地 SQL、整个事务毫秒级完成时非常直接。连接中断后事务回滚,行锁释放,任务仍可领取。
问题出在长任务。两分钟的远程计算意味着两分钟的连接占用和长事务,数据库维护与连接池容量都受到影响。如果计算阶段发送了外部请求,事务回滚也无法撤销已经发生的外部动作。把执行器进程放进事务包围圈,并不会得到跨系统原子性。
第二种方案使用短事务领取,写入租约截止时间与领取代数,提交后再计算。它释放连接更早,便于恢复长期任务,但必须自行处理续租、超时回收、旧执行器隔离和提交结果不确定性。下面采用这一方案,因为我们的两秒均值和两分钟长尾已经超出“几条 SQL 就能完成”的工作负载。
PostgreSQL 官方说明,SKIP LOCKED 会跳过暂时无法取得行锁的记录,适合多个消费者访问类似队列的表,但得到的并非一般查询所要求的一致视图。它也没有消除表级锁等待。因此本文既不承诺严格 FIFO,也不会把“跳过行锁”解释成“所有查询都不会阻塞”。参见 SELECT 锁定子句。
三、将租约和领取代数保存在同一行
最小表结构如下。generation 是每个任务自己的领取代数,不是全站共享资源的全局序号。owner 是一次执行器运行实例的标识,进程重启后应更换。真正用来判断是否仍有提交资格的是任务 ID 与 generation 的组合,owner 进一步帮助排错和限制误用。
CREATE TABLE report_job (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
payload jsonb NOT NULL,
state text NOT NULL DEFAULT 'ready'
CHECK (state IN ('ready', 'running', 'done', 'dead')),
available_at timestamptz NOT NULL DEFAULT clock_timestamp(),
generation bigint NOT NULL DEFAULT 0 CHECK (generation >= 0),
attempts integer NOT NULL DEFAULT 0 CHECK (attempts >= 0),
owner text,
lease_until timestamptz,
CHECK ((state = 'running') =
(owner IS NOT NULL AND lease_until IS NOT NULL)),
CHECK (state = 'running' OR
(owner IS NULL AND lease_until IS NULL))
);
CREATE INDEX report_job_ready_idx
ON report_job (available_at, id) WHERE state = 'ready';
CREATE INDEX report_job_expired_idx
ON report_job (lease_until, id) WHERE state = 'running';
CREATE TABLE report_result (
job_id bigint PRIMARY KEY REFERENCES report_job(id),
generation bigint NOT NULL,
result jsonb NOT NULL
);
这里没有把所有业务字段都塞进队列。载荷应尽量小,较大输入使用不可变对象引用和内容校验值。不要把正在变化的业务记录当作稳定输入,否则重复执行究竟应该使用旧数据还是新数据将无法解释。
领取使用一个语句完成选择、锁定和状态更新。以下 $1 为执行器实例标识,通过数据库驱动参数绑定传入,不是字符串拼接。
WITH picked AS (
SELECT id
FROM report_job
WHERE state = 'ready'
AND available_at <= statement_timestamp()
ORDER BY available_at, id
LIMIT 1
FOR UPDATE SKIP LOCKED
)
UPDATE report_job AS j
SET state = 'running', owner = $1,
lease_until = clock_timestamp() + interval '30 seconds',
generation = j.generation + 1,
attempts = j.attempts + 1
FROM picked
WHERE j.id = picked.id
RETURNING j.id, j.payload, j.generation, j.lease_until;
执行器必须在领取事务成功提交之后才开始处理。没有返回行只意味着这次没有拿到可领取记录,不代表整个队列绝对为空。别的消费者可能锁住了待办项,任务也可能尚未到 available_at。
generation 随领取增加,不能在回收、人工重放或日常清理时重置。清理完成任务后重新创建任务应取得新 ID,避免旧请求撞上被重复使用的身份。若数据库从历史备份恢复,身份和代数的连续性也可能回退,后文会单独讨论。
四、续租与回收必须争抢同一行
续租要求仍处于 running 状态、owner 与代数都匹配,而且尚未过期。下例 $1、$2、$3 分别是任务 ID、领取代数、执行器实例标识。
UPDATE report_job
SET lease_until = clock_timestamp() + interval '30 seconds'
WHERE id = $1 AND generation = $2 AND owner = $3
AND state = 'running'
AND lease_until > clock_timestamp()
RETURNING lease_until;
返回零行就意味着本轮不能继续按有效持有者提交。网络错误则意味着结果未知:数据库也许已经续租,只是响应没有回来。执行器应暂停发起新的外部动作,并通过后续受保护操作确认资格,不应仅凭本机缓存的截止时间继续工作。
所有租约判断以数据库时间为准,可以避免不同执行器本机时间之间的偏差,但数据库墙上时钟仍可能跳变。时间前跳会触发更多重领,后跳会延迟回收。领取代数与受保护提交解决的是旧轮次写入,不会让时间系统变成单调时钟。
官方时间函数文档区分了事务起点、语句起点和实际调用时刻。本文用 statement_timestamp 选择本语句已经到期的候选,用 clock_timestamp 设置和检查当前租约,避免把长事务起点误当作当前时间。参见 PostgreSQL 日期与时间函数。
回收器每次只处理有限数量的过期任务,避免大事务扫完整张表。这里最多允许五次领取;实际系统还应保存错误分类与运行审计信息。
WITH expired AS (
SELECT id
FROM report_job
WHERE state = 'running'
AND lease_until <= statement_timestamp()
ORDER BY lease_until, id
LIMIT 100
FOR UPDATE SKIP LOCKED
)
UPDATE report_job AS j
SET state = CASE WHEN j.attempts >= 5 THEN 'dead' ELSE 'ready' END,
owner = NULL, lease_until = NULL,
available_at = clock_timestamp() + interval '5 seconds'
FROM expired
WHERE j.id = expired.id
RETURNING j.id, j.state, j.generation;
续租和回收都更新同一行,不能各自根据缓存作决定。谁先取得行锁、谁在数据库中成功完成状态转换,决定后续操作是否还满足条件。读已提交隔离下,并发更新等待后会在新版本上重新检查条件,相关语义可核对 事务隔离文档。示例按 READ COMMITTED 推演;换成其他隔离级别后,驱动必须正确处理相应事务失败,而不是无限重复一条旧命令。
固定五秒只用于展示回收流程。真实系统应区分进程崩溃、业务拒绝、输入错误和依赖故障。无效输入不值得再运行五次;依赖整体故障时还要限制回收后进入执行器的速度,防止将数据库里的积压一次性转成下游请求。
五、提交资格检查必须和结果写入同事务
最危险的写法是先查询“我是否还持有租约”,再发起一个独立写入。检查和写入之间,任务可能已被回收。即便每次查询都读主库,也不能消除这个时间窗口。
对本文的同库报表结果,可以把资格检查变成条件更新,再让结果插入只消费更新成功返回的那一行:
WITH accepted AS (
UPDATE report_job
SET state = 'done', owner = NULL, lease_until = NULL
WHERE id = $1 AND generation = $2 AND owner = $3
AND state = 'running'
AND lease_until > clock_timestamp()
RETURNING id, generation
)
INSERT INTO report_result (job_id, generation, result)
SELECT id, generation, $4::jsonb
FROM accepted
RETURNING job_id, generation;
这条语句整体提交或整体回滚。没有通过条件更新就不会插入结果,插入失败也不会单独留下 done。主键冲突不应随手改成覆盖写入,因为它可能暴露了非法人工修改或不一致恢复。重复提交已经成功的任务会返回零行;执行器应读取 report_result,核对任务、代数及业务结果,而不是把“零行”一概当作失败后重跑。
假设 A 获得代数 7,过期后回收,B 获得代数 8。A 恢复时即使还拥有旧载荷,提交条件中的 generation = 7 也不再匹配。数据库中的任务代数承担了 fencing token 的角色,实际保护点是提交语句,而不是执行器口头承诺不再工作。
还需注意租约的时间含义:资格在条件更新时被接受,行锁一直保持到事务结束。若事务在截止时间前取得资格,却在截止时间后提交,本文仍允许其成功,因为期间回收器无法越过该行锁完成接管。这里承诺的是接管顺序下的排他提交,而非“墙上时钟一过截止点,任何事务都绝对不能提交”。因此该语句仍需设置合理的语句与事务超时,并禁止在这一事务内部等待外部网络。
六、外部副作用不会自动受到保护
把 generation 放进 HTTP 请求头,并不会神奇地隔离旧执行器。接收方必须在真正写数据的原子操作中验证序号,而且验证序号的作用域必须与被保护资源一致。
如果两个不同任务都修改同一份报表配置,各自的 generation = 1 没有可比较的全局先后关系。此时需要该配置自己的版本或由资源管理方发放的有序令牌,不能拿任务内代数当资源版本。简单的“见过更大令牌就拒绝更小令牌”还有一条边界:新持有者尚未把更大令牌登记到接收方之前,接收方可能仍接受旧令牌。它保护的是接收方已经观察到的顺序,不等价于精确租约过期时刻的撤销。
发邮件、调用不支持幂等键的老接口尤其麻烦。外部请求成功后执行器崩溃,数据库仍显示 running,下一轮可能再次发送。数据库租约无法撤回已经寄出的邮件。可选择由下游用稳定业务幂等键保存请求与结果,或将动作转成可查询的业务操作;如果下游没有去重和查询能力,只能承认重复或人工核对的风险。对于不可逆且高代价的动作,不能把此队列包装成“恰好一次执行”。
七、容量预算要把续租和空轮询算进去
设到达率为每秒二十个任务,平均执行两秒,稳定阶段平均在途任务约为四十个。若希望执行槽位平均利用率不超过百分之五十,至少从八十个槽位起步,再用实际长尾和 CPU、内存限制修正。槽位不等于数据库连接;短事务模式允许用更小的连接池支撑这些槽位。
十秒一次续租时,四十个在途任务平均产生每秒四次续租。加上每秒二十次入队、二十次领取、二十次完成,粗略是每秒六十四次状态写操作,尚未计入重试、审计、业务结果和索引更新。这是架构估算,不是数据库压测成绩。若八十个空闲执行器每一百毫秒轮询一次,还会产生每秒八百次空查询,可能比正常领取更浪费。
因此空轮询应退避并带抖动,有通知机制时把通知当作唤醒提示,仍定期查表兜底。一次只领取一个任务虽减少预取积压,但增加往返;批量领取可以降低往返成本,却会让批次尾部的任务在本地等待时消耗租约。批次上限应由立即可用槽位约束,不能为了减少 SQL 数量把整个待办队列搬进某个进程内存。
任务完成后要按保留策略分批清理。高频状态更新和续租会制造旧行版本,部分索引也随状态变化维护。监控不能只有队列长度,还要包括最老 ready 任务年龄、过期 running 数量、领取与续租延迟、失效提交数、死任务数量、数据库连接等待和表膨胀。持续出现失效提交,可能是租约过短、运行时停顿、数据库延迟,也可能是错误地把续租协程与计算线程绑在了一起。
八、用最小故障模型检查核心断言
下面的 Python 代码模拟一条任务的状态转换,刻意不模拟数据库锁。它可验证过期后不能续租、回收后的旧轮次不能提交,以及完成后不能二次提交。
from dataclasses import dataclass
@dataclass
class Job:
state: str = 'ready'
generation: int = 0
deadline: int = 0
result: str | None = None
def claim(self, now):
assert self.state == 'ready'
self.state = 'running'
self.generation += 1
self.deadline = now + 30
return self.generation
def renew(self, generation, now):
if (self.state != 'running' or generation != self.generation
or now >= self.deadline):
return False
self.deadline = now + 30
return True
def reclaim(self, now):
if self.state == 'running' and now >= self.deadline:
self.state = 'ready'
return True
return False
def finish(self, generation, now, result):
if (self.state != 'running' or generation != self.generation
or now >= self.deadline):
return False
self.state, self.result = 'done', result
return True
j = Job()
a = j.claim(0)
assert not j.renew(a, 30)
assert j.reclaim(30)
b = j.claim(31)
assert b > a
assert not j.finish(a, 32, 'stale')
assert j.finish(b, 33, 'fresh')
assert not j.finish(b, 34, 'duplicate')
assert j.result == 'fresh'
k = Job()
c = k.claim(0)
assert k.renew(c, 20)
assert not k.reclaim(31)
assert k.finish(c, 49, 'renewed')
print('lease model: 10 assertions passed')
上述模型在 Python 3.12 环境实际执行,通过十项断言。当前验证环境没有 PostgreSQL 服务和 psql,因此本文 SQL 没有进行数据库集成测试,不能据此声称并发、执行计划或吞吐已经实测。上线前至少要用两个独立连接验证并发领取不重复、续租与回收竞争、领取提交前断连、结果提交响应丢失,以及旧执行器恢复后零行提交。测试应主动暂停执行器超过租约,再恢复它,而不只测试直接杀进程。
九、恢复流程与不适用范围
故障恢复先判断数据库是否健康,再开放领取。如果连接池耗尽或数据库仍在恢复,扩大执行器数量只会增加竞争。确认健康后分批恢复,观察最老任务年龄是否下降,同时检查死任务是否集中在同一种输入或同一个依赖。
人工重放必须保留原任务和已知结果的审计关系,尤其是外部操作结果不明的任务。不要直接把所有 done 改回 ready,也不要把 generation 清零。若只是需要重新计算同一业务对象,应创建带新业务版本的新任务,让结果使用明确版本选择规则。
主库故障转移和备份恢复是更深的边界。若已确认的领取或结果在切换后丢失,数据库中的代数可能退回旧值;外部接收方却仍保存较新的状态。恢复方案应明确数据库持久性与复制承诺,必要时引入由不回退权威维护的恢复纪元,与任务代数组合使用,并隔离旧执行器后再开放消费。单纯把租约从三十秒调成五分钟无法修补这类身份回退。
这种队列适合已经使用关系数据库、吞吐可控、愿意承担表维护成本的后台作业。若业务需要大规模广播、很长的可重放日志、跨地域活跃消费、严格资源顺序或高吞吐流处理,应评估专门的消息系统与工作流引擎。选了专门系统也仍要回答旧执行器、外部副作用和结果不确定性问题,只是其中一部分状态管理可以由成熟产品承担。
最终验收应聚焦三个问题:谁能取得下一轮领取资格,谁能提交当前结果,以及失败后依据什么证据恢复。只要其中任何一个问题仍靠执行器本地内存回答,租约表就还没有真正成为可靠的协调边界。
评论
暂无评论。