仓库系统收到两条同一商品的事件:先预留两件库存,再撤销其中一件。库存投影不能只挑一条处理,也不该依赖两次写入恰好按消费者接收顺序到达。搜索索引的需求不同。它只要最终展示商品最近一次完整资料;旧资料晚到时丢弃即可。两个团队过去共用一条 Kinesis 流,并由一个中转程序把商品事件复制到独立队列。现在 AWS 在 2026 年 11 月 17 日为按需模式的 Kinesis Data Streams 增加原生队列,可以拿掉中转程序,但不能顺手把所有消费者改成队列。迁移首先要写清楚两条业务约定,其次才轮到减组件。
把有序计算和独立工作分开
库存投影消费的是变化:一件货从可用变成预留,另一次又从预留退回可用。它本身不是最终库存的权威写入口,权威仍在订单库存事务里。投影需要能察觉缺失的业务版本,记录检查点,并用库存快照回填。哪怕输入操作在数学上偶尔可交换,撤销操作仍可能引用前一笔预留;乱序接收将改变可执行的状态转换。团队应为同一个仓库和商品维护明确的聚合键,也应为有效变化编号。独立仓库之间不追求总排序,调账若跨两个仓库,要用上游可对账的事务事件或者拆成具有同一关联号的两项处理,不能冒充分片流提供了跨键事务。
搜索投影消费的应是完整的展示快照,而非只能在旧版本上打的补丁。比如两条事件分别包含第二版蓝色商品描述和第一版红色描述;第二版先到时直接写入即可,第一版随后到也不应覆盖它。图片缩略图生成可以按图片内容标识去重;跨商品推荐排行则不是这种独立任务,因为一个商品计数会影响另一个商品的相对位置。判断能否搬到队列的实用问法是:给你任意一条消息和可靠的业务数据,不让你先读上一条,你能完成这项工作并阻止旧结果覆盖新结果吗?如果答案是否定的,这个消费者应保留读流,或先改事件契约再迁移。
AWS 的队列消费文档明确写了队列至少一次投递且不保证按原写入顺序。队列独立跟踪是否投递及确认,确认不会从数据流里删掉记录。传统消费者仍可直接读原流并利用分片内部顺序。两者是并存的消费视图,不是改成队列后便要把生产者和旧消费者一起重写。分片内顺序也不是数据库事务顺序。如果使用服务管理的 AUTO 分布,供应商会忽略写入时的指定分区键;依赖业务键顺序的路径必须核实分布模式和实际生产写法,不能光看消息上存在商品编号。即便有业务键,我也会给直接读流的一侧留业务版本缺口检测,而不是从抵达先后猜业务历史。
三种拓扑怎么选
第一种是两个应用都直接读流,各自保留检查点和分片消费配置。若搜索只有少量工作并能由既有平台统一托管,这是变更最少的方式;它也更适合搜索仍在依赖顺序补丁的阶段。缺点是搜索的单条超时和等待会占据它自己的读取处理资源,增加实例并不自动让分片进度按任务粒度拆分。使用增强扇出时,另核对消费方之间的吞吐与注册配额,不应把测试流上的低争用当成生产结论。
第二种是库存继续读流,搜索改读同一流上的原生队列。它省掉从流转发到另一队列的中转职责,搜索实例领取当前可见记录,成功后确认,再领下一条。队列并行度可以随单条工作负载变化,不必用分片数作为其自然上限;但最终写入搜索服务仍有限额,要把背压传回搜索消费端,而不是把更多并行都压到索引服务。同一条流上的队列与增强扇出消费方共用注册数量上限,所以每个团队随意建一条队列也有代价。按需模式、区域支持、数据保留和消费额度都要在立项时按目标账户验证。
第三种是保留原有中转和独立队列。要聚合外部系统输入、在不同保留策略间解耦,或者业务键依赖 SQS FIFO 时,这不是多余的一跳。原生队列可以减少自己维护的代码,但不能替代中转承担的转换、跨来源过滤、安全审计和旧客户端兼容。把原中转的行为列成账单:协议转换有几种、有几处拼接来源、有没有用于授予消费者读取范围的规则。如果去掉它会把同样的逻辑零散复制给三个下游,节省一项服务账单并不等于降低运行复杂度。
让两个消费者说得清处理了哪一笔
生产者为每个已提交的业务事件生成稳定身份,提交与发送若横跨存储边界,应从事务发件表重试发送。同一业务事件重试用原来的事件编号,不重新生成。传输的记录编号只用来定位运输层消息,因为生产者重试可以生成新的记录;确认则拿本次领取的收据而不是拿业务号去替代。业务幂等键应覆盖租户范围,同一个编号对应不同内容必须暂停并留证,不应当成一次普通重复默默消掉。索引项更新还需有版本条件,不然两个不同事件都合法时,处理得慢的旧快照仍能覆盖更早执行完的新快照。
处理完业务结果后再确认。确认失败不能撤销已提交索引项;重投时仍可通过原幂等键把它识别为同一项。如果索引与记账不在同一存储,不要先登记成功再向索引发请求,否则中途退出会使后来任务无从补写。可以先原子提交业务处理记录和待写索引意图,让投递器以外部版本做条件写且重复安全,再让对账程序跟踪从意图已提交到搜索可见的差距。这样确认表示工作已被可靠接纳,不能被包装成用户已经能搜到。具体是否在意图提交时确认还是等到外部完成,要依据谁承担重试来决定,两个机制不得共同把责任推给对方。
下面是一个不依赖 SDK 的 JavaScript 模型。用 Node.js 将它保存为文件执行,正常时静默退出。用完整快照简化搜索索引;两个 Map 在示例中只是进程内演示,线上应将幂等记录与本地写意图原子提交,并给外部索引条件写单独验证。在这里检查的是重复、乱序、编号冲突、租户隔离和最后保留的快照,不是对 Kinesis、数据库或搜索服务的联调。
function commit(db, e) {
const key = JSON.stringify([e.shop, e.eventId]);
const signature = JSON.stringify([e.sku, e.version, e.label]);
if (db.seen.has(key)) {
return db.seen.get(key) === signature ? "duplicate" : "conflict";
}
const entity = JSON.stringify([e.shop, e.sku]);
const current = db.index.get(entity);
db.seen.set(key, signature);
if (!current || e.version > current.version) {
db.index.set(entity, { version: e.version, label: e.label });
return "advanced";
}
return "older";
}
const db = { seen: new Map(), index: new Map() };
const event = { shop: "A", sku: "9", eventId: "v2", version: 2, label: "blue" };
const old = { ...event, eventId: "v1", version: 1, label: "red" };
const checks = [
commit(db, event) === "advanced",
commit(db, { ...event, recordId: "retried" }) === "duplicate",
commit(db, old) === "older",
commit(db, { ...event, label: "green" }) === "conflict",
commit(db, { ...event, shop: "B" }) === "advanced",
db.index.get(JSON.stringify(["A", "9"])).label === "blue",
];
if (checks.some(x => !x)) throw Error("check failed");
对同一商品的同一版本但不同业务编号,示例仅保留当前版本,生产契约应另外定义冲突处理,尤其不能默许两个来源各自发号。删除也不能简单丢弃本地版本:删除标记要留下版本,防止一条多年旧的描述把商品复活。标记何时清理取决于能合法回放到哪一天、数据保留和生产者重发期限;保留越来越久则需要独立核算存储与隐私约束。库存一侧则不能拿这里的旧版本跳过逻辑套用到变化事件。它必须能够区分已经处理过的版本、等待前序的版本和需要从权威数据回填的缺口。
从重叠窗口切换,而不是按分秒断开
挑一个仍在保留范围内的起点,用队列启动位置指定近似到达时间。它不是业务事件自身生成时间,也不是消息消费时间,不能拿来界定财务日期。队列创建后不能简单就地把起点改回昨天;等其进入活动状态后读取实际起点,服务可能将过早请求收紧到现存的最早记录。如果老数据比保留期限更久,用仓库档案或权威快照补齐,不能让对账略过缺失区间。旧消费方先运行,新消费者在相同流上并行读,但将结果送到隔离的影子表。选一个带重叠的时间窗,比较相同业务编号所对应的处理结果和版本,允许暂时出现延迟而不要预先放弃差集。
对账不能只看两条路径各处理一百万条。假如一笔被重复而另一笔缺失,总数恰好相等。让旧路径、新路径各自产出已处理业务键及观察到的版本,比较差集、键冲突、失效快照未覆盖率和最终可见延迟。重复传输本身不一定是事故,但一笔业务对应两次对用户可见的修改就是。对账数据亦要脱敏,不能为了看差异把完整商品运营字段写进公共日志。切换可按租户或商品分组,保留明确写入权;生产索引只有授权一侧执行,另一侧仍写影子结果。回退时恢复旧路径写入权前先核对版本门槛,以免旧积压覆盖刚发布的新索引。若数据库和索引同时停机,优先停写等待恢复,而不是用两个消费者竞速填数据。
队列确认响应还有一层常被忽略的部分成功。确认接口要求在 HTTP 200 里检查逐条失败列表。写入已完成而对应收据过期时,不盲目拿老收据常驻重试;保留失败归类,等待可处理的重新投递,并按业务键判断已处理。确认成功日志也不是可以删除幂等记录的凭据,官方说明极少情况下确认过的记录还可能重新出现。死信和源流保留期相关,也不能当永续审计库存。上线演练至少要主动模拟进程写完后退出、部分确认失败、重复投递、读到过旧起点与影子索引落后五种情形。
容量要看索引服务,以及什么时候该留下中转
假设要迁移的搜索快照平均每秒到达二百条,每项平均占用一个工位四分之一秒。忽略批量和流量抖动,稳定段平均需要约五十个并行工位。若希望用十分钟消化额外六万条积压,在新流量不变的前提下,消费能力还要多一百条每秒,平均工位约七十五个。如果长尾项需要远超过四分之一秒、外部索引不允许每秒三百项,增加消费者会把等待换成下游拒绝;应先降消费速率、并批写入或拆开热租户。这只是容量估算,不是供应商基准,也不能用它给每条记录承诺可见时间。观察最老未处理年龄、处理耗时、重复比例、逐项确认失败和影子结果延迟,才能判断瓶颈是在入口、消费还是结果端。
新方案优先试在可独立重算、有限副作用、上游身份稳定的消费者上。需要跨来源合流、独立保留、严格单键处理或无法验证下游幂等时,宁可暂时保留中转,也不要用新队列的投递报告解释业务正确性。判断迁移成功的标准不是删掉一段程序,而是在并行窗口里证明旧结果不会覆盖新结果、漏处理能追到原因,而且回退不会把同一批写操作重新执行一遍。库存投影没有变化,本身就是这次迁移有意保护的结果。
评论
暂无评论。