旅游API沙箱测试:沙箱不会告诉你的那些情况

这次集成通过了旅游API沙箱测试里能想到的所有用例。搜索返回航班,酒店可用性查询返回房间,预订接口每次都返回确认号,QA在周四签字放行。到了下周二,一位客户按一个价格付了酒店的钱,供应商却按另一个价格确认;一笔机票预订超时,没人说得清座位到底有没有占住;客服花了一个下午去核对两条描述同一趟行程的记录。这些都不是测试漏掉的缺陷,而是测试根本没有办法看到的场景。沙箱是必要的,但远远不够,旅游集成里大多数代价高昂的事故,恰恰就发生在两者之间的空档里。
下面是一份写给负责这项集成的开发者的测试计划:沙箱能证明什么,它在结构上证明不了什么,以及怎样在不用公司信用卡订真实座位的前提下补上差距。
为什么通过旅游API沙箱测试的代码会在生产环境出问题
沙箱承诺的是响应的“形状”,而不是响应的“行为”。字段结构和生产环境一致,行为却几乎从不一致,这也怪不了谁:测试环境负担不起真实库存,只能提供一组固定的运价和房型,永远不会售罄,永远不会变价,航班时刻也永远不变。没有别人在用,所以响应很快;也很少出现做到一半就失败的情况。
生产环境每天都在发生这些事。库存和所有其他卖家共享;运价在上游某处被缓存,然后过期;供应商系统在高负载下响应变慢,或者干脆不响应。只见过沙箱的代码,实际上只针对一个“状态完美”的供应商测试过。
所以,把沙箱看作三层中的一层。它证明你的请求构造正确、解析器能读懂字段结构;录制下来的真实响应(fixture)证明代码能扛住生产环境真正发来的数据;一小组刻意设计的线上检查,证明每次变更之后各环节仍然连得上。每一层都能抓住另外两层抓不到的问题。
沙箱通常给不了你的场景
写第一个测试之前,先把这些列出来。沙箱也许能用某个特殊测试值模拟其中一两种,大多数它根本没有。
| 场景 | 生产环境的实际表现 | 如何覆盖 |
|---|---|---|
| 搜索到预订之间价格变了 | 预订成功但总价不同,或者返回一个必须展示给用户的变价错误 | 一对夹具:一份搜索响应和一份总价不同的预订响应;断言系统会重新询问旅客,绝不静默扣款 |
| 查询可用后到预订前售罄 | 展示过的房型或舱位等级,在占位时已经没有了 | 录制供应商真实的售罄错误;断言旅客被带回结果页,而不是错误页 |
| 预订接口超时 | 供应商可能已经建了订单,也可能没有 | 请求发出后注入超时;断言在任何重试之前先查询订单状态 |
| 重复提交 | 双击或客户端重试产生两笔订单 | 用同一个幂等键(idempotency key)提交两次同样的预订;断言只存在一笔 |
| 出票后航班时刻变更 | 卖出去的航班改了起飞时间或换了航班号 | 录制一份变更后的行程;断言变更通知能送到负责该客户的人手里 |
| 组合预订部分成功 | 机票确认了,酒店没确认 | 混合夹具;断言系统准确记录哪些已确认,并提醒人工处理 |
| 高负载下被限流 | 先返回rate limit,再是缓慢响应 | 回放录制的限流响应;断言有退避机制,搜索是降级而不是报错 |
最后一列你可能会根据自己的技术栈有不同看法,这很正常。关键是每一行都有负责人、有断言,因为每一种迟早都会落到你头上。
用真实响应构建夹具,而不是凭空编造
旅游集成里最有用的习惯,是把让你意外的响应保存下来。手写的模拟数据反映的是你以为供应商会发什么;录制的响应反映的是它真正发了什么:文档说永远不会为空却为空的字段,你没要求的币种报价,以及带着成功状态码返回的错误。
一套行得通的做法:
- 在边界处录制。在非生产环境记录供应商调用的原始请求和响应;如果隐私规定允许,在生产环境对一部分流量抽样记录。
- 先脱敏再保存。旅客姓名、护照号、邮箱、电话和支付参考号,必须在夹具进入代码仓库之前删除,换成一眼就能看出是假的值,免得有人把夹具当成真实订单。
- 按行为命名。
hotel-book-price-increased.json能告诉下一位开发者它为什么存在,response-17.json不能。 - 难看的那些永久保留。某个周日让搜索整个挂掉的那份畸形响应,是你手里最有价值的文件,它应该放进每次commit都会跑的测试里。
然后基于这些夹具写契约测试:解析器、到内部模型的映射、错误分类。供应商改了字段名、契约测试随之失败,你就是在CI里发现问题,而不是从客户那里听说。错误分类这部分,我们在关于预订引擎API错误处理的文章里讲得更详细。
不花钱测试资金链路
这里沙箱帮得最少,因为资金链路恰恰是测试环境与真实环境差别最大的地方。真实出票、真实刷卡扣款、真实供应商账单,是你最需要做对、却最没法在线上演练的部分。
把问题拆开。计价是纯逻辑,可以完全离线、穷尽地测试:拿录制的运价,套用你的加价(markup)规则、汇率换算和舍入,断言旅客最终看到的总价。尤其要测那些别扭的情况:美元运价按人民币卖;一个产品按百分比加价,另一个按固定金额加价;儿童票价;展示和扣款用的舍入步骤不一致。总价差几分钱,依然是错的,而且每一笔订单都错。
另一半是围绕支付的状态流转。把它们显式建模:已报价、已占位、已支付、已确认、已出票、已取消、已退款,并测试每次流转都只有一个触发原因。能抓住最贵那个缺陷的测试,是断言“供应商未确认的订单不能扣款”以及“没有支付记录的已确认订单不能存在”。
最后,让测试运行根本不可能碰到真实出票。不是“不太可能”,而是“不可能”。启动时检查一下,如果加载的是生产凭证就拒绝运行测试,只要一行代码,却能让团队免于最糟糕的一个早晨。
做错的代价
旅游集成里漏掉的场景,很少以报错的形式出现,而是以一笔“看起来没问题”的订单出现。一张没人要的重复机票,需要有人在期限前作废(void)。一家酒店按另一个价格被确认,差价现在只能由代理商自己吞下。一笔超时后被系统重试的预订,结果供应商占了两间房、开了两张账单。代理商卖出的机票,如果出票内容和销售内容对不上,之后可能以ADM的形式找回来,那时这笔销售的利润早就花掉了。
这些成本落在卖出行程的企业身上,而不是写重试循环的开发者身上。这就是为什么要在上线前测试它们,而不是一张客服工单一张工单地慢慢学。
每次供应商变更后的冒烟测试
供应商总会改东西:新的API版本、新的接口地址、轮换过的凭证、不同的内容映射。你自己的代码可能一行都没动。即便如此,也要在与该供应商对接的环境里跑一遍这份清单:
- 针对从该供应商售卖的每种产品各做一次搜索,选一条确定有结果的航线或城市,比如上海—迪拜。
- 解析所有结果,不悄悄丢掉任何一条;把你的条数和原始响应里的条数对比。
- 把一条结果从头到尾计价一遍,比较页面展示的总价和你用原始运价自己算出的结果。
- 在测试环境下单,再读回订单状态,逐个比对你存储的字段。
- 取消该订单,确认取消状态在你的记录和供应商那边都可见。
- 用新的解析器重新跑一遍你保存的“难看”夹具。
- 检查超时和限流是否仍然导向你定下的处理方式,新版本对它们的响应可能不同。如果响应时间有变化,关于延迟的那篇文章说明了其中哪部分是你能修的。
短到每次都能跑,这正是重点。因为要花一整天而没人去跑的冒烟测试,不算冒烟测试。
沙箱应有的位置
以上这些都不会让沙箱变得不重要,只是让它回到应有的位置:在这里了解字段结构、确认请求正确,然后由夹具和线上检查接管它够不到的部分。如果你在评估平台的机票和酒店API,接入是从一次沟通开始的,而不是自助申请密钥,把这份测试计划带到那次沟通里,问问上面表格的每一行会如何覆盖。这些回答告诉你的,会比API文档更多。