Kiểm thử sandbox API du lịch: điều sandbox không cho thấy

Bản tích hợp đã vượt qua mọi thứ mà kiểm thử sandbox API du lịch có thể ném vào. Tìm kiếm trả về chuyến bay, lệnh gọi kiểm tra phòng trống của khách sạn trả về phòng, lệnh gọi đặt chỗ lần nào cũng trả về mã xác nhận, và QA ký duyệt vào một ngày thứ Năm. Thứ Ba tuần sau, một khách hàng thanh toán khách sạn ở một mức giá nhưng nhà cung cấp lại xác nhận ở mức giá khác, một lượt đặt vé máy bay bị timeout và không ai biết chắc ghế đã được giữ hay chưa, còn một nhân viên hỗ trợ mất cả buổi chiều đối chiếu hai bản ghi mô tả cùng một chuyến đi. Không điều nào trong số đó là lỗi mà bộ kiểm thử bỏ sót. Đó là những tình huống mà bộ kiểm thử vốn không có cách nào nhìn thấy. Sandbox là cần thiết, nhưng còn xa mới đủ, và khoảng trống giữa hai điều đó chính là nơi phần lớn các sự cố tốn kém trong tích hợp du lịch xảy ra.
Đây là kế hoạch kiểm thử dành cho lập trình viên chịu trách nhiệm về bản tích hợp đó: sandbox chứng minh được gì, về mặt cấu trúc nó không thể chứng minh điều gì, và làm sao để bù đắp phần chênh lệch mà không phải đặt ghế thật bằng thẻ của công ty.
Vì sao kiểm thử sandbox API du lịch vẫn cho qua code sẽ hỏng trên production
Sandbox là một lời hứa về hình dạng của response, không phải về hành vi của nó. Schema khớp với production. Hành vi thì gần như không bao giờ khớp, vì những lý do chẳng phải lỗi của ai: môi trường thử không đủ chi phí để chạy tồn kho thực, nên nó phục vụ một tập giá vé và phòng cố định, không bao giờ hết chỗ, không bao giờ đổi giá và không bao giờ đổi lịch. Nó trả lời nhanh vì không có ai khác dùng. Nó hiếm khi thất bại giữa chừng.
Production làm tất cả những điều đó hằng ngày. Tồn kho được chia sẻ với mọi bên bán khác; giá vé được ai đó ở phía thượng nguồn lưu cache và trở nên cũ; hệ thống của nhà cung cấp khi quá tải sẽ trả lời chậm hoặc không trả lời. Code chỉ từng gặp sandbox, về thực chất, mới chỉ được kiểm thử với một nhà cung cấp đang có một ngày hoàn hảo.
Vì vậy, hãy coi sandbox là một trong ba lớp. Nó chứng minh request của bạn đúng định dạng và parser của bạn hiểu schema. Các fixture được ghi lại chứng minh code của bạn chịu được những response mà production thực sự gửi. Một tập nhỏ các kiểm tra trực tiếp có chủ đích chứng minh phần kết nối vẫn hoạt động sau khi có thay đổi. Mỗi lớp bắt được điều mà hai lớp kia không bắt được.
Những tình huống sandbox thường không mang lại cho bạn
Hãy viết chúng ra trước khi viết bất kỳ bài kiểm thử nào. Sandbox có thể mô phỏng một hai tình huống bằng một giá trị thử đặc biệt; phần lớn còn lại thì nó đơn giản là không có.
| Tình huống | Production thực tế làm gì | Cách bao phủ |
|---|---|---|
| Giá thay đổi giữa lúc tìm kiếm và lúc đặt chỗ | Lệnh gọi đặt chỗ thành công với tổng tiền khác, hoặc thất bại với lỗi thay đổi giá mà bạn phải hiển thị | Cặp fixture: một response tìm kiếm và một response đặt chỗ có tổng tiền khác nhau; khẳng định hành khách được hỏi lại, không bao giờ bị trừ tiền âm thầm |
| Hết chỗ giữa lúc kiểm tra chỗ trống và lúc đặt | Phòng hoặc hạng giá vé đã được chào bán không còn khi bạn cố giữ chỗ | Fixture lỗi hết chỗ thật của nhà cung cấp; khẳng định hành khách được đưa về trang kết quả, không phải trang lỗi |
| Timeout ở lệnh gọi đặt chỗ | Nhà cung cấp có thể đã tạo booking, cũng có thể chưa | Chèn timeout sau khi request đã gửi; khẳng định bạn truy vấn trạng thái booking trước khi bất cứ thứ gì thử lại |
| Gửi trùng lặp | Một cú nhấp đúp hoặc một lần thử lại từ client tạo ra hai booking | Gửi cùng một booking hai lần với cùng idempotency key (khóa chống trùng lặp); khẳng định chỉ có đúng một booking tồn tại |
| Đổi lịch sau khi xuất vé | Chuyến bay bạn đã bán giờ khởi hành vào giờ khác, hoặc dưới một số hiệu chuyến bay khác | Fixture hành trình đã bị sửa đổi; khẳng định thay đổi đến được bên đang phụ trách khách hàng |
| Thành công một phần ở booking nhiều dịch vụ | Chuyến bay được xác nhận còn khách sạn thì không | Fixture hỗn hợp; khẳng định hệ thống ghi nhận chính xác những gì đã được xác nhận và cảnh báo cho con người |
| Bị giới hạn khi tải cao | Response giới hạn tần suất, sau đó là các câu trả lời chậm | Phát lại một response giới hạn tần suất đã ghi; khẳng định có backoff, và tìm kiếm suy giảm dần thay vì báo lỗi |
Bạn có thể không đồng ý với cột cuối cùng cho stack của riêng mình. Không sao. Điều quan trọng là mỗi dòng đều có người chịu trách nhiệm và một assertion, vì sớm hay muộn từng tình huống sẽ xảy đến với bạn.
Xây fixture từ response thật, không phải tự bịa
Thói quen hữu ích nhất trong một bản tích hợp du lịch là giữ lại những response từng làm bạn bất ngờ. Dữ liệu mock viết tay phản ánh điều bạn nghĩ nhà cung cấp sẽ gửi; một response được ghi lại phản ánh điều họ thực sự đã gửi, bao gồm những trường bị trống trong khi tài liệu nói chúng không bao giờ trống, mức giá bằng một loại tiền tệ bạn không hề yêu cầu, và lỗi đến kèm trạng thái thành công.
Một quy trình hiệu quả:
- Ghi lại tại ranh giới. Ghi log nguyên văn body của request và response cho các lệnh gọi nhà cung cấp trong môi trường không phải production, và trên production với một phần lưu lượng được lấy mẫu nếu quy định về quyền riêng tư của bạn cho phép.
- Làm sạch trước khi lưu. Tên hành khách, số hộ chiếu, email, số điện thoại và mã tham chiếu thanh toán phải được loại bỏ trước khi fixture vào repository. Thay chúng bằng các giá trị rõ ràng là giả để không ai nhầm fixture với một booking thật.
- Đặt tên fixture theo hành vi.
hotel-book-price-increased.jsoncho lập trình viên tiếp theo biết vì sao nó tồn tại;response-17.jsonthì không. - Giữ những cái xấu xí mãi mãi. Response lỗi định dạng từng làm sập tìm kiếm vào một ngày Chủ nhật là tệp giá trị nhất bạn sở hữu. Chỗ của nó là trong một bài kiểm thử chạy ở mọi commit.
Sau đó viết contract test dựa trên các fixture đó: parser của bạn, phần ánh xạ sang model nội bộ, và cách bạn phân loại lỗi. Nếu nhà cung cấp đổi tên một trường và contract test thất bại, bạn biết điều đó trong CI thay vì từ khách hàng. Phần phân loại lỗi được phân tích sâu hơn trong bài viết của chúng tôi về xử lý lỗi API booking engine.
Kiểm thử các luồng tiền mà không phải tiêu tiền
Đây là chỗ sandbox giúp được ít nhất, vì luồng tiền chính là nơi môi trường thử khác môi trường thật nhiều nhất. Xuất vé thật, thu tiền thẻ thật và hóa đơn thật từ nhà cung cấp là những thứ bạn cần làm đúng nhất nhưng lại ít có khả năng diễn tập trực tiếp nhất.
Hãy tách bài toán ra. Phép tính giá là logic thuần túy và có thể kiểm thử đầy đủ ở chế độ offline: lấy giá vé đã ghi lại, áp dụng quy tắc markup, quy đổi tiền tệ và làm tròn của bạn, rồi khẳng định tổng tiền mà hành khách nhìn thấy. Hãy làm điều đó cho các trường hợp khó — giá vé bằng một loại tiền nhưng bán bằng loại tiền khác, markup tính theo phần trăm ở sản phẩm này và theo số tiền cố định ở sản phẩm kia, giá vé trẻ em, bước làm tròn khác nhau giữa lúc hiển thị và lúc thu tiền. Một tổng tiền sai vài đơn vị tiền tệ vẫn là sai, và nó sai trên mọi booking.
Các chuyển đổi trạng thái xoay quanh thanh toán là nửa còn lại. Hãy mô hình hóa chúng một cách tường minh — đã báo giá, đã giữ chỗ, đã thanh toán, đã xác nhận, đã xuất vé, đã hủy, đã hoàn tiền — và kiểm thử rằng mỗi chuyển đổi có đúng một nguyên nhân. Bài kiểm thử bắt được lỗi đắt giá nhất là bài khẳng định rằng không thể thu tiền cho một booking mà nhà cung cấp chưa xác nhận, và rằng một booking đã xác nhận không thể tồn tại nếu không có bản ghi thanh toán.
Cuối cùng, hãy khiến một lần chạy kiểm thử không thể chạm tới hệ thống xuất vé thật. Không phải khó xảy ra; mà là không thể. Một bước kiểm tra lúc khởi động, từ chối chạy bộ kiểm thử khi thông tin xác thực production đang được nạp, chỉ tốn một dòng code và ngăn được buổi sáng tồi tệ nhất mà một đội tích hợp có thể gặp.
Cái giá phải trả nếu bạn làm sai
Một tình huống bị bỏ sót trong tích hợp du lịch hiếm khi hiện ra dưới dạng lỗi. Nó hiện ra dưới dạng một booking trông có vẻ ổn. Một vé trùng không ai yêu cầu, mà ai đó phải hủy (void) trước hạn chót. Một khách sạn được xác nhận ở mức giá mà giờ đại lý phải tự gánh. Một booking bị timeout mà hệ thống đã thử lại, nên nhà cung cấp giữ hai phòng và xuất hóa đơn cả hai. Với vé máy bay bán qua đại lý, sự sai lệch giữa vé đã xuất và vé đã bán có thể quay lại sau này dưới dạng ADM, rất lâu sau khi biên lợi nhuận của lần bán đó đã được tiêu hết.
Những chi phí đó đổ lên doanh nghiệp đã bán chuyến đi, chứ không phải lên lập trình viên đã viết vòng lặp thử lại. Đó là toàn bộ lý do để kiểm thử chúng trước khi ra mắt, thay vì học từng bài học qua từng ticket hỗ trợ một.
Cần smoke test những gì sau mỗi thay đổi từ nhà cung cấp
Nhà cung cấp luôn thay đổi: một phiên bản API mới, một endpoint mới, một thông tin xác thực được xoay vòng, một cách ánh xạ nội dung khác. Code của bạn có thể chẳng hề thay đổi. Dù vậy, vẫn hãy chạy danh sách này, trong môi trường đang kết nối với nhà cung cấp vừa thay đổi:
- Một lượt tìm kiếm cho mỗi sản phẩm bạn bán từ nhà cung cấp đó, trên một tuyến bay hoặc thành phố mà bạn biết chắc có kết quả.
- Parse mọi kết quả mà không âm thầm bỏ sót cái nào; so sánh số lượng của bạn với những gì response gốc chứa.
- Tính giá một kết quả từ đầu đến cuối và so sánh tổng tiền hiển thị với phép tính của chính bạn từ giá vé gốc.
- Tạo một booking trong môi trường thử, đọc lại trạng thái của nó và so sánh từng trường bạn lưu trữ.
- Hủy booking đó và xác nhận việc hủy hiển thị cả trong bản ghi của bạn lẫn phía nhà cung cấp.
- Phát lại các fixture xấu xí bạn đã lưu qua parser mới.
- Kiểm tra rằng timeout và giới hạn tần suất vẫn được ánh xạ đúng hành vi bạn đã quyết định, vì phiên bản mới có thể phản hồi chúng theo cách khác. Nếu thời gian phản hồi thay đổi, bài viết về độ trễ giải thích phần nào trong đó là việc của bạn cần sửa.
Đủ ngắn để chạy mỗi lần, và đó chính là mục đích. Một smoke test không ai chạy vì mất cả ngày thì không còn là smoke test.
Sandbox nằm ở đâu trong bức tranh
Không điều gì ở trên khiến sandbox kém hữu ích đi. Nó chỉ khiến sandbox trở nên trung thực: là nơi bạn học schema và xác nhận các request đã đúng, trước khi fixture và các kiểm tra trực tiếp đảm nhận những phần nó không với tới được. Nếu bạn đang đánh giá các API vé máy bay và khách sạn của nền tảng, quyền truy cập bắt đầu bằng một cuộc trao đổi chứ không phải một khóa tự đăng ký — hãy mang kế hoạch kiểm thử này vào cuộc trao đổi đó và hỏi từng dòng trong bảng trên sẽ được bao phủ ra sao. Câu trả lời sẽ cho bạn biết về một API nhiều hơn cả tài liệu của nó.