Testovanie cestovného API v sandboxe: čo vám neukáže

Integrácia prešla všetkým, čo na ňu dokázalo nachystať testovanie cestovného API v sandboxe. Vyhľadávanie vracalo lety, dopyt na dostupnosť hotelov vracal izby, rezervačné volanie zakaždým vrátilo číslo potvrdenia a QA ju vo štvrtok schválilo. Nasledujúci utorok zaplatil zákazník za hotel jednu cenu a dodávateľ ho potvrdil za inú, rezervácii letu vypršal časový limit a nikto nevedel povedať, či je miesto blokované, a pracovník podpory strávil celé popoludnie zosúlaďovaním dvoch záznamov, ktoré opisovali tú istú cestu. Nič z toho nebola chyba, ktorú testy prehliadli. Bol to scenár, ktorý testy nemali ako uvidieť. Sandbox je nevyhnutný, ale ani zďaleka nestačí, a práve v medzere medzi týmito dvoma vecami sa odohráva väčšina drahých incidentov v cestovnej integrácii.
Toto je testovací plán pre vývojára, ktorý danú integráciu vlastní: čo sandbox dokáže overiť, čo zo svojej podstaty overiť nedokáže a ako pokryť rozdiel bez toho, aby ste rezervovali skutočné miesta na firemnú kartu.
Prečo testovanie cestovného API v sandboxe pustí kód, ktorý produkcia rozbije
Sandbox je prísľubom o tvare odpovedí, nie o ich správaní. Schéma sa s produkciou zhoduje. Správanie takmer nikdy, a to z dôvodov, za ktoré nikto nemôže: testovacie prostredie si nemôže dovoliť prevádzkovať živý inventár, takže servíruje pevnú sadu taríf a izieb, ktoré sa nikdy nevypredajú, nikdy nezmenia cenu a nikdy nezmenia letový poriadok. Odpovedá rýchlo, lebo ho nikto iný nepoužíva. Len zriedka zlyhá v polovici.
Produkcia robí všetky tieto veci denne. Inventár sa delí s každým ďalším predajcom; tarify niekto vyššie v reťazci cachuje a zastarávajú; systém dodávateľa pod záťažou odpovedá pomaly alebo vôbec. Kód, ktorý videl iba sandbox, bol v skutočnosti testovaný len proti dodávateľovi, ktorý má dokonalý deň.
Berte preto sandbox ako jednu z troch vrstiev. Dokazuje, že vaše požiadavky sú správne zostavené a váš parser rozumie schéme. Nahraté fixtures dokazujú, že váš kód prežije odpovede, ktoré produkcia naozaj posiela. Malá, zámerne zvolená sada živých kontrol dokazuje, že zapojenie funguje aj po nejakej zmene. Každá vrstva zachytí to, čo ostatné dve nedokážu.
Scenáre, ktoré vám sandbox zvyčajne nedá
Spíšte si ich skôr, než napíšete prvý test. Sandbox možno jeden či dva z nich nasimuluje pomocou špeciálnej testovacej hodnoty; väčšinu jednoducho nemá.
| Scenár | Čo robí produkcia | Ako ho pokryť |
|---|---|---|
| Zmena ceny medzi vyhľadávaním a rezerváciou | Rezervačné volanie uspeje s inou celkovou sumou alebo zlyhá s chybou zmeny ceny, ktorú musíte zobraziť | Pár fixtures: odpoveď z vyhľadávania a odpoveď z rezervácie s inou sumou; overte, že cestujúci dostane otázku znova a nikdy mu nie je potichu strhnutá iná suma |
| Vypredané medzi dostupnosťou a rezerváciou | Ponúknutá izba alebo tarifná trieda už neexistuje, keď sa ju pokúsite zablokovať | Fixture so skutočnou chybou dodávateľa o vypredaní; overte, že sa cestujúci vráti k výsledkom, nie na chybovú stránku |
| Vypršanie časového limitu pri rezervačnom volaní | Dodávateľ rezerváciu možno vytvoril, možno nie | Vložte timeout po odoslaní požiadavky; overte, že sa pred akýmkoľvek opakovaním opýtate na stav rezervácie |
| Duplicitné odoslanie | Dvojklik alebo opakovanie na strane klienta vytvorí dve rezervácie | Pošlite tú istú rezerváciu dvakrát s rovnakým idempotency key (kľúčom idempotencie); overte, že existuje presne jedna rezervácia |
| Zmena letového poriadku po vystavení letenky | Let, ktorý ste predali, teraz odlieta v inom čase alebo pod iným číslom letu | Fixture so zmeneným itinerárom; overte, že sa zmena dostane k tomu, kto zákazníka vlastní |
| Čiastočný úspech pri rezervácii viacerých položiek | Let sa potvrdí, hotel nie | Zmiešaná fixture; overte, že systém zaznamená presne to, čo bolo potvrdené, a upozorní človeka |
| Obmedzovanie pod záťažou | Odpovede o prekročení limitu, potom pomalé odpovede | Prehrajte nahratú odpoveď o obmedzení; overte backoff a to, že vyhľadávanie sa zhorší, a nie skončí chybou |
S posledným stĺpcom možno pre svoj stack nebudete súhlasiť. V poriadku. Podstatné je, aby mal každý riadok vlastníka a tvrdenie v teste, pretože každý z nich sa vám raz stane.
Fixtures stavajte zo skutočných odpovedí, nie z vymyslených
Najužitočnejší zvyk v cestovnej integrácii je uchovávať odpovede, ktoré vás prekvapili. Ručne písané mock dáta odrážajú to, čo si myslíte, že dodávateľ posiela; nahratá odpoveď odráža to, čo naozaj poslal – vrátane polí, ktoré sú prázdne, hoci dokumentácia tvrdí, že nikdy nebudú, ceny v mene, o ktorú ste nežiadali, a chyby, ktorá prišla so stavom úspechu.
Postup, ktorý funguje:
- Nahrávajte na hranici. Logujte surové telá požiadaviek a odpovedí pri volaniach dodávateľov v neprodukčnom prostredí a v produkcii pre vzorku prevádzky, ak to vaše pravidlá ochrany súkromia dovoľujú.
- Pred uložením vyčistite. Mená cestujúcich, čísla pasov, e-maily, telefónne čísla a platobné referencie musia zmiznúť skôr, než sa fixture dostane do repozitára. Nahraďte ich zjavne falošnými hodnotami, aby si nikto nepomýlil fixture so skutočnou rezerváciou.
- Pomenúvajte fixtures podľa správania.
hotel-book-price-increased.jsonďalšiemu vývojárovi povie, prečo existuje;response-17.jsonnie. - Škaredé si nechajte navždy. Poškodená odpoveď, ktorá jednu nedeľu zhodila vyhľadávanie, je najcennejší súbor, aký máte. Patrí do testu, ktorý beží pri každom commite.
Potom proti týmto fixtures napíšte kontraktové testy: váš parser, mapovanie do interných modelov, klasifikáciu chýb. Ak dodávateľ premenuje pole a kontraktový test zlyhá, dozviete sa to v CI, nie od zákazníka. Klasifikácii chýb sa podrobnejšie venuje náš článok o spracovaní chýb API rezervačného systému.
Testovanie peňažných tokov bez míňania peňazí
Tu sandbox pomáha najmenej, pretože práve pri peňažných tokoch sa testovacie prostredie od skutočného líši najviac. Skutočné vystavovanie leteniek, skutočné strhnutie platby kartou a skutočná fakturácia dodávateľov sú presne to, čo najviac potrebujete mať správne, a zároveň to, čo si najmenej môžete naživo vyskúšať.
Rozdeľte problém. Výpočet ceny je čistá logika a dá sa vyčerpávajúco otestovať offline: vezmite nahraté tarify, aplikujte svoje pravidlá prirážok, prepočet mien a zaokrúhľovanie a overte celkovú sumu, ktorú cestujúci uvidí. Robte to pre nepríjemné prípady – tarifa v jednej mene predávaná v inej, prirážka, ktorá je pri jednom produkte percentom a pri inom pevnou sumou, detská tarifa, krok zaokrúhľovania, ktorý sa líši medzi zobrazením a strhnutím. Suma, ktorá nesedí o pár jednotiek meny, je stále nesprávna, a je nesprávna pri každej rezervácii.
Druhou polovicou sú prechody stavov okolo platby. Modelujte ich explicitne – ponúknuté, blokované, zaplatené, potvrdené, vystavené, zrušené, refundované – a testujte, že každý prechod má presne jednu príčinu. Test, ktorý zachytí najdrahšiu chybu, je ten, ktorý overuje, že platbu nemožno strhnúť za rezerváciu, ktorú dodávateľ nepotvrdil, a že potvrdená rezervácia nemôže existovať bez záznamu o platbe.
Napokon zariaďte, aby sa testovací beh nemohol dostať k živému vystavovaniu leteniek. Nie nepravdepodobné; nemožné. Kontrola pri štarte, ktorá odmietne spustiť testy, keď sú načítané produkčné prístupové údaje, stojí jeden riadok a zabráni najhoršiemu ránu, aké môže integračný tím zažiť.
Čo vás to bude stáť, ak to pokazíte
Prehliadnutý scenár v cestovnej integrácii sa len zriedka prejaví ako chyba. Prejaví sa ako rezervácia, ktorá vyzerá v poriadku. Duplicitná letenka, o ktorú nikto nežiadal a ktorú niekto musí stornovať pred termínom. Hotel potvrdený za cenu, ktorú teraz musí znášať agentúra. Rezervácia s vypršaným limitom, ktorú systém zopakoval, takže dodávateľ drží dve izby a fakturuje obe. Pri letenke predanej cez agentúru sa nesúlad medzi tým, čo bolo vystavené, a tým, čo bolo predané, môže neskôr vrátiť ako ADM, dávno po tom, čo bola marža z toho predaja minutá.
Tieto náklady dopadajú na firmu, ktorá cestu predala, nie na vývojára, ktorý napísal slučku opakovaní. To je celý argument, prečo ich testovať pred spustením, a nie spoznávať ich jeden tiket podpory za druhým.
Čo otestovať smoke testom po každej zmene u dodávateľa
Dodávatelia veci menia: nová verzia API, nový endpoint, vymenené prístupové údaje, iné mapovanie obsahu. Váš vlastný kód sa pritom nemusel zmeniť vôbec. Tento zoznam aj tak spustite, v prostredí, ktoré komunikuje so zmeneným dodávateľom:
- Jedno vyhľadávanie pre každý produkt, ktorý od daného dodávateľa predávate, na trase alebo v meste, o ktorom viete, že vracia výsledky.
- Spracujte každý výsledok bez toho, aby ste niektorý potichu vynechali; porovnajte svoj počet s tým, čo obsahuje surová odpoveď.
- Oceňte jeden výsledok od začiatku do konca a porovnajte zobrazenú sumu s vlastným výpočtom zo surovej tarify.
- Vytvorte rezerváciu v testovacom prostredí, načítajte späť jej stav a porovnajte každé pole, ktoré ukladáte.
- Zrušte ju a overte, že zrušenie je viditeľné vo vašich záznamoch aj na strane dodávateľa.
- Prehrajte svoje uložené škaredé fixtures cez nový parser.
- Skontrolujte, že timeouty a limity požiadaviek sa stále mapujú na správanie, na ktorom ste sa dohodli, pretože nová verzia na ne môže odpovedať inak. Ak sa posunuli časy odozvy, článok o latencii vysvetľuje, ktorú časť z toho môžete opraviť vy.
Dosť krátky na to, aby ste ho spustili zakaždým, a o to práve ide. Smoke test, ktorý nikto nespúšťa, lebo trvá celý deň, nie je smoke test.
Kam sandbox patrí
Nič z toho neznižuje užitočnosť sandboxu. Robí ho to poctivým: je to miesto, kde sa naučíte schému a overíte, že požiadavky sú správne, predtým než časti, kam nedosiahne, prevezmú fixtures a živé kontroly. Ak hodnotíte letové a hotelové API platformy, prístup sa začína rozhovorom, nie kľúčom na samoobsluhu – prineste si tento testovací plán do toho rozhovoru a opýtajte sa, ako by bol pokrytý každý riadok tabuľky vyššie. Odpovede vám o API povedia viac než jeho dokumentácia.