Utazási API tesztelése sandboxban: amit a sandbox nem mutat

Az integráció mindenen átment, amit az utazási API tesztelése sandboxban eléje gördíthetett. A keresés járatokat adott vissza, a szállodai elérhetőségi hívás szobákat, a foglalási hívás minden egyes alkalommal visszaigazolási számot adott, és a QA egy csütörtökön jóváhagyta. A következő kedden egy ügyfél egy áron fizetett ki egy szállodát, a beszállító pedig egy másikon igazolta vissza; egy repülőjegy-foglalás időtúllépésbe futott, és senki sem tudta megmondani, le van-e foglalva a hely; egy ügyfélszolgálatos pedig egy egész délutánt töltött két, ugyanazt az utat leíró rekord egyeztetésével. Egyik sem volt olyan hiba, amit a tesztek elnéztek. Olyan helyzetek voltak, amelyeket a teszteknek esélyük sem volt meglátni. A sandbox szükséges, de messze nem elég, és a kettő közötti résben lakik egy utazási integráció legtöbb drága incidense.
Ez egy tesztterv annak a fejlesztőnek, aki az integrációért felel: mit tud bizonyítani egy sandbox, mit nem tud a természeténél fogva, és hogyan fedd le a különbséget anélkül, hogy a céges kártyával valódi helyeket foglalnál.
Miért enged át az utazási API tesztelése sandboxban olyan kódot, amit az éles rendszer eltör
A sandbox a válaszok formájára tesz ígéretet, nem a viselkedésükre. A séma egyezik az élessel. A viselkedés szinte soha — és ez senkinek sem a hibája: egy tesztkörnyezet nem engedheti meg magának az élő készletet, ezért egy rögzített díj- és szobakészletet szolgál ki, amely sosem fogy el, sosem árazódik át és sosem változtat menetrendet. Gyorsan válaszol, mert senki más nem használja. Ritkán hal meg félúton.
Az éles rendszer mindezt naponta csinálja. A készletet minden más eladóval megosztod; a díjakat valaki feljebb a láncban cache-eli, és elavulnak; egy terhelés alatt álló beszállítói rendszer lassan válaszol, vagy sehogy. Az a kód, amely csak sandboxot látott, gyakorlatilag csak egy tökéletes napot élő beszállító ellen lett tesztelve.
Kezeld tehát a sandboxot három réteg egyikeként. Bizonyítja, hogy a kérések jól formáltak, és hogy a parser érti a sémát. A rögzített fixture-ök bizonyítják, hogy a kód túléli azokat a válaszokat, amelyeket az éles rendszer ténylegesen küld. Egy kicsi, tudatosan összeállított élő ellenőrzéskészlet pedig a bekötést bizonyítja, miután valami megváltozott. Mindegyik réteg azt kapja el, amit a másik kettő nem tud.
Helyzetek, amelyeket egy sandbox általában nem ad meg
Írd le őket, mielőtt egyetlen tesztet írnál. Egy sandbox talán egyet-kettőt szimulál valamilyen varázslatos tesztértékkel; a legtöbbet egyszerűen nem ismeri.
| Helyzet | Mit csinál az éles rendszer | Hogyan fedd le |
|---|---|---|
| Árváltozás keresés és foglalás között | A foglalás más végösszeggel sikerül, vagy árváltozási hibával bukik el, amit meg kell jelenítened | Fixture-pár: egy keresési és egy foglalási válasz eltérő végösszeggel; ellenőrizd, hogy az utast újra megkérdezed, és sosem terheled csendben |
| Elfogyás elérhetőség és foglalás között | A felajánlott szoba vagy díjosztály eltűnt, mire le akarod foglalni | A beszállító valódi elfogyási hibájának fixture-je; ellenőrizd, hogy az utas a találatokhoz kerül vissza, nem hibaoldalra |
| Időtúllépés a foglalási hívásnál | A beszállító vagy létrehozta a foglalást, vagy nem | Időtúllépés a kérés elküldése után; ellenőrizd, hogy bármilyen újrapróbálás előtt lekérdezed a foglalás állapotát |
| Dupla beküldés | Egy dupla kattintás vagy egy kliensoldali újrapróbálás két foglalást hoz létre | Küldd el ugyanazt a foglalást kétszer ugyanazzal az idempotency key-jel; ellenőrizd, hogy pontosan egy létezik |
| Menetrendváltozás jegykiállítás után | Az eladott járat más időpontban vagy más járatszámmal indul | Módosított útvonal fixture-je; ellenőrizd, hogy a változás eljut ahhoz, aki az ügyfélért felel |
| Részleges siker többtételes foglalásnál | A járat visszaigazolódik, a szálloda nem | Vegyes fixture; ellenőrizd, hogy a rendszer pontosan azt rögzíti, ami visszaigazolódott, és riaszt egy embert |
| Throttling terhelés alatt | Rate limit válaszok, aztán lassú válaszok | Játssz vissza egy rögzített throttling választ; ellenőrizd a backoffot, és hogy a keresés lassul, nem hibát dob |
Lehet, hogy a saját stacked esetében nem értesz egyet az utolsó oszloppal. Rendben. Az számít, hogy minden sornak legyen gazdája és assertionje, mert mindegyik meg fog történni veled egyszer.
Fixture-ök valódi válaszokból, nem kitaláltakból
Egy utazási integrációban a leghasznosabb szokás megtartani azokat a válaszokat, amelyek megleptek. A kézzel írt mock adat azt tükrözi, amit szerinted a beszállító küld; egy rögzített válasz azt, amit ténylegesen küldött — beleértve az üres mezőket, amelyekről a dokumentáció azt állítja, hogy sosem üresek, az árat egy olyan devizában, amit nem kértél, és a hibát, amely sikeres státuszkóddal érkezik.
Egy bevált rutin:
- Rögzíts a határon. Naplózd a beszállítói hívások nyers kérés- és válasz-törzsét nem éles környezetben, élesben pedig a forgalom egy mintájára, ha az adatvédelmi szabályaitok megengedik.
- Tisztíts, mielőtt megtartod. Utasnevek, útlevélszámok, e-mailek, telefonszámok és fizetési azonosítók kikerülnek, mielőtt egy fixture a repóba jut. Cseréld őket nyilvánvalóan hamis értékekre, hogy senki ne tévessze össze a fixture-t egy valódi foglalással.
- Nevezd el viselkedés szerint. A
hotel-book-price-increased.jsonelárulja a következő fejlesztőnek, miért létezik; aresponse-17.jsonnem. - A csúnyákat tartsd meg örökre. A hibás válasz, amely egy vasárnap ledöntötte a keresést, a legértékesebb fájlod. Olyan tesztbe való, amely minden commitnál lefut.
Ezután írj contract teszteket ezekre a fixture-ökre: a parserre, a belső modellekre való leképezésre és a hibaosztályozásra. Ha egy beszállító átnevez egy mezőt és elbukik egy contract teszt, a CI-ból tudod meg, nem egy ügyféltől. A hibaosztályozásról bővebben a foglalási motor API-jának hibakezeléséről szóló cikkünkben írunk.
A pénzügyi folyamatok tesztelése pénzköltés nélkül
Itt segít a legkevésbé a sandbox, mert éppen a pénzügyi folyamatokban tér el leginkább a tesztkörnyezet a valóditól. A valódi jegykiállítás, a valódi kártyaterhelés és a beszállító valódi számlázása az, amit a leginkább el kell találnod, és amit a legkevésbé tudsz élesben begyakorolni.
Bontsd ketté a problémát. Az árazási számítás tiszta logika, és offline kimerítően tesztelhető: vegyél rögzített díjakat, alkalmazd a felár-szabályaidat, a devizaváltást és a kerekítést, és ellenőrizd a végösszeget, amit az utas lát. Tedd ezt a kényelmetlen esetekre is — euróban árazott díj, amit forintban adsz el, felár, ami az egyik terméken százalék, a másikon fix összeg, gyermekdíj, kerekítés, ami eltér a megjelenítés és a terhelés között. Egy néhány forinttal elcsúszott végösszeg is rossz, és minden foglalásnál rossz.
A másik fele a fizetés körüli állapotátmenetek. Modellezd őket kifejezetten — ajánlott, zárolt, fizetett, visszaigazolt, kiállított, törölt, visszatérített —, és teszteld, hogy minden átmenetnek pontosan egy oka van. A legdrágább hibát az a teszt fogja meg, amely ellenőrzi, hogy nem lehet fizetést terhelni olyan foglalásra, amelyet a beszállító nem igazolt vissza, és hogy visszaigazolt foglalás nem létezhet fizetési rekord nélkül.
Végül tedd lehetetlenné, hogy egy tesztfutás elérje az éles jegykiállítást. Nem valószínűtlenné; lehetetlenné. Egy indításkori ellenőrzés, amely nem hajlandó lefuttatni a tesztcsomagot, ha éles hitelesítő adatok vannak betöltve, egy sorba kerül, és megelőzi a legrosszabb reggelt, ami egy integrációs csapattal megtörténhet.
Mibe kerül, ha elrontod
Egy kihagyott helyzet egy utazási integrációban ritkán jelenik meg hibaként. Rendben lévőnek látszó foglalásként jelenik meg. Egy dupla jegy, amit senki sem kért, és amit valakinek határidő előtt voidolnia kell. Egy szálloda, amelyet olyan áron igazoltak vissza, amit most az irodának kell lenyelnie. Egy időtúllépett foglalás, amelyet a rendszer újrapróbált, így a beszállító két szobát tart és mindkettőt kiszámlázza. Utazási irodán keresztül eladott repülőjegynél a kiállított és az eladott közötti eltérés később ADM formájában térhet vissza, jóval azután, hogy az eladás árrését már elköltötték.
Ezek a költségek az utat eladó vállalkozásnál landolnak, nem annál a fejlesztőnél, aki a retry ciklust írta. Ez a teljes érv amellett, hogy élesítés előtt teszteld őket, ahelyett hogy ügyfélszolgálati jegyenként tanuld meg.
Mit érdemes smoke-tesztelni minden beszállítói változás után
A beszállítók változtatnak dolgokon: új API-verzió, új endpoint, lecserélt hozzáférési adatok, más tartalomleképezés. A saját kódod talán egyáltalán nem változott. Futtasd le ezt a listát akkor is, abban a környezetben, amely a megváltozott beszállítóval beszél:
- Egy keresés minden termékre, amit ettől a beszállítótól árulsz, olyan útvonalon vagy városban, amelyről tudod, hogy ad találatot.
- Dolgozz fel minden találatot anélkül, hogy bármelyik csendben elveszne; vesd össze a darabszámot a nyers válasz tartalmával.
- Árazz be egy találatot elejétől a végéig, és hasonlítsd össze a megjelenített végösszeget a nyers díjból számolt saját eredményeddel.
- Foglalj a tesztkörnyezetben, olvasd vissza az állapotát, és hasonlíts össze minden mezőt, amit tárolsz.
- Töröld, és ellenőrizd, hogy a törlés látszik a saját nyilvántartásodban és a beszállító oldalán is.
- Futtasd át a mentett csúnya fixture-öket az új parseren.
- Ellenőrizd, hogy az időtúllépések és a rate limitek továbbra is az eldöntött viselkedéshez vezetnek, mert egy új verzió másképp válaszolhat rájuk. Ha elmozdultak a válaszidők, a késleltetésről szóló cikk elmagyarázza, melyik rész a te dolgod.
Elég rövid ahhoz, hogy minden alkalommal lefusson — és pont ez a lényeg. Az a smoke teszt, amit senki sem futtat, mert egy napig tart, nem smoke teszt.
Hol a helye a sandboxnak
Mindez semmit sem von le a sandbox hasznából. Őszintévé teszi: ez az a hely, ahol megtanulod a sémát és megbizonyosodsz róla, hogy a kérések helyesek, mielőtt a fixture-ök és az élő ellenőrzések átveszik azt, amit nem ér el. Ha a platform repülő- és szállodai API-jait értékeled, a hozzáférés beszélgetéssel indul, nem önkiszolgáló kulccsal — vidd magaddal ezt a teszttervet arra a beszélgetésre, és kérdezd meg, hogyan fednék le a fenti táblázat minden sorát. A válaszok többet elárulnak egy API-ról, mint a dokumentációja.