Δοκιμές travel API σε sandbox: τι δεν θα σας δείξει

Η ενσωμάτωση πέρασε ό,τι μπορούσαν να της ρίξουν οι δοκιμές travel API σε sandbox. Η αναζήτηση επέστρεφε πτήσεις, η κλήση διαθεσιμότητας ξενοδοχείων έφερνε δωμάτια, η κλήση κράτησης επέστρεφε αριθμό επιβεβαίωσης κάθε φορά, και το QA έδωσε έγκριση μια Πέμπτη. Την επόμενη Τρίτη ένας πελάτης πλήρωσε ξενοδοχείο σε μία τιμή και ο προμηθευτής το επιβεβαίωσε σε άλλη, μια κράτηση πτήσης έληξε χωρίς απάντηση και κανείς δεν ήξερε αν κρατήθηκε θέση, και ένας υπάλληλος υποστήριξης πέρασε το απόγευμα συμφιλιώνοντας δύο εγγραφές για το ίδιο ταξίδι. Τίποτα από αυτά δεν ήταν bug που ξέφυγε από τις δοκιμές. Ήταν σενάρια που οι δοκιμές δεν είχαν κανέναν τρόπο να δουν. Το sandbox είναι απαραίτητο, απέχει πολύ από το να είναι αρκετό, και στο κενό ανάμεσα στα δύο ζουν τα πιο ακριβά περιστατικά μιας ενσωμάτωσης ταξιδιών.
Αυτό είναι ένα σχέδιο δοκιμών για τον developer που έχει την ευθύνη αυτής της ενσωμάτωσης: τι μπορεί να αποδείξει ένα sandbox, τι δομικά δεν μπορεί, και πώς καλύπτεται η διαφορά χωρίς να κλείνετε πραγματικές θέσεις με την εταιρική κάρτα.
Γιατί οι δοκιμές travel API σε sandbox περνούν κώδικα που η παραγωγή σπάει
Το sandbox υπόσχεται κάτι για τη μορφή των απαντήσεων, όχι για τη συμπεριφορά τους. Το σχήμα ταιριάζει με την παραγωγή. Η συμπεριφορά σχεδόν ποτέ, και αυτό δεν είναι λάθος κανενός: ένα περιβάλλον δοκιμών δεν μπορεί να τρέχει ζωντανό απόθεμα, οπότε σερβίρει ένα σταθερό σύνολο ναύλων και δωματίων που δεν εξαντλούνται, δεν αλλάζουν τιμή και δεν αλλάζουν ωράριο. Απαντά γρήγορα, επειδή δεν το χρησιμοποιεί κανείς άλλος. Σπάνια αποτυγχάνει στη μέση.
Η παραγωγή κάνει όλα αυτά καθημερινά. Το απόθεμα μοιράζεται με κάθε άλλο πωλητή· οι ναύλοι αποθηκεύονται σε cache κάπου πιο πάνω στην αλυσίδα και παλιώνουν· το σύστημα ενός προμηθευτή υπό φόρτο απαντά αργά ή καθόλου. Κώδικας που έχει δει μόνο sandbox έχει ουσιαστικά δοκιμαστεί μόνο απέναντι σε προμηθευτή που περνάει τέλεια μέρα.
Δείτε λοιπόν το sandbox ως ένα από τρία επίπεδα. Αποδεικνύει ότι τα αιτήματα είναι σωστά δομημένα και ότι ο parser καταλαβαίνει το σχήμα. Τα καταγεγραμμένα fixtures αποδεικνύουν ότι ο κώδικας αντέχει τις απαντήσεις που πραγματικά στέλνει η παραγωγή. Ένα μικρό, σκόπιμο σύνολο ζωντανών ελέγχων αποδεικνύει τη συνδεσμολογία μετά από κάθε αλλαγή. Κάθε επίπεδο πιάνει ό,τι δεν πιάνουν τα άλλα δύο.
Σενάρια που ένα sandbox συνήθως δεν σας δίνει
Γράψτε τα πριν γράψετε έστω και μία δοκιμή. Ένα sandbox μπορεί να προσομοιώνει ένα ή δύο με κάποια «μαγική» τιμή δοκιμής· τα περισσότερα απλώς δεν τα έχει.
| Σενάριο | Τι κάνει η παραγωγή | Πώς το καλύπτετε |
|---|---|---|
| Αλλαγή τιμής ανάμεσα σε αναζήτηση και κράτηση | Η κράτηση πετυχαίνει με άλλο σύνολο ή αποτυγχάνει με σφάλμα αλλαγής τιμής που πρέπει να εμφανίσετε | Ζεύγος fixtures: απάντηση αναζήτησης και απάντηση κράτησης με διαφορετικό σύνολο· έλεγχος ότι ο ταξιδιώτης ερωτάται ξανά και δεν χρεώνεται σιωπηλά |
| Εξάντληση ανάμεσα σε διαθεσιμότητα και κράτηση | Το δωμάτιο ή η κατηγορία ναύλου που προσφέρθηκε δεν υπάρχει πια όταν πάτε να το δεσμεύσετε | Fixture με το πραγματικό σφάλμα εξάντλησης του προμηθευτή· έλεγχος ότι ο ταξιδιώτης επιστρέφει στα αποτελέσματα, όχι σε σελίδα σφάλματος |
| Timeout στην κλήση κράτησης | Ο προμηθευτής μπορεί να δημιούργησε την κράτηση ή μπορεί και όχι | Timeout αφού έχει σταλεί το αίτημα· έλεγχος ότι ρωτάτε την κατάσταση της κράτησης πριν γίνει οποιαδήποτε επανάληψη |
| Διπλή υποβολή | Ένα διπλό κλικ ή ένα retry του client δημιουργεί δύο κρατήσεις | Στείλτε την ίδια κράτηση δύο φορές με το ίδιο idempotency key· έλεγχος ότι υπάρχει ακριβώς μία |
| Αλλαγή ωραρίου μετά την έκδοση εισιτηρίου | Η πτήση που πουλήσατε φεύγει πλέον άλλη ώρα ή με άλλον αριθμό πτήσης | Fixture τροποποιημένου δρομολογίου· έλεγχος ότι η αλλαγή φτάνει σε όποιον έχει τον πελάτη |
| Μερική επιτυχία σε κράτηση πολλών στοιχείων | Η πτήση επιβεβαιώνεται, το ξενοδοχείο όχι | Μικτό fixture· έλεγχος ότι το σύστημα καταγράφει ακριβώς ό,τι επιβεβαιώθηκε και ειδοποιεί άνθρωπο |
| Throttling υπό φόρτο | Απαντήσεις rate limit και μετά αργές απαντήσεις | Επανάληψη καταγεγραμμένης απάντησης throttling· έλεγχος για backoff και ότι η αναζήτηση υποβαθμίζεται αντί να βγάζει σφάλμα |
Μπορεί να διαφωνείτε με την τελευταία στήλη για τη δική σας υποδομή. Εντάξει. Αυτό που μετράει είναι ότι κάθε γραμμή έχει υπεύθυνο και assertion, γιατί κάθε μία θα σας συμβεί κάποια στιγμή.
Fixtures από πραγματικές απαντήσεις, όχι επινοημένες
Η πιο χρήσιμη συνήθεια σε μια ενσωμάτωση ταξιδιών είναι να κρατάτε τις απαντήσεις που σας εξέπληξαν. Τα χειρόγραφα mock δεδομένα δείχνουν τι νομίζετε ότι στέλνει ο προμηθευτής· μια καταγεγραμμένη απάντηση δείχνει τι έστειλε στην πραγματικότητα — μαζί με τα πεδία που έρχονται κενά ενώ η τεκμηρίωση λέει ότι δεν είναι ποτέ, την τιμή σε νόμισμα που δεν ζητήσατε και το σφάλμα που φτάνει με κωδικό επιτυχίας.
Μια ρουτίνα που δουλεύει:
- Καταγραφή στο όριο. Κρατάτε τα ακατέργαστα σώματα αιτημάτων και απαντήσεων των κλήσεων προς προμηθευτές σε περιβάλλον εκτός παραγωγής, και στην παραγωγή για ένα δείγμα της κίνησης, αν το επιτρέπουν οι κανόνες προστασίας δεδομένων.
- Καθαρισμός πριν από τη φύλαξη. Ονόματα επιβατών, αριθμοί διαβατηρίων, email, τηλέφωνα και στοιχεία πληρωμής αφαιρούνται πριν μπει ένα fixture στο repository. Βάλτε προφανώς ψεύτικες τιμές, ώστε κανείς να μη μπερδέψει ένα fixture με πραγματική κράτηση.
- Ονόματα με βάση τη συμπεριφορά. Το
hotel-book-price-increased.jsonλέει στον επόμενο developer γιατί υπάρχει· τοresponse-17.jsonόχι. - Τα άσχημα μένουν για πάντα. Η κακοσχηματισμένη απάντηση που έριξε την αναζήτηση μια Κυριακή είναι το πολυτιμότερο αρχείο σας. Ανήκει σε δοκιμή που τρέχει σε κάθε commit.
Μετά γράψτε contract tests πάνω σε αυτά τα fixtures: για τον parser, για τη χαρτογράφηση στα εσωτερικά μοντέλα, για την ταξινόμηση σφαλμάτων. Αν ο προμηθευτής μετονομάσει ένα πεδίο και αποτύχει ένα contract test, το μαθαίνετε στο CI και όχι από πελάτη. Η ταξινόμηση σφαλμάτων αναλύεται περισσότερο στο άρθρο μας για τη διαχείριση σφαλμάτων στο API μιας μηχανής κρατήσεων.
Δοκιμές στις διαδρομές του χρήματος χωρίς να ξοδεύετε χρήματα
Εδώ το sandbox βοηθά λιγότερο από οπουδήποτε, γιατί ακριβώς στις διαδρομές του χρήματος ένα περιβάλλον δοκιμών διαφέρει από το πραγματικό. Η πραγματική έκδοση εισιτηρίων, η πραγματική χρέωση κάρτας και η πραγματική τιμολόγηση από τον προμηθευτή είναι αυτά που πρέπει να βγουν σωστά περισσότερο απ' όλα και αυτά που λιγότερο μπορείτε να δοκιμάσετε ζωντανά.
Χωρίστε το πρόβλημα. Τα μαθηματικά της τιμολόγησης είναι καθαρή λογική και δοκιμάζονται εξαντλητικά offline: πάρτε καταγεγραμμένους ναύλους, εφαρμόστε τους κανόνες markup, τη μετατροπή νομίσματος και τη στρογγυλοποίηση, και ελέγξτε το σύνολο που βλέπει ο ταξιδιώτης. Κάντε το για τις άβολες περιπτώσεις — ναύλος σε δολάρια που πουλιέται σε ευρώ, markup που είναι ποσοστό σε ένα προϊόν και σταθερό ποσό σε άλλο, παιδικός ναύλος, στρογγυλοποίηση που διαφέρει ανάμεσα σε εμφάνιση και χρέωση. Ένα σύνολο που απέχει λίγα λεπτά του ευρώ είναι και πάλι λάθος, και είναι λάθος σε κάθε κράτηση.
Το δεύτερο μισό είναι οι μεταβάσεις κατάστασης γύρω από την πληρωμή. Μοντελοποιήστε τις ρητά — προσφορά, δέσμευση, πληρωμή, επιβεβαίωση, έκδοση, ακύρωση, επιστροφή — και ελέγξτε ότι κάθε μετάβαση έχει ακριβώς μία αιτία. Η δοκιμή που πιάνει το ακριβότερο bug είναι αυτή που ελέγχει ότι δεν γίνεται χρέωση για κράτηση που ο προμηθευτής δεν έχει επιβεβαιώσει, και ότι επιβεβαιωμένη κράτηση δεν υπάρχει χωρίς εγγραφή πληρωμής.
Τέλος, κάντε αδύνατο να φτάσει ένα τρέξιμο δοκιμών στη ζωντανή έκδοση εισιτηρίων. Όχι απίθανο· αδύνατο. Ένας έλεγχος κατά την εκκίνηση που αρνείται να τρέξει τη σουίτα όταν είναι φορτωμένα διαπιστευτήρια παραγωγής κοστίζει μία γραμμή και αποτρέπει το χειρότερο πρωινό που μπορεί να ζήσει μια ομάδα ενσωμάτωσης.
Τι σας κοστίζει αν το κάνετε λάθος
Ένα σενάριο που ξέφυγε σε ενσωμάτωση ταξιδιών σπάνια εμφανίζεται ως σφάλμα. Εμφανίζεται ως κράτηση που φαίνεται μια χαρά. Ένα διπλό εισιτήριο που δεν ζήτησε κανείς και πρέπει να ακυρωθεί πριν από την προθεσμία void. Ένα ξενοδοχείο επιβεβαιωμένο σε τιμή που πλέον απορροφά το πρακτορείο. Μια κράτηση που έληξε και το σύστημα την ξαναδοκίμασε, οπότε ο προμηθευτής κρατά δύο δωμάτια και τιμολογεί και τα δύο. Για αεροπορικό εισιτήριο που πουλήθηκε μέσω πρακτορείου, μια ασυμφωνία ανάμεσα σε ό,τι εκδόθηκε και ό,τι πουλήθηκε μπορεί να επιστρέψει αργότερα ως ADM, πολύ αφού έχει ξοδευτεί το περιθώριο αυτής της πώλησης.
Αυτά τα κόστη πέφτουν στην επιχείρηση που πούλησε το ταξίδι, όχι στον developer που έγραψε το retry loop. Αυτό είναι όλο το επιχείρημα για να τα δοκιμάσετε πριν από το λανσάρισμα αντί να τα μαθαίνετε ένα ticket υποστήριξης τη φορά.
Τι ελέγχετε μετά από κάθε αλλαγή προμηθευτή
Οι προμηθευτές αλλάζουν πράγματα: νέα έκδοση API, νέο endpoint, νέα διαπιστευτήρια, διαφορετική αντιστοίχιση περιεχομένου. Ο δικός σας κώδικας μπορεί να μην άλλαξε καθόλου. Τρέξτε αυτή τη λίστα ούτως ή άλλως, στο περιβάλλον που μιλά με τον προμηθευτή που άλλαξε:
- Μία αναζήτηση για κάθε προϊόν που πουλάτε από αυτόν τον προμηθευτή, σε διαδρομή ή πόλη που ξέρετε ότι φέρνει αποτελέσματα.
- Αναλύστε κάθε αποτέλεσμα χωρίς να χάνεται κανένα σιωπηλά· συγκρίνετε το πλήθος σας με όσα περιέχει η ακατέργαστη απάντηση.
- Τιμολογήστε ένα αποτέλεσμα από άκρη σε άκρη και συγκρίνετε το σύνολο που εμφανίζεται με τον δικό σας υπολογισμό από τον ακατέργαστο ναύλο.
- Κάντε μια κράτηση στο περιβάλλον δοκιμών, διαβάστε ξανά την κατάστασή της και συγκρίνετε κάθε πεδίο που αποθηκεύετε.
- Ακυρώστε την και επιβεβαιώστε ότι η ακύρωση φαίνεται και στις δικές σας εγγραφές και στην πλευρά του προμηθευτή.
- Περάστε τα αποθηκευμένα «άσχημα» fixtures από τον νέο parser.
- Ελέγξτε ότι τα timeouts και τα rate limits αντιστοιχούν ακόμη στη συμπεριφορά που αποφασίσατε, γιατί μια νέα έκδοση μπορεί να τα απαντά διαφορετικά. Αν άλλαξαν οι χρόνοι απόκρισης, το άρθρο για την καθυστέρηση εξηγεί ποιο κομμάτι είναι δικό σας να διορθώσετε.
Αρκετά σύντομη για να τρέχει κάθε φορά — και αυτό είναι το νόημα. Ένα smoke test που δεν τρέχει κανείς επειδή θέλει μια μέρα δεν είναι smoke test.
Πού ταιριάζει το sandbox
Τίποτα από αυτά δεν κάνει το sandbox λιγότερο χρήσιμο. Το κάνει ειλικρινές: το μέρος όπου μαθαίνετε το σχήμα και επιβεβαιώνετε ότι τα αιτήματα είναι σωστά, πριν αναλάβουν τα fixtures και οι ζωντανοί έλεγχοι όσα εκείνο δεν φτάνει. Αν αξιολογείτε τα API πτήσεων και ξενοδοχείων της πλατφόρμας, η πρόσβαση ξεκινά με μια συζήτηση, όχι με κλειδί self-serve — φέρτε αυτό το σχέδιο δοκιμών σε εκείνη τη συζήτηση και ρωτήστε πώς θα καλυπτόταν κάθε γραμμή του παραπάνω πίνακα. Οι απαντήσεις θα σας πουν περισσότερα για ένα API από την τεκμηρίωσή του.