Καθυστέρηση travel API: τι διορθώνετε και τι όχι

Το ticket λέει «η αναζήτηση είναι αργή». Ανοίγετε το trace για ένα δρομολόγιο Αθήνα–Ντουμπάι με επιστροφή και ο δικός σας κώδικας είναι μια λεπτή λωρίδα στην αρχή και άλλη μία στο τέλος. Όλα τα ενδιάμεσα είναι αναμονή: σε ένα GDS, σε δύο αεροπορικές μέσω NDC, σε έναν aggregator ξενοδοχείων που απαντά όποτε του καπνίσει. Η καθυστέρηση travel API είναι το μοναδικό πρόβλημα απόδοσης όπου ο profiler δείχνει επίμονα κώδικα που δεν γράψατε και δεν μπορείτε να κάνετε deploy. Αυτό αλλάζει το τι σημαίνει «διόρθωση», και η περισσότερη προσπάθεια που ξοδεύουν οι ομάδες πάει στο λάθος μισό.
Πού πηγαίνει πραγματικά η καθυστέρηση travel API σε μια αναζήτηση πολλών προμηθευτών
Μία αναζήτηση πτήσης σε μια μηχανή κρατήσεων δεν είναι ένα αίτημα. Είναι ένα fan-out. Η μηχανή παίρνει την προέλευση, τον προορισμό, τις ημερομηνίες και τη σύνθεση επιβατών, χτίζει ένα αίτημα ειδικό για κάθε πηγή που επιτρέπεται να ρωτήσει για αυτό το δρομολόγιο, τα στέλνει όλα μαζί, και μετά περιμένει. Κάθε προμηθευτής έχει το δικό του ρολόι: μια συνεδρία GDS που ήταν ζεστή ή δεν ήταν, μια πύλη NDC που κάνει re-pricing από την πλευρά της αεροπορικής, ένα bedbank που κάνει το δικό του fan-out προς channel managers πίσω του. Η απάντηση που μπορείτε να δείξετε στον χρήστη έχει ως κάτω όριο τον πιο αργό προμηθευτή που επιλέξατε να περιμένετε, όχι τον μέσο όρο.
Αυτό είναι το πρώτο που πρέπει να εμπεδώσετε. Η προσθήκη ενός προμηθευτή δεν κάνει ποτέ μια πλήρη αναζήτηση πιο γρήγορη. Προσθέτει μόνο μία ακόμη λωρίδα που πρέπει να αδειάσει πριν ολόκληρο το σύνολο αποτελεσμάτων θεωρηθεί «έτοιμο».
Έπειτα έρχονται οι απαντήσεις και ξεκινά η δουλειά που όντως σας ανήκει: parsing ενός μεγάλου XML ή JSON ανά προμηθευτή, αντιστοίχιση των κωδικών αεροδρομίων, αεροπορικών και ναύλων τους στους δικούς σας, αφαίρεση διπλότυπων για το ίδιο δρομολόγιο που τρεις πηγές επέστρεψαν σε τρεις τιμές, εφαρμογή των κανόνων markup για όποιον tenant ρωτά, μετατροπή νομίσματος σε ευρώ, και ταξινόμηση. Σε ένα πολυσύχναστο δρομολόγιο αυτή η φάση δεν είναι δωρεάν, και είναι το μόνο σημείο όπου ο profiler θα σας πει κάτι που μπορείτε να κάνετε. Γράψαμε για την πλευρά των ξενοδοχείων στο σχεδιασμός client διαθεσιμότητας ξενοδοχείων για αργούς προμηθευτές· η πλευρά των πτήσεων έχει το ίδιο σχήμα με περισσότερους κωδικούς προς αντιστοίχιση.
Άρα η ειλικρινής ανάλυση μιας αργής αναζήτησης είναι τρεις κάδοι:
- Αναμονή προμηθευτή — η μεγαλύτερη μεμονωμένη απόκριση προμηθευτή. Δεν την ελέγχετε.
- Η δική σας μετεπεξεργασία — parse, αντιστοίχιση, dedupe, τιμολόγηση, ταξινόμηση. Την ελέγχετε ολόκληρη.
- Παράδοση — σειριοποίηση του συγχωνευμένου αποτελέσματος και μεταφορά του στον browser. Συνήθως μικρή, περιστασιακά η έκπληξη.
Το μισό που διορθώνετε, και το μισό που πρέπει να σταματήσετε να προσπαθείτε
Ξεκινήστε από τον δεύτερο κάδο, γιατί είναι δικός σας. Τα συνηθισμένα ευρήματα, με τη σειρά που τείνουν να εμφανίζονται: ένα βήμα αντιστοίχισης που αναζητά κάθε κωδικό αεροδρομίου στη βάση έναν-έναν αντί να φορτώσει τον πίνακα μία φορά· μια μετατροπή νομίσματος που καλεί την υπηρεσία ισοτιμιών ανά ναύλο αντί ανά αναζήτηση· μια ρουτίνα dedupe που συγκρίνει κάθε δρομολόγιο με κάθε άλλο· σειριοποίηση που ξαναδιατρέχει τον γράφο αντικειμένων για κάθε tenant. Τίποτα από αυτά δεν είναι εξωτικό. Όλα διορθώνονται μέσα σε ένα sprint, και η διόρθωση μένει.
Η διαχείριση συνδέσεων είναι το άλλο σημείο όπου το κέρδος είναι πραγματικό. Μια νέα χειραψία TLS προς τον προμηθευτή σε κάθε αναζήτηση είναι καθαρό overhead· ένα pool ζεστών συνδέσεων, που κρατιούνται ζωντανές μεταξύ αναζητήσεων, το εξαφανίζει. Οι συνεδρίες GDS ειδικά είναι ακριβές στο άνοιγμα και φθηνές στην επαναχρησιμοποίηση, γι᾽ αυτό και η διαχείριση συνεδριών είναι χαρακτηριστικό προϊόντος σε εκείνον τον κόσμο και όχι λεπτομέρεια υλοποίησης.
Τώρα το μισό που πρέπει να σταματήσετε να διορθώνετε. Δεν μπορείτε να κάνετε έναν προμηθευτή να απαντά πιο γρήγορα. Μπορείτε να φωνάξετε στον account manager, και καμιά φορά ένα δρομολόγιο μετακινείται σε πιο γρήγορο κόμβο, αλλά ο χρόνος απόκρισης του συστήματος κάποιου άλλου δεν είναι μεταβλητή του δικού σας deployment. Ομάδες που το ξεχνούν ξοδεύουν τρίμηνα ροκανίζοντας τη δική τους μετεπεξεργασία από λωρίδα σε λεπτότερη λωρίδα, ενώ η αναμονή προμηθευτή, που ήταν το μεγαλύτερο μέρος του συνόλου, δεν έχει κουνηθεί. Ο profiler ήταν ειλικρινής μαζί τους. Απλώς συνέχισαν να βελτιστοποιούν το κομμάτι που τους είπε ότι ήταν εντάξει.
Αυτό που μπορείτε να κάνετε για έναν αργό προμηθευτή είναι να αποφασίσετε πόσο είστε διατεθειμένοι να τον περιμένετε, και τι βλέπει ο χρήστης όσο περιμένετε. Που είναι το υπόλοιπο αυτού του κειμένου.
Η προοδευτική απόδοση είναι η ειλικρινής απάντηση
Αν το πλήρες σύνολο αποτελεσμάτων οριοθετείται από τον πιο αργό προμηθευτή, τότε ο μόνος τρόπος να δείξετε κάτι στον χρήστη νωρίτερα είναι να πάψετε να περιμένετε το σύνολο να ολοκληρωθεί. Δείξτε αποτελέσματα από τον πρώτο προμηθευτή που απαντά. Προσθέστε τα αποτελέσματα του επόμενου όταν φτάσουν. Αφήστε τον χρήστη να αρχίσει να διαβάζει, να φιλτράρει και να συγκρίνει όσο οι αργοπορημένοι είναι ακόμη στον αέρα. Αυτό είναι η προοδευτική απόδοση, και δεν είναι κόλπο· είναι ακριβής αναπαράσταση του τι πραγματικά συμβαίνει στον server.
Έχει συνέπειες που αξίζει να σχεδιαστούν αντί να ανακαλυφθούν:
- Σταθερότητα ταξινόμησης. Μια λίστα ταξινομημένη κατά τιμή που ξαναταξινομείται κάθε φορά που φτάνει προμηθευτής θα μετακινήσει τον ναύλο που ο χρήστης ετοιμαζόταν να πατήσει. Εισάγετε τα νέα αποτελέσματα στη θέση τους, ή ομαδοποιήστε τα και αφήστε τον χρήστη να τα τραβήξει, αλλά μην ανακατεύετε κάτω από τον κέρσορα.
- Το «φθηνότερο» είναι προσωρινό. Μέχρι να μπει ο τελευταίος προμηθευτής, κάθε ισχυρισμός για χαμηλότερο ναύλο αφορά τους προμηθευτές που έχουν απαντήσει. Το interface πρέπει να κάνει αυτή την κατάσταση ορατή αντί να προσποιείται πληρότητα.
- Το βήμα κράτησης πρέπει να ξαναελέγχει. Ένας ναύλος που εμφανίστηκε από πρώιμη απάντηση μπορεί να έχει φύγει όταν ο χρήστης πατήσει. Αυτό ισχύει και σε μη προοδευτικά σχέδια, αλλά η προοδευτική απόδοση μεγαλώνει το παράθυρο. Το κείμενο για την ενσωμάτωση κρατήσεων καλύπτει το βήμα re-price· εδώ δεν είναι προαιρετικό.
- Το caching γίνεται απλούστερο, όχι δυσκολότερο. Τα αποτελέσματα ανά προμηθευτή μπορούν να αποθηκευτούν με διάρκεια ανά προμηθευτή. Οι στατικές τιμές ενός bedbank ζουν ώρες· μια προσφορά NDC, λεπτά. Ένα μονολιθικό συγχωνευμένο αποτέλεσμα επιβάλλει τη συντομότερη διάρκεια σε όλα.
Το σχήμα API που το υποστηρίζει είναι μια αναζήτηση που επιστρέφει αμέσως ένα αναγνωριστικό και αφήνει τον client να κάνει poll ή subscribe για αποτελέσματα καθώς φτάνουν, με κάθε παρτίδα σημασμένη με την πηγή της και μια σημαία που λέει αν η αναζήτηση είναι ακόμη ανοιχτή. Τα ίδια τα API πτήσεων και ξενοδοχείων της πλατφόρμας είναι χτισμένα γύρω από αυτό το σχήμα· η σελίδα των travel API περιγράφει τις επιφάνειες, και η πρόσβαση ξεκινά ως συζήτηση και όχι ως self-serve κλειδί, οπότε φέρτε τις ερωτήσεις σας.
Timeouts ανά προμηθευτή, όχι ανά αίτημα
Ένα timeout για ολόκληρη την αναζήτηση είναι το συχνότερο λάθος σε αυτό το επίπεδο, και είναι λάθος προς δύο κατευθύνσεις ταυτόχρονα. Βάλτε το μικρό, και ένας αργός αλλά πολύτιμος προμηθευτής κόβεται σε κάθε αναζήτηση και σιωπηλά παύετε να πουλάτε το απόθεμά του. Βάλτε το μεγάλο, και ένας προμηθευτής που κρεμάει κρατά όμηρο κάθε αποτέλεσμα, συμπεριλαμβανομένων αυτών που έφτασαν αμέσως.
| Απόφαση | Ένα timeout για όλη την αναζήτηση | Προϋπολογισμός ανά προμηθευτή |
|---|---|---|
| Ένας προμηθευτής κρεμάει | Όλοι περιμένουν, μετά όλοι αποτυγχάνουν ή όλοι κόβονται | Αυτός ο προμηθευτής αφαιρείται από αυτή την αναζήτηση· οι υπόλοιποι εμφανίζονται |
| Αργός προμηθευτής με καλούς ναύλους | Είτε πάντα αποκλεισμένος είτε πάντα επιβραδύνει τη σελίδα | Παίρνει μεγαλύτερο προϋπολογισμό από τους γρήγορους, και αποδίδεται αργά |
| Επανάληψη | Επανάληψη όλου του fan-out, διπλασιάζοντας το φορτίο σε προμηθευτές που ήδη απάντησαν | Επανάληψη μόνο αυτού που απέτυχε, αν αξίζει καν |
| Τι βλέπει ο χρήστης | Spinner, μετά όλα ή σφάλμα | Αποτελέσματα που γεμίζουν, και μια κατάσταση «ακόμη ψάχνουμε» που κάποτε κλείνει |
| Τι βλέπει το operations | «Η αναζήτηση έληξε», χωρίς ένδειξη ποια πηγή το προκάλεσε | Μετρητής timeout ανά προμηθευτή, δίπλα στο όνομά του |
| Ρύθμιση | Ένας αριθμός για τον οποίο διαφωνούν για πάντα | Ένας αριθμός ανά προμηθευτή, από το δικό του ιστορικό |
Ο προϋπολογισμός ανά προμηθευτή είναι επίσης εκεί που ζει η εμπορική πραγματικότητα. Ένας προμηθευτής του οποίου οι ναύλοι σπάνια επιλέγονται δεν αξίζει την ίδια υπομονή με εκείνον που κερδίζει τις περισσότερες κρατήσεις σας σε ένα δρομολόγιο. Οι καθαροί ναύλοι ενός consolidator σε ένα δρομολόγιο Κόλπου–Ινδικής υποηπείρου μπορεί να αξίζουν την αναμονή· ένα τέταρτο bedbank που επιστρέφει τα ίδια ξενοδοχεία με τα τρία πρώτα, όχι. Ο προϋπολογισμός είναι απόφαση προϊόντος εκφρασμένη ως αριθμός, και πρέπει να ορίζεται ανά προμηθευτή, ανά tenant αν οι tenants διαφέρουν, και να αναθεωρείται.
Δύο βελτιώσεις που αποσβένονται μόνες τους. Πρώτον, ο προϋπολογισμός δεν είναι μόνο μέγιστο· ένας προμηθευτής που επιστρέφει σε κλάσμα του προϋπολογισμού του αλλά με κενό σύνολο είναι διαφορετικό σήμα από έναν που λήγει, και τα δύο πρέπει να μετρούνται χωριστά. Δεύτερον, οι επαναλήψεις ανήκουν στο επίπεδο προμηθευτή και πρέπει να είναι σπάνιες. Η επανάληψη αναζήτησης προς προμηθευτή που μόλις έληξε συνήθως σημαίνει δύο αναζητήσεις στην ουρά από την πλευρά του, που κάνει και την επόμενη πιο αργή, και σε συμβόλαια με χρέωση ανά αίτημα κοστίζει χρήματα.
Τι να μετράτε ώστε ο αριθμός να σημαίνει κάτι
Ο «μέσος χρόνος αναζήτησης» είναι ο αριθμός που όλοι αναφέρουν και αυτός που σας λέει τα λιγότερα. Ανακατεύει μια cached αναζήτηση ξενοδοχείου με ένα διεθνές fan-out έξι προμηθευτών, κρύβει τον προμηθευτή που είναι η αιτία, και κινείται όταν αλλάζει το μείγμα κίνησης και όχι όταν αλλάζει ο κώδικάς σας. Αντικαταστήστε τον με ένα μικρό σύνολο μετρήσεων που η καθεμία απαντά σε μία ερώτηση.
- Χρόνος μέχρι το πρώτο αποτέλεσμα, ανά αναζήτηση. Αυτό βιώνει ο χρήστης ως ταχύτητα. Οριοθετείται από τον ταχύτερο προμηθευτή σας συν το δικό σας overhead, που είναι το κομμάτι που όντως μπορείτε να βελτιώσετε.
- Χρόνος μέχρι την ολοκλήρωση, ανά αναζήτηση, με την ταυτότητα του προμηθευτή που την έκλεισε. Αν ένας προμηθευτής είναι πάντα τελευταίος, αυτό είναι συζήτηση προϋπολογισμού, όχι μηχανικής.
- Χρόνος απόκρισης ανά προμηθευτή, ως κατανομή, όχι μέσος όρος, με ετικέτα δρομολογίου και ώρας ημέρας. Ένας προμηθευτής που είναι εντάξει το πρωί και αργός το βράδυ φαίνεται εντάξει στον μέσο όρο και δεν είναι.
- Τα timeouts ως κατηγορία αποτελέσματος, μετρημένα δίπλα στο «επέστρεψε αποτελέσματα» και «επέστρεψε κενό», ανά προμηθευτή. Ένα timeout είναι αποτέλεσμα που δεν πήρατε, και ανήκει στο ίδιο γράφημα με αυτά που πήρατε.
- Ο δικός σας χρόνος μετεπεξεργασίας, χωριστά. Όταν αυτός μεγαλώνει, έχετε πρόβλημα κώδικα. Όταν μεγαλώνει η αναμονή προμηθευτή, έχετε μια συζήτηση.
- Αναζητήσεις ανά κράτηση, ανά προμηθευτή και ανά tenant. Κάθε αναζήτηση που στέλνετε κοστίζει στον προμηθευτή χωρητικότητα, και τα περισσότερα συμβόλαια νοιάζονται για την αναλογία. Μια διόρθωση καθυστέρησης που διπλασιάζει τον όγκο αναζητήσεων μέσω επαναλήψεων έχει χειροτερέψει τον αριθμό, όχι βελτιώσει.
Μετρήστε και στο σημείο όπου το βλέπει ο χρήστης. Ένας server που αναφέρει γρήγορες αναζητήσεις ενώ ο browser περιμένει σε ένα αργό βήμα σειριοποίησης λέει την αλήθεια και σας παραπλανά ταυτόχρονα.
Τι σας κοστίζει όταν το κάνετε λάθος
Το προφανές κόστος είναι αυτό στο ticket: ένας χρήστης που περιμένει και μετά φεύγει. Τα λιγότερο προφανή είναι εμπορικά. Ένα ενιαίο timeout αναζήτησης ρυθμισμένο πολύ μικρό αφαιρεί σιωπηλά έναν προμηθευτή από τα αποτελέσματά σας σε κάθε αναζήτηση, και το μαθαίνετε μόνο όταν ο account manager ρωτήσει γιατί σταμάτησαν οι κρατήσεις. Η επανάληψη ολόκληρων fan-out διπλασιάζει τις αναζητήσεις ανά κράτηση, και οι προμηθευτές που μετρούν αυτή την αναλογία απαντούν με throttling ή με τιμολόγιο. Η αναταξινόμηση μιας προοδευτικής λίστας κάτω από τον κέρσορα του χρήστη παράγει λάθος κλικ σε λάθος ναύλο, που γίνονται tickets υποστήριξης και καμιά φορά επιστροφές χρημάτων. Και ένα dashboard βασισμένο σε μέσους όρους αφήνει και τα τρία να συμβούν ενώ ο αριθμός του μένει πράσινος.
Τίποτα από αυτά δεν λύνεται κάνοντας τον κώδικά σας πιο γρήγορο. Λύνονται αποφασίζοντας, ανά προμηθευτή, πόσο θα περιμένετε, δείχνοντας στον χρήστη ό,τι έχετε όσο περιμένετε, και μετρώντας αυτό που όντως κουνήθηκε. Οι επιταχύνσεις κώδικα αξίζουν να γίνουν. Απλώς δεν είναι το κομμάτι που ήταν λάθος.