Latens i travel API: hvad du kan rette, og hvad du ikke kan

Sagen siger ”søgningen er langsom”. Du åbner tracen for en returrejse København–Dubai, og din egen kode er en tynd stribe i starten og en til i slutningen. Alt derimellem er ventetid: på et GDS, på to flyselskaber via NDC, på en hotelaggregator, der svarer, når den har lyst. Latens i travel API er det eneste ydeevneproblem, hvor profileren bliver ved med at pege på kode, du ikke har skrevet og ikke kan deploye. Det ændrer, hvad ”at rette det” betyder, og det meste af den indsats, teams lægger i det, går til den forkerte halvdel.
Hvor latensen i et travel API reelt går hen ved søgning hos flere leverandører
En enkelt flysøgning i en bookingmotor er ikke ét kald. Det er en fan-out. Motoren tager afrejse, destination, datoer og passagersammensætning, bygger en leverandørspecifik forespørgsel for hver kilde, den må spørge på den rute, sender dem alle på én gang og venter så. Hver leverandør har sit eget ur: en GDS-session, der var varm eller ikke var, en NDC-gateway, der genprissætter på flyselskabets side, en bedbank, der selv laver fan-out til channel managers bag sig. Det svar, du kan vise brugeren, er nedadtil begrænset af den langsomste leverandør, du valgte at vente på, ikke af gennemsnittet.
Det er det første, man skal tage til sig. At tilføje en leverandør gør aldrig en komplet søgning hurtigere. Det tilføjer kun endnu en bane, der skal være fri, før hele resultatsættet er ”færdigt”.
Så kommer svarene tilbage, og det arbejde, du faktisk ejer, begynder: parsing af en stor XML- eller JSON-payload pr. leverandør, mapping af deres lufthavns-, flyselskabs- og tarifkoder til dine, deduplikering af den samme rejserute, som tre kilder returnerede til tre priser, anvendelse af avanceregler for den tenant, der spørger, valutaomregning til kroner og sortering. På en travl rute er den fase ikke gratis, og det er det ene sted, hvor en profiler fortæller dig noget, du kan handle på. Vi skrev om hotelsiden af det i design af en klient til hoteltilgængelighed mod langsomme leverandører; flysiden har samme form med flere koder at mappe.
Den ærlige opdeling af en langsom søgning er altså tre spande:
- Leverandørventetid — det længste enkelte leverandørsvar. Den styrer du ikke.
- Din efterbehandling — parse, map, dedupliker, prissæt, sortér. Den styrer du helt.
- Levering — serialisering af det flettede resultat og transport til browseren. Som regel lille, af og til overraskelsen.
Den halvdel, du kan rette, og den halvdel, du bør holde op med at prøve på
Start med den anden spand, for den er din. De sædvanlige fund, i den rækkefølge de plejer at dukke op: et mapping-trin, der slår hver lufthavnskode op i databasen én ad gangen i stedet for at indlæse tabellen én gang; en valutaomregning, der kalder kurstjenesten pr. tarif i stedet for pr. søgning; en dedupliceringsrutine, der sammenligner hver rejserute med hver anden; serialisering, der gennemløber objektgrafen igen for hver tenant. Intet af det er eksotisk. Alt kan rettes på en sprint, og rettelsen holder.
Forbindelseshåndtering er det andet sted, hvor gevinsten er reel. Et nyt TLS-handshake til en leverandør ved hver søgning er ren overhead; en pool af varme forbindelser, holdt i live på tværs af søgninger, fjerner den. GDS-sessioner i særdeleshed er dyre at åbne og billige at genbruge, hvilket er grunden til, at sessionshåndtering er en produktfunktion i den verden og ikke en implementeringsdetalje.
Nu til den halvdel, du skal holde op med at rette. Du kan ikke få en leverandør til at svare hurtigere. Du kan råbe ad din account manager, og nogle gange flyttes en rute til en hurtigere node, men svartiden i en andens system er ikke en variabel i dit deployment. Teams, der glemmer det, bruger kvartaler på at barbere deres egen efterbehandling fra en stribe til en tyndere stribe, mens leverandørventetiden, som var det meste af totalen, ikke har rykket sig. Profileren var ærlig over for dem. De blev bare ved med at optimere den del, den sagde var fin.
Det, du kan gøre ved en langsom leverandør, er at beslutte, hvor længe du er villig til at vente på den, og hvad brugeren ser imens. Hvilket er resten af denne tekst.
Progressiv rendering er det ærlige svar
Hvis det komplette resultatsæt er begrænset af den langsomste leverandør, så er den eneste måde at vise brugeren noget tidligere at holde op med at vente på, at sættet bliver komplet. Vis resultater fra den første leverandør, der svarer. Tilføj den næste leverandørs resultater, når de lander. Lad brugeren begynde at læse, filtrere og sammenligne, mens efternølerne stadig er på vej. Det er progressiv rendering, og det er ikke et trick; det er en nøjagtig gengivelse af, hvad der faktisk sker på serveren.
Det har konsekvenser, der er værd at designe for i stedet for at opdage:
- Sorteringsstabilitet. En liste sorteret efter pris, der sorteres om, hver gang en leverandør lander, flytter den tarif, brugeren var ved at klikke på. Indsæt nye resultater på plads, eller saml dem i batches og lad brugeren hente dem ind, men bland ikke om under markøren.
- ”Billigst” er foreløbigt. Indtil den sidste leverandør er inde, er enhver påstand om laveste pris en påstand om de leverandører, der har svaret. Grænsefladen bør gøre den tilstand synlig i stedet for at foregive fuldstændighed.
- Bookingtrinnet skal tjekke igen. En tarif vist fra et tidligt svar kan være væk, når brugeren klikker. Det gælder også i ikke-progressive designs, men progressiv rendering gør vinduet større. Teksten om bookingintegration dækker re-price-trinnet; det er ikke valgfrit her.
- Caching bliver enklere, ikke sværere. Resultater pr. leverandør kan caches med levetid pr. leverandør. En bedbanks statiske priser kan leve i timer; et NDC-tilbud i minutter. Ét monolitisk flettet resultat tvinger den korteste levetid på alt.
Den API-form, der understøtter dette, er en søgning, der returnerer en identifikator med det samme og lader klienten polle eller abonnere på resultater, efterhånden som de kommer, med hver batch mærket med kilde og et flag, der siger, om søgningen stadig er åben. Platformens egne fly- og hotel-API'er er bygget omkring den form; siden om travel API'er beskriver fladerne, og adgang begynder som en samtale snarere end en selvbetjent nøgle, så tag spørgsmålene med.
Timeouts pr. leverandør, ikke pr. forespørgsel
Én timeout for hele søgningen er den mest almindelige fejl i dette lag, og den er forkert i begge retninger på én gang. Sæt den kort, og en langsom, men værdifuld leverandør bliver skåret fra ved hver søgning, og du holder stille op med at sælge dens lager. Sæt den lang, og én hængende leverandør holder alle resultater som gidsler, inklusive dem, der kom med det samme.
| Beslutning | Én timeout for hele søgningen | Et budget pr. leverandør |
|---|---|---|
| En leverandør hænger | Alle venter, så fejler alle, eller alle skæres fra | Den leverandør droppes fra denne søgning; resten vises |
| En langsom leverandør med gode priser | Enten altid udelukket eller altid med til at sinke siden | Får et længere budget end de hurtige og renderes sent |
| Gentagelse | Hele fan-outen gentages, dobbelt belastning på leverandører, der allerede svarede | Kun den, der fejlede, gentages, hvis det overhovedet er værd at gentage |
| Hvad brugeren ser | Spinner, så alt eller en fejl | Resultater, der fyldes på, og en ”søger stadig”-tilstand, der til sidst lukker |
| Hvad driften ser | ”Søgningen udløb”, uden angivelse af hvilken kilde der forårsagede det | Et timeout-antal pr. leverandør, der kan sættes ved siden af leverandørens navn |
| Justering | Ét tal, der skændes om i al evighed | Ét tal pr. leverandør, sat ud fra den leverandørs egen historik |
Budgettet pr. leverandør er også der, hvor den kommercielle virkelighed bor. En leverandør, hvis priser sjældent vælges, fortjener ikke samme tålmodighed som den, der vinder de fleste af dine bookinger på en rute. En konsolidators nettopriser på en rute Golfen–det indiske subkontinent kan være værd at vente på; en fjerde bedbank, der returnerer de samme hoteller som de tre første, er det ikke. Budgettet er en produktbeslutning udtrykt som et tal, og det bør sættes pr. leverandør, pr. tenant hvis tenants er forskellige, og tages op til revision.
To forfininger, der betaler sig selv. For det første er et budget ikke kun et maksimum; en leverandør, der svarer på en brøkdel af sit budget, men med et tomt sæt, er et andet signal end en, der udløber, og de to bør tælles hver for sig. For det andet hører gentagelser hjemme på leverandørniveau og bør være sjældne. At gentage en søgning mod en leverandør, der lige er udløbet, betyder som regel to søgninger i kø på deres side, hvilket også gør den næste langsommere, og på forbrugsafregnede kontrakter koster det penge.
Hvad der skal måles, så tallet betyder noget
”Gennemsnitlig søgetid” er det tal, alle rapporterer, og det, der fortæller dig mindst. Det blander et cachet hotelopslag med en international fan-out til seks leverandører, det skjuler den leverandør, der er årsagen, og det flytter sig, når trafikmikset flytter sig, snarere end når din kode gør. Erstat det med et lille sæt målinger, der hver især svarer på ét spørgsmål.
- Tid til første resultat, pr. søgning. Det er det, brugeren oplever som hastighed. Det er begrænset af din hurtigste leverandør plus din egen overhead, som er den del, du faktisk kan forbedre.
- Tid til komplet, pr. søgning, med identiteten på den leverandør, der lukkede den. Hvis én leverandør altid er sidst, er det en budgetsamtale, ikke et ingeniørproblem.
- Svartid pr. leverandør, som en fordeling, ikke et gennemsnit, og mærket med rute og tidspunkt på dagen. En leverandør, der er fin om morgenen og langsom om aftenen, ser fin ud i gennemsnit og er det ikke.
- Timeouts som en resultatklasse, talt ved siden af ”returnerede resultater” og ”returnerede tomt”, pr. leverandør. En timeout er et resultat, du ikke fik, og det hører hjemme i samme graf som dem, du fik.
- Din egen efterbehandlingstid, separat. Når den vokser, har du et kodeproblem. Når leverandørventetiden vokser, har du en samtale at tage.
- Søgninger pr. booking, pr. leverandør og pr. tenant. Hver søgning, du sender, koster leverandøren kapacitet, og de fleste kontrakter går op i forholdet. En latensrettelse, der fordobler dit søgevolumen gennem gentagelser, har gjort tallet værre, ikke bedre.
Mål også der, hvor brugeren ser det. En server, der rapporterer hurtige søgninger, mens browseren venter på et langsomt serialiseringstrin, fortæller sandheden og vildleder dig på samme tid.
Hvad det koster dig, når du får det forkert
Den åbenlyse omkostning er den i sagen: en bruger, der venter og så forlader siden. De mindre åbenlyse er kommercielle. Én søgedækkende timeout sat for kort fjerner stille en leverandør fra dine resultater ved hver søgning, og du finder først ud af det, når account manageren spørger, hvorfor bookingerne stoppede. Gentagelse af hele fan-outs fordobler dine søgninger pr. booking, og leverandører, der måler det forhold, svarer ved at drosle dig eller fakturere dig. Omsortering af en progressiv liste under brugerens markør giver fejlklik på den forkerte tarif, som bliver til supportsager og nogle gange refusioner. Og et dashboard baseret på gennemsnit lader alle tre ting ske, mens tallet på det forbliver grønt.
Intet af det løses ved at gøre din kode hurtigere. Det løses ved at beslutte, pr. leverandør, hvor længe du vil vente, vise brugeren det, du har, mens du venter, og måle det, der faktisk rykkede sig. Kodeoptimeringerne er værd at lave. De er bare ikke den del, der var forkert.