Latencia travel API: čo viete opraviť a čo nie

Tiket znie: „vyhľadávanie je pomalé“. Otvoríte trace spiatočného letu Viedeň–Dubaj a váš vlastný kód je tenký prúžok na začiatku a ďalší na konci. Všetko medzi tým je čakanie: na GDS, na dve NDC aerolínie, na hotelový agregátor, ktorý odpovie, keď sa mu zachce. Latencia travel API je jediný výkonnostný problém, pri ktorom profiler stále ukazuje na kód, ktorý ste nenapísali a nemôžete nasadiť. To mení význam slova „opraviť“ a väčšina úsilia, ktoré tímy do toho vkladajú, ide do nesprávnej polovice.
Kam latencia travel API skutočne odchádza pri vyhľadávaní cez viacerých dodávateľov
Jedno vyhľadanie letu v rezervačnom systéme nie je jedna požiadavka. Je to fan-out. Engine vezme odlet, cieľ, dátumy a zloženie cestujúcich, zostaví požiadavku v tvare každého dodávateľa, ktorého smie na danej trase osloviť, pošle ich všetky naraz a potom čaká. Každý dodávateľ má vlastné hodiny: GDS session, ktorá bola alebo nebola nahriata, NDC brána, ktorá práve preceňuje na strane aerolínie, bedbank, ktorý sám rozosiela požiadavky channel manažérom za sebou. Výsledok, ktorý môžete ukázať používateľovi, je zdola ohraničený najpomalším dodávateľom, na ktorého ste sa rozhodli čakať, nie priemerom.
To je prvá vec, ktorú si treba osvojiť. Pridanie dodávateľa nikdy nezrýchli kompletné vyhľadávanie. Len pridá ďalší pruh, ktorý sa musí uvoľniť, kým bude celá sada výsledkov „hotová“.
Potom sa odpovede vrátia a začína práca, ktorá je naozaj vaša: parsovanie veľkého XML alebo JSON payloadu od každého dodávateľa, mapovanie ich kódov letísk, aeroliniek a taríf na vaše, deduplikácia tej istej itinerary, ktorú tri zdroje vrátili za tri ceny, aplikácia markup pravidiel tenanta, ktorý sa pýta, prepočet meny na eurá a zoradenie. Na vyťaženej trase táto fáza nie je zadarmo a je to jediné miesto, kde vám profiler povie niečo, s čím sa dá pracovať. O hotelovej strane sme písali v článku o návrhu klienta pre API dostupnosti hotelov s pomalými dodávateľmi; letecká strana má rovnaký tvar, len viac kódov na mapovanie.
Poctivý rozklad pomalého vyhľadávania sú teda tri koše:
- Čakanie na dodávateľa — najdlhšia odpoveď jedného dodávateľa. Neovládate ju.
- Vaše spracovanie — parsovanie, mapovanie, deduplikácia, oceňovanie, triedenie. Ovládate všetko.
- Doručenie — serializácia zlúčeného výsledku a jeho doručenie do prehliadača. Zvyčajne malé, občas prekvapenie.
Polovica, ktorú viete opraviť, a polovica, ktorú by ste mali prestať opravovať
Začnite druhým košom, lebo ten je váš. Zvyčajné nálezy v poradí, v akom sa objavujú: mapovací krok, ktorý hľadá každý kód letiska v databáze zvlášť namiesto jedného načítania tabuľky; prepočet meny, ktorý volá kurzovú službu per tarifa namiesto per vyhľadávanie; deduplikačná rutina, ktorá porovnáva každú itinerary s každou inou; serializácia, ktorá pre každého tenanta znova prechádza objektový graf. Nič z toho nie je exotické. Všetko sa dá opraviť v jednom šprinte a oprava vydrží.
Správa spojení je druhé miesto, kde je zisk skutočný. Nový TLS handshake s dodávateľom pri každom vyhľadávaní je čistá réžia; pool nahriatych spojení udržiavaných medzi vyhľadávaniami ju odstráni. Najmä GDS sessions sú drahé na otvorenie a lacné na opätovné použitie, preto je správa sessions v tom svete produktová funkcia, nie implementačný detail.
A teraz polovica, ktorú treba prestať opravovať. Dodávateľa nedonútite odpovedať rýchlejšie. Môžete kričať na account manažéra a niekedy sa trasa presunie na rýchlejší uzol, ale čas odozvy cudzieho systému nie je premenná vo vašom nasadení. Tímy, ktoré na to zabudnú, strávia štvrťroky zužovaním vlastného spracovania z prúžku na tenší prúžok, zatiaľ čo čakanie na dodávateľa, ktoré tvorilo väčšinu celku, sa nepohlo. Profiler bol k nim úprimný. Oni ďalej optimalizovali časť, o ktorej povedal, že je v poriadku.
Čo s pomalým dodávateľom urobiť môžete, je rozhodnúť, ako dlho ste naňho ochotní čakať a čo používateľ medzitým vidí. O tom je zvyšok článku.
Progresívne vykresľovanie je poctivá odpoveď
Ak je kompletná sada výsledkov ohraničená najpomalším dodávateľom, jediný spôsob, ako používateľovi niečo ukázať skôr, je prestať čakať na kompletnosť. Ukážte výsledky prvého dodávateľa, ktorý odpovie. Pridajte výsledky ďalšieho, keď prídu. Nechajte používateľa čítať, filtrovať a porovnávať, kým opozdilci ešte letia. To je progresívne vykresľovanie a nie je to trik; je to presný obraz toho, čo sa na serveri naozaj deje.
Má dôsledky, ktoré sa oplatí navrhnúť, nie objaviť:
- Stabilita triedenia. Zoznam zoradený podľa ceny, ktorý sa pretriedi zakaždým, keď pristane dodávateľ, posunie tarifu, na ktorú chcel používateľ práve kliknúť. Vkladajte nové výsledky na miesto alebo ich dávkujte a nechajte používateľa, aby si ich stiahol sám, ale nemiešajte zoznam pod kurzorom.
- „Najlacnejšie“ je predbežné. Kým nepríde posledný dodávateľ, každé tvrdenie o najnižšej cene platí len pre tých, ktorí odpovedali. Rozhranie má tento stav ukázať, nie predstierať úplnosť.
- Rezervačný krok musí znova overiť. Tarifa z včasnej odpovede môže byť preč, kým používateľ klikne. Platí to aj pri neprogresívnych návrhoch, ale progresívne vykresľovanie to okno zväčšuje. Článok o integrácii rezervačného API opisuje krok preceňovania; tu nie je voliteľný.
- Cachovanie je jednoduchšie, nie ťažšie. Výsledky per dodávateľ sa dajú cachovať s vlastnou životnosťou. Statické sadzby bedbanku vydržia hodiny; NDC ponuka minúty. Jeden monolitický zlúčený výsledok vnúti najkratšiu životnosť všetkému.
Tvar API, ktorý to podporuje, je vyhľadávanie, ktoré okamžite vráti identifikátor a nechá klienta pollovať alebo sa prihlásiť na odber výsledkov, ako prichádzajú, pričom každá dávka je označená zdrojom a príznakom, či je vyhľadávanie ešte otvorené. Letecké a hotelové API platformy sú postavené okolo tohto tvaru; stránka travel API opisuje jednotlivé rozhrania a prístup začína rozhovorom, nie samoobslužným kľúčom, takže si prineste otázky.
Timeouty per dodávateľ, nie per požiadavka
Jeden timeout na celé vyhľadávanie je najčastejšia chyba v tejto vrstve a je nesprávny v oboch smeroch naraz. Nastavte ho krátko a pomalý, ale hodnotný dodávateľ je odrezaný pri každom vyhľadávaní a vy potichu prestanete predávať jeho inventár. Nastavte ho dlho a jeden visiaci dodávateľ drží ako rukojemníka všetky výsledky vrátane tých, ktoré prišli okamžite.
| Rozhodnutie | Jeden timeout na celé vyhľadávanie | Rozpočet per dodávateľ |
|---|---|---|
| Jeden dodávateľ visí | Všetci čakajú, potom všetci zlyhajú alebo sú odrezaní | Ten dodávateľ z tohto vyhľadávania vypadne; ostatní sa zobrazia |
| Pomalý dodávateľ s dobrými tarifami | Buď vždy vylúčený, alebo vždy spomaľuje stránku | Dostane dlhší rozpočet než rýchli a vykreslí sa neskôr |
| Opakovanie | Zopakuje sa celý fan-out, dvojnásobná záťaž na dodávateľov, ktorí už odpovedali | Zopakuje sa len ten, ktorý zlyhal, ak sa to vôbec oplatí |
| Čo vidí používateľ | Spinner, potom všetko alebo chyba | Výsledky sa plnia a stav „ešte hľadám“, ktorý sa nakoniec zavrie |
| Čo vidí prevádzka | „Vyhľadávanie vypršalo“ bez informácie, ktorý zdroj to spôsobil | Počet timeoutov per dodávateľ, ktorý sa dá položiť vedľa jeho mena |
| Ladenie | Jedno číslo, o ktorom sa háda donekonečna | Jedno číslo per dodávateľ, odvodené z jeho vlastnej histórie |
Rozpočet per dodávateľ je zároveň miesto, kde žije obchodná realita. Dodávateľ, ktorého tarify si zákazníci volia zriedka, si nezaslúži rovnakú trpezlivosť ako ten, ktorý na trase vyhráva väčšinu vašich rezervácií. Net tarify konsolidátora na trase zo strednej Európy do Zálivu môžu stáť za čakanie; štvrtý bedbank vracajúci tie isté hotely ako prvé tri nie. Rozpočet je produktové rozhodnutie vyjadrené číslom a má sa nastaviť per dodávateľ, per tenant, ak sa tenanti líšia, a pravidelne revidovať.
Dve vylepšenia, ktoré sa samy zaplatia. Po prvé, rozpočet nie je len maximum; dodávateľ, ktorý odpovie v zlomku svojho rozpočtu, ale s prázdnou sadou, je iný signál než ten, ktorému vypršal čas, a treba ich počítať oddelene. Po druhé, opakovania patria na úroveň dodávateľa a majú byť zriedkavé. Opakovanie vyhľadávania u dodávateľa, ktorému práve vypršal čas, zvyčajne znamená dve vyhľadávania v jeho fronte, čo spomalí aj to ďalšie, a pri meraných zmluvách to stojí peniaze.
Čo merať, aby číslo niečo znamenalo
„Priemerný čas vyhľadávania“ je číslo, ktoré hlásia všetci a ktoré hovorí najmenej. Zmieša cachované hotelové vyhľadanie s medzinárodným fan-outom na šiestich dodávateľov, skryje dodávateľa, ktorý je príčinou, a hýbe sa, keď sa zmení mix návštevnosti, nie keď sa zmení váš kód. Nahraďte ho malou sadou meraní, z ktorých každé odpovedá na jednu otázku.
- Čas do prvého výsledku, per vyhľadávanie. To používateľ vníma ako rýchlosť. Je ohraničený vaším najrýchlejším dodávateľom plus vašou réžiou, čo je časť, ktorú naozaj viete zlepšiť.
- Čas do dokončenia, per vyhľadávanie, s identitou dodávateľa, ktorý ho uzavrel. Ak je jeden dodávateľ vždy posledný, je to rozhovor o rozpočte, nie inžiniersky problém.
- Čas odozvy per dodávateľ ako distribúcia, nie priemer, označený trasou a dennou dobou. Dodávateľ, ktorý je ráno v poriadku a večer pomalý, vyzerá na priemere dobre a nie je.
- Timeouty ako trieda výsledku, počítané vedľa „vrátil výsledky“ a „vrátil prázdne“, per dodávateľ. Timeout je výsledok, ktorý ste nedostali, a patrí do toho istého grafu ako tie, ktoré ste dostali.
- Váš vlastný čas spracovania, samostatne. Keď rastie, máte problém v kóde. Keď rastie čakanie na dodávateľa, máte rozhovor.
- Vyhľadávania na rezerváciu, per dodávateľ a per tenant. Každé vyhľadávanie, ktoré pošlete, stojí dodávateľa kapacitu a väčšine zmlúv na tomto pomere záleží. Oprava latencie, ktorá cez opakovania zdvojnásobí objem vyhľadávaní, číslo zhoršila, nie zlepšila.
Merajte aj v bode, kde to používateľ vidí. Server, ktorý hlási rýchle vyhľadávania, zatiaľ čo prehliadač čaká na pomalý serializačný krok, hovorí pravdu a zároveň vás zavádza.
Čo vás to stojí, keď to urobíte zle
Zjavný náklad je ten v tikete: používateľ, ktorý čaká a odíde. Tie menej zjavné sú obchodné. Jeden timeout na celé vyhľadávanie nastavený prikrátko potichu odstráni dodávateľa z výsledkov pri každom vyhľadávaní a dozviete sa to, až keď sa account manažér spýta, prečo sa zastavili rezervácie. Opakovanie celých fan-outov zdvojnásobí váš pomer vyhľadávaní na rezerváciu a dodávatelia, ktorí ten pomer merajú, reagujú škrtením alebo faktúrou. Pretriedenie progresívneho zoznamu pod kurzorom používateľa vedie ku kliknutiam na nesprávnu tarifu, z ktorých sa stanú tikety podpory a občas refundácie. A dashboard postavený na priemere nechá všetky tri veci stať sa, zatiaľ čo jeho číslo zostáva zelené.
Nič z toho sa nevyrieši zrýchlením vášho kódu. Rieši sa to rozhodnutím, per dodávateľ, ako dlho budete čakať, ukázaním toho, čo máte, kým čakáte, a meraním toho, čo sa naozaj pohlo. Zrýchlenia kódu sa oplatia. Len to nie je tá časť, ktorá bola zle.