Латентност на travel API: какво можете да поправите и какво не

Тикетът гласи „търсенето е бавно“. Отваряте trace за двупосочен полет София–Дубай и собственият ви код е тънка ивица в началото и още една в края. Всичко между тях е чакане: на GDS, на две авиокомпании през NDC, на хотелски агрегатор, който отговаря когато му скимне. Латентността на travel API е единственият проблем с производителността, при който профайлърът упорито сочи код, който не сте писали и не можете да деплойнете. Това променя какво значи „да го поправиш“, и повечето усилия, които екипите влагат, отиват в грешната половина.
Къде всъщност отива латентността на travel API при търсене с няколко доставчика
Едно търсене на полет в резервационна система не е една заявка. То е fan-out. Системата взема отправната точка, дестинацията, датите и състава на пътниците, изгражда специфична заявка за всеки източник, който има право да пита по този маршрут, изпраща всички наведнъж и после чака. Всеки доставчик има собствен часовник: GDS сесия, която е била затоплена или не, NDC шлюз, който преоценява от страната на авиокомпанията, bedbank, която сама прави fan-out към channel manager-и зад себе си. Отговорът, който можете да покажете на потребителя, е ограничен отдолу от най-бавния доставчик, когото сте избрали да чакате, не от средното.
Това е първото, което трябва да се осъзнае. Добавянето на доставчик никога не прави пълното търсене по-бързо. То само добавя още една лента, която трябва да се освободи, преди целият набор резултати да е „готов“.
После отговорите се връщат и започва работата, която наистина е ваша: парсване на голям XML или JSON за всеки доставчик, съпоставяне на техните кодове за летища, авиокомпании и тарифи с вашите, премахване на дублирания за един и същ маршрут, който три източника са върнали на три цени, прилагане на правилата за надценка за tenant-а, който пита, конвертиране на валута в левове или евро и сортиране. По натоварен маршрут тази фаза не е безплатна и е единственото място, където профайлърът ще ви каже нещо полезно. За хотелската страна писахме в проектиране на клиент за хотелска наличност при бавни доставчици; страната на полетите има същата форма с повече кодове за съпоставяне.
Честната разбивка на едно бавно търсене са три кофи:
- Чакане на доставчик — най-дългият единичен отговор на доставчик. Не го контролирате.
- Вашата последваща обработка — парсване, съпоставяне, дедупликация, ценообразуване, сортиране. Контролирате я изцяло.
- Доставка — сериализиране на обединения резултат и пренасянето му до браузъра. Обикновено малка, понякога изненадата.
Половината, която можете да поправите, и половината, която трябва да спрете да опитвате
Започнете с втората кофа, защото е ваша. Обичайните находки, в реда, в който обикновено се появяват: стъпка на съпоставяне, която търси всеки код на летище в базата данни един по един, вместо да зареди таблицата веднъж; конвертиране на валута, което вика услугата за курсове за всяка тарифа вместо за всяко търсене; рутина за дедупликация, която сравнява всеки маршрут с всеки друг; сериализация, която обхожда отново графа от обекти за всеки tenant. Нищо от това не е екзотично. Всичко се поправя за един спринт и поправката остава.
Управлението на връзките е другото място, където печалбата е реална. Ново TLS ръкостискане към доставчик при всяко търсене е чист overhead; pool от топли връзки, поддържани живи между търсенията, го премахва. GDS сесиите в частност са скъпи за отваряне и евтини за повторна употреба, затова управлението на сесии е продуктова функция в онзи свят, а не детайл от имплементацията.
Сега половината, която да спрете да поправяте. Не можете да накарате доставчик да отговаря по-бързо. Можете да викате на account manager-а си и понякога маршрут се премества на по-бърз възел, но времето за отговор на чужда система не е променлива във вашия деплоймент. Екипите, които забравят това, прекарват тримесечия в бръснене на собствената си обработка от ивица до по-тънка ивица, докато чакането на доставчика, което беше по-голямата част от общото, не е мръднало. Профайлърът беше честен с тях. Те просто продължиха да оптимизират частта, за която той каза, че е наред.
Това, което можете да направите за бавен доставчик, е да решите колко сте готови да го чакате и какво вижда потребителят междувременно. Което е останалата част от този текст.
Прогресивното показване е честният отговор
Ако пълният набор резултати е ограничен от най-бавния доставчик, тогава единственият начин да покажете нещо на потребителя по-рано е да спрете да чакате наборът да се допълни. Покажете резултатите от първия доставчик, който отговори. Добавете резултатите на следващия, когато пристигнат. Оставете потребителя да чете, филтрира и сравнява, докато изоставащите още са в движение. Това е прогресивно показване и не е трик; то е точно представяне на това, което наистина се случва на сървъра.
Има последствия, които си струва да се проектират, а не да се откриват:
- Стабилност на сортирането. Списък, сортиран по цена, който се пренарежда всеки път, когато пристигне доставчик, ще премести тарифата, която потребителят се канеше да кликне. Вмъквайте новите резултати на място или ги групирайте и оставете потребителя да ги изтегли, но не разбърквайте под курсора.
- „Най-евтино“ е временно. Докато последният доставчик не е вътре, всяко твърдение за най-ниска тарифа е твърдение за доставчиците, които са отговорили. Интерфейсът трябва да прави това състояние видимо, вместо да се преструва на пълнота.
- Стъпката на резервация трябва да проверява отново. Тарифа, показана от ранен отговор, може да е изчезнала, докато потребителят кликне. Това важи и за непрогресивни дизайни, но прогресивното показване разширява прозореца. Текстът за интеграцията на резервации покрива стъпката re-price; тук тя не е по избор.
- Кеширането става по-просто, не по-трудно. Резултатите по доставчик могат да се кешират с живот по доставчик. Статичните цени на една bedbank могат да живеят часове; NDC оферта — минути. Един монолитен обединен резултат налага най-краткия живот върху всичко.
Формата на API, която поддържа това, е търсене, което връща идентификатор веднага и оставя клиента да прави poll или да се абонира за резултати, докато пристигат, като всяка партида е маркирана с източник и флаг дали търсенето още е отворено. Собствените API за полети и хотели на платформата са изградени около тази форма; страницата за travel API описва повърхностите, а достъпът започва като разговор, а не като самообслужващ се ключ, така че носете въпросите.
Таймаути по доставчик, не по заявка
Един таймаут за цялото търсене е най-честата грешка в този слой и е грешна в двете посоки едновременно. Задайте го кратък и бавен, но ценен доставчик бива отрязан при всяко търсене и тихо спирате да продавате инвентара му. Задайте го дълъг и един увиснал доставчик държи заложник всеки резултат, включително тези, които са пристигнали веднага.
| Решение | Един таймаут за цялото търсене | Бюджет по доставчик |
|---|---|---|
| Един доставчик увисва | Всички чакат, после всички се провалят или всички биват отрязани | Този доставчик отпада от това търсене; останалите се показват |
| Бавен доставчик с добри тарифи | Или винаги изключен, или винаги забавя страницата | Получава по-дълъг бюджет от бързите и се показва късно |
| Повторен опит | Повтаря се целият fan-out, двойно натоварване на доставчици, които вече са отговорили | Повтаря се само провалилият се, ако изобщо си струва |
| Какво вижда потребителят | Spinner, после всичко или грешка | Резултати, които се пълнят, и състояние „още търсим“, което накрая се затваря |
| Какво вижда операциите | „Търсенето изтече“, без указание кой източник го е причинил | Брояч на таймаути по доставчик, който може да стои до името му |
| Настройка | Едно число, за което се спори вечно | Едно число по доставчик, извлечено от собствената му история |
Бюджетът по доставчик е и мястото, където живее търговската реалност. Доставчик, чиито тарифи рядко се избират, не заслужава същото търпение като онзи, който печели повечето ви резервации по даден маршрут. Нетните тарифи на консолидатор по маршрут Залива–Индийски субконтинент може да си струват чакането; четвърта bedbank, връщаща същите хотели като първите три — не. Бюджетът е продуктово решение, изразено като число, и трябва да се задава по доставчик, по tenant, ако tenant-ите се различават, и да се преразглежда.
Две уточнения, които сами се изплащат. Първо, бюджетът не е само максимум; доставчик, който се връща за част от бюджета си, но с празен набор, е различен сигнал от онзи, който изтича, и двата трябва да се броят отделно. Второ, повторните опити принадлежат на ниво доставчик и трябва да са редки. Повторно търсене към доставчик, който току-що е изтекъл, обикновено означава две търсения на опашка от тяхна страна, което забавя и следващото, а при договори с отчитане струва пари.
Какво да измервате, за да значи нещо числото
„Средно време за търсене“ е числото, което всички отчитат и което казва най-малко. То смесва кеширано търсене на хотел с международен fan-out към шест доставчика, крие доставчика, който е причината, и се движи, когато се движи миксът на трафика, а не когато се променя кодът ви. Заменете го с малък набор измервания, всяко от които отговаря на един въпрос.
- Време до първия резултат, на търсене. Това потребителят усеща като скорост. Ограничено е от най-бързия ви доставчик плюс собствения ви overhead, което е частта, която наистина можете да подобрите.
- Време до завършване, на търсене, с идентичността на доставчика, който го е затворил. Ако един доставчик винаги е последен, това е разговор за бюджет, не инженерен проблем.
- Време за отговор по доставчик, като разпределение, не средно, с маркер за маршрут и час на деня. Доставчик, който е наред сутрин и бавен вечер, изглежда наред в средното и не е.
- Таймаутите като клас резултат, броени редом с „върна резултати“ и „върна празно“, по доставчик. Таймаутът е резултат, който не сте получили, и принадлежи в същата графика като тези, които сте.
- Собственото ви време за обработка, отделно. Когато то расте, имате проблем с кода. Когато расте чакането на доставчика, имате разговор.
- Търсения на резервация, по доставчик и по tenant. Всяко търсене, което изпращате, струва на доставчика капацитет и повечето договори следят съотношението. Поправка на латентността, която удвоява обема търсения чрез повторни опити, е влошила числото, не го е подобрила.
Измервайте и в точката, където потребителят го вижда. Сървър, който отчита бързи търсения, докато браузърът чака бавна стъпка на сериализация, казва истината и ви подвежда едновременно.
Какво ви струва, когато сгрешите това
Очевидната цена е тази в тикета: потребител, който чака и после си тръгва. По-малко очевидните са търговски. Един твърде кратък таймаут за цялото търсене тихо премахва доставчик от резултатите ви при всяко търсене и разбирате едва когато account manager-ът попита защо резервациите са спрели. Повтарянето на цели fan-out-и удвоява търсенията ви на резервация, а доставчиците, които мерят това съотношение, отговарят с ограничаване или с фактура. Пренареждането на прогресивен списък под курсора на потребителя произвежда грешни кликове върху грешна тарифа, които стават тикети за поддръжка и понякога възстановявания. А dashboard, базиран на средни стойности, оставя и трите да се случат, докато числото му остава зелено.
Нищо от това не се решава с по-бърз код. Решава се, като решите по доставчик колко ще чакате, покажете на потребителя каквото имате, докато чакате, и измервате това, което наистина е мръднало. Ускоренията на кода си струват. Просто не те бяха сгрешената част.