Латенција travel API-ја: шта можете да поправите, а шта не

Тикет каже „претрага је спора“. Отворите trace за повратни лет Београд–Дубаи и ваш сопствени код је танка трака на почетку и још једна на крају. Све између је чекање: на GDS, на две авио-компаније преко NDC-а, на хотелски агрегатор који одговара кад му се прохте. Латенција travel API-ја је једини проблем перформанси код кога профајлер упорно показује на код који нисте написали и не можете да деплојујете. То мења шта значи „поправити“, и највећи део труда који тимови улажу иде у погрешну половину.
Где латенција travel API-ја заиста одлази у претрази код више добављача
Једна претрага лета у систему за резервације није један захтев. То је fan-out. Систем узима полазиште, одредиште, датуме и састав путника, за сваки извор који сме да пита на тој рути прави захтев у његовом формату, шаље све одједном и чека. Сваки добављач има свој сат: GDS сесију која је била загрејана или није, NDC пролаз који управо прерачунава цене на страни авио-компаније, bedbank који сам ради fan-out ка channel manager-има иза себе. Одговор који можете да покажете кориснику ограничен је одоздо најспоријим добављачем ког сте одлучили да чекате, не просеком.
То је прво што треба усвојити. Додавање добављача никад не чини потпуну претрагу бржом. Само додаје још једну траку која мора да се испразни пре него што је цео скуп резултата „готов“.
Онда се одговори врате и почиње посао који је заиста ваш: парсирање великог XML-а или JSON-а по добављачу, мапирање њихових кодова аеродрома, авио-компанија и тарифа на ваше, уклањање дупликата исте руте коју су три извора вратила по три цене, примена правила марже за tenant-а који пита, конверзија валуте у динаре или евре и сортирање. На прометној рути та фаза није бесплатна и то је једино место где ће вам профајлер рећи нешто употребљиво. О хотелској страни писали смо у тексту дизајн клијента за хотелску расположивост код спорих добављача; страна летова има исти облик са више кодова за мапирање.
Поштена подела споре претраге су, дакле, три корпе:
- Чекање добављача — најдужи појединачни одговор добављача. Њега не контролишете.
- Ваша накнадна обрада — парсирање, мапирање, дедупликација, обрачун цене, сортирање. Њу контролишете у потпуности.
- Испорука — серијализација спојеног резултата и пренос до прегледача. Обично мала, понекад изненађење.
Половина коју можете да поправите и половина коју треба да престанете да поправљате
Почните од друге корпе, јер је ваша. Уобичајени налази, редом којим се обично појављују: корак мапирања који тражи сваки код аеродрома у бази један по један уместо да табелу учита једном; конверзија валуте која зове сервис курсева по тарифи уместо по претрази; рутина за дедупликацију која пореди сваку руту са сваком другом; серијализација која поново пролази кроз граф објеката за сваког tenant-а. Ништа од тога није егзотично. Све се поправља за један спринт и поправка остаје.
Управљање конекцијама је друго место где је добитак стваран. Ново TLS руковање са добављачем при свакој претрази је чист overhead; pool загрејаних конекција, одржаваних живим између претрага, уклања га. GDS сесије су посебно скупе за отварање и јефтине за поновну употребу, због чега је управљање сесијама у том свету производна функција, а не детаљ имплементације.
Сада половина коју треба да престанете да поправљате. Не можете натерати добављача да одговара брже. Можете да вичете на свог account manager-а и понекад се рута пребаци на бржи чвор, али време одзива туђег система није променљива у вашем деплојменту. Тимови који то забораве проводе квартале бријући сопствену обраду са траке на тању траку, док се чекање добављача, које је било највећи део укупног времена, није померило. Профајлер је био поштен према њима. Они су само наставили да оптимизују део за који је рекао да је у реду.
Оно што можете да урадите са спорим добављачем јесте да одлучите колико сте спремни да га чекате и шта корисник види док чекате. О томе је остатак овог текста.
Прогресивно приказивање је поштен одговор
Ако је потпун скуп резултата ограничен најспоријим добављачем, онда је једини начин да кориснику нешто покажете раније да престанете да чекате да скуп буде потпун. Прикажите резултате првог добављача који одговори. Додајте резултате следећег када стигну. Пустите корисника да чита, филтрира и пореди док су заостали још на путу. То је прогресивно приказивање и није трик; то је тачан приказ онога што се на серверу заиста дешава.
Има последице које вреди пројектовати уместо откривати:
- Стабилност сортирања. Листа сортирана по цени која се пресортира сваки пут кад стигне добављач помериће тарифу на коју је корисник хтео да кликне. Уметните нове резултате на место, или их групишите и пустите корисника да их повуче, али не мешајте испод курсора.
- „Најјефтиније“ је привремено. Док последњи добављач не стигне, свака тврдња о најнижој цени је тврдња о добављачима који су одговорили. Интерфејс треба да то стање учини видљивим уместо да глуми потпуност.
- Корак резервације мора поново да провери. Тарифа приказана из раног одговора може нестати док корисник кликне. То важи и у непрогресивним дизајнима, али прогресивно приказивање шири тај прозор. Текст о интеграцији резервације покрива корак re-price; овде није опциони.
- Кеширање постаје једноставније, не теже. Резултати по добављачу могу се кеширати са трајањем по добављачу. Статичне цене bedbank-а могу живети сатима; NDC понуда минутима. Један монолитни спојени резултат намеће најкраће трајање свему.
Облик API-ја који то подржава је претрага која одмах враћа идентификатор и пушта клијента да анкетира или се претплати на резултате како стижу, при чему је свака група означена извором и заставицом која каже да ли је претрага још отворена. Сопствени API-ји платформе за летове и хотеле изграђени су око тог облика; страница travel API-ја описује површине, а приступ почиње разговором, а не самоуслужним кључем, па понесите питања.
Timeout-и по добављачу, не по захтеву
Један timeout за целу претрагу је најчешћа грешка у овом слоју и погрешан је у оба смера истовремено. Поставите га кратко и спор, али вредан добављач бива одсечен при свакој претрази и тихо престајете да продајете његов инвентар. Поставите га дуго и један заглављен добављач држи као таоца сваки резултат, укључујући оне који су стигли одмах.
| Одлука | Један timeout за целу претрагу | Буџет по добављачу |
|---|---|---|
| Један добављач се заглави | Сви чекају, па сви падну или сви буду одсечени | Тај добављач испада из ове претраге; остали се приказују |
| Спор добављач са добрим тарифама | Или увек искључен или увек успорава страницу | Добија дужи буџет од брзих и приказује се касно |
| Поновни покушај | Понавља се цео fan-out, дупло оптерећење добављача који су већ одговорили | Понавља се само онај који је пао, ако уопште вреди |
| Шта види корисник | Spinner, па све или грешка | Резултати који се пуне и стање „још тражимо“ које се на крају затвори |
| Шта види оператива | „Претрага је истекла“, без назнаке који извор је то изазвао | Бројач timeout-а по добављачу који може да стоји поред његовог имена |
| Подешавање | Један број око кога се расправља заувек | Један број по добављачу, из његове сопствене историје |
Буџет по добављачу је и место где живи комерцијална стварност. Добављач чије се тарифе ретко бирају не заслужује исто стрпљење као онај који на рути доноси највише ваших резервација. Нето тарифе консолидатора на рути Залив–индијски потконтинент могу вредети чекања; четврти bedbank који враћа исте хотеле као прва три не вреди. Буџет је производна одлука изражена бројем и треба га поставити по добављачу, по tenant-у ако се tenant-и разликују, и редовно преиспитивати.
Два побољшања која се сама исплате. Прво, буџет није само максимум; добављач који се врати у делићу свог буџета али са празним скупом је другачији сигнал од оног који истекне, и то двоје треба бројати одвојено. Друго, поновни покушаји припадају нивоу добављача и треба да буду ретки. Понављање претраге код добављача који је управо истекао обично значи две претраге у реду на њиховој страни, што успорава и следећу, а код уговора са наплатом по позиву кошта новац.
Шта мерити да би број нешто значио
„Просечно време претраге“ је број који сви пријављују и који вам говори најмање. Он меша кеширани упит за хотел са међународним fan-out-ом на шест добављача, крије добављача који је узрок и помера се када се помери мешавина саобраћаја, а не када се промени ваш код. Замените га малим скупом мерења од којих свако одговара на једно питање.
- Време до првог резултата, по претрази. То корисник доживљава као брзину. Ограничено је вашим најбржим добављачем плус вашим сопственим overhead-ом, што је део који заиста можете побољшати.
- Време до завршетка, по претрази, са идентитетом добављача који ју је затворио. Ако је један добављач увек последњи, то је разговор о буџету, а не инжењерски проблем.
- Време одзива по добављачу, као расподела, не просек, означено рутом и добом дана. Добављач који је ујутру у реду а увече спор изгледа у реду у просеку, а није.
- Timeout-и као класа резултата, бројани уз „вратио резултате“ и „вратио празно“, по добављачу. Timeout је резултат који нисте добили и припада истом графикону као они које јесте.
- Ваше сопствено време обраде, одвојено. Када оно расте, имате проблем у коду. Када расте чекање добављача, имате разговор.
- Претраге по резервацији, по добављачу и по tenant-у. Свака претрага коју пошаљете кошта добављача капацитета, а већини уговора је стало до тог односа. Поправка латенције која преко поновних покушаја удвостручи обим претрага погоршала је број, не побољшала.
Мерите и на месту где корисник то види. Сервер који пријављује брзе претраге док прегледач чека на спор корак серијализације говори истину и истовремено вас обмањује.
Шта вас кошта када ово погрешите
Очигледан трошак је онај из тикета: корисник који чека, па оде. Мање очигледни су комерцијални. Један прекратак timeout за целу претрагу тихо уклања добављача из ваших резултата при свакој претрази, а сазнате тек када account manager пита зашто су резервације стале. Понављање целих fan-out-ова удвостручује ваше претраге по резервацији, а добављачи који мере тај однос одговарају ограничавањем или фактуром. Пресортирање прогресивне листе испод курсора корисника производи погрешне кликове на погрешну тарифу, који постају тикети за подршку, а понекад и рефундације. А dashboard заснован на просецима пушта све троје да се деси док број на њему остаје зелен.
Ништа од тога се не решава бржим кодом. Решава се тако што по добављачу одлучите колико ћете чекати, кориснику покажете оно што имате док чекате и мерите оно што се заиста померило. Убрзања кода вреди урадити. Само она нису била део који је био погрешан.