Затримка travel API: що можна виправити, а що ні

У тікеті написано: "пошук повільний". Ви відкриваєте trace для рейсу Варшава–Дубай туди й назад, і ваш власний код — це тонка смужка на початку і ще одна в кінці. Усе між ними — очікування: на GDS, на дві авіакомпанії NDC, на готельний агрегатор, який відповідає, коли йому заманеться. Затримка travel API — єдина проблема продуктивності, де профайлер уперто вказує на код, якого ви не писали і який не можете задеплоїти. Це змінює значення слова "виправити", і більшість зусиль, які команди на це витрачають, іде не в ту половину.
Куди насправді йде затримка travel API при пошуку в кількох постачальників
Один пошук рейсу в букінг-рушії — це не один запит. Це fan-out. Рушій бере пункт відправлення, призначення, дати й склад пасажирів, будує окремий, специфічний для постачальника запит до кожного джерела, яке йому дозволено опитувати на цьому маршруті, надсилає їх усі одночасно й чекає. У кожного постачальника свій годинник: сесія GDS, що була прогріта або ні, шлюз NDC, який на боці авіакомпанії перераховує ціну, bedbank, який сам розсилає запити до channel manager-ів позаду себе. Відповідь, яку ви можете показати користувачу, знизу обмежена найповільнішим постачальником, на якого ви вирішили чекати, а не середнім.
Це перше, що треба засвоїти. Додавання постачальника ніколи не пришвидшує повний пошук. Воно лише додає ще одну смугу, яка має звільнитися, перш ніж увесь набір результатів буде "готовий".
Потім відповіді повертаються, і починається робота, яка справді ваша: розбір великого XML- чи JSON-пейлоаду від кожного постачальника, зіставлення їхніх кодів аеропортів, авіакомпаній і тарифів із вашими, дедуплікація одного й того самого маршруту, який три джерела повернули за трьома цінами, застосування правил націнки того тенанта, який запитує, конвертація валют і сортування. На завантаженому маршруті ця фаза не безкоштовна, і це єдине місце, де профайлер скаже вам щось, із чим можна працювати. Про готельний бік цього ми писали в тексті як спроєктувати клієнт наявності готелів для повільних постачальників; авіаційний бік має ту саму форму, тільки кодів для зіставлення більше.
Отже, чесний розклад повільного пошуку — це три кошики:
- Очікування постачальника — найдовша окрема відповідь постачальника. Ви це не контролюєте.
- Ваша постобробка — розбір, зіставлення, дедуплікація, ціноутворення, сортування. Ви контролюєте це повністю.
- Доставка — серіалізація об'єднаного результату і передача його в браузер. Зазвичай мало, іноді несподіванка.
Половина, яку можна виправити, і половина, яку треба перестати виправляти
Почніть із другого кошика, бо він ваш. Типові знахідки, у тому порядку, в якому вони зазвичай з'являються: крок зіставлення, який шукає кожен код аеропорту в базі по одному замість того, щоб завантажити таблицю один раз; конвертація валют, яка викликає сервіс курсів на кожен тариф замість одного разу на пошук; процедура дедуплікації, що порівнює кожен маршрут з усіма іншими; серіалізація, яка для кожного тенанта заново обходить граф об'єктів. Нічого з цього не екзотика. Усе виправляється за один спринт, і виправлення тримається.
Робота зі з'єднаннями — друге місце, де виграш реальний. Новий TLS handshake із постачальником на кожен пошук — чистий накладний витрат; пул прогрітих з'єднань, що живуть між пошуками, його прибирає. Особливо сесії GDS дорогі у відкритті й дешеві в повторному використанні, тому в тому світі керування сесіями — це продуктова функція, а не деталь реалізації.
Тепер половина, яку треба перестати виправляти. Ви не можете змусити постачальника відповідати швидше. Можна кричати на свого акаунт-менеджера, і іноді маршрут переносять на швидший вузол, але час відповіді чужої системи — не змінна у вашому деплої. Команди, які про це забувають, витрачають квартали на те, щоб зістругати власну постобробку зі смужки до тоншої смужки, тоді як очікування постачальника, що становило більшу частину загального часу, не зрушило. Профайлер був із ними чесний. Вони просто далі оптимізували ту частину, про яку він казав, що з нею все гаразд.
Що ви можете зробити з повільним постачальником — це вирішити, скільки ви готові на нього чекати і що бачить користувач, поки ви чекаєте. Про це решта тексту.
Поступове відображення — чесна відповідь
Якщо повний набір результатів обмежений найповільнішим постачальником, то єдиний спосіб показати користувачу щось раніше — перестати чекати, поки набір стане повним. Покажіть результати першого постачальника, який відповів. Додайте результати наступного, коли вони надійдуть. Дайте користувачу читати, фільтрувати й порівнювати, поки відсталі ще в дорозі. Це поступове відображення, і це не трюк; це точне зображення того, що насправді відбувається на сервері.
У нього є наслідки, які краще спроєктувати, ніж виявити:
- Стабільність сортування. Список за ціною, що пересортовується щоразу, коли надходить постачальник, зсуне тариф, на який користувач саме збирався клікнути. Вставляйте нові результати на місце або групуйте їх і дайте користувачу самому їх підтягнути, але не тасуйте список під курсором.
- "Найдешевше" — тимчасове. Поки не надійшов останній постачальник, будь-яке твердження про найнижчий тариф — це твердження лише про тих постачальників, які відповіли. Інтерфейс має показувати цей стан, а не вдавати повноту.
- Крок бронювання має перевірити ще раз. Тариф, показаний із ранньої відповіді, може зникнути до моменту, коли користувач клікне. Це так і в непоступових дизайнах, але поступове відображення розширює це вікно. Текст про інтеграцію бронювання описує крок переоцінки; тут він не є необов'язковим.
- Кешування стає простішим, а не складнішим. Результати кожного постачальника можна кешувати з власним часом життя. Статичні тарифи bedbank-у можуть жити годинами; пропозиція NDC — хвилинами. Один монолітний об'єднаний результат нав'язує всьому найкоротший час життя.
Форма API, яка це підтримує, — пошук, що одразу повертає ідентифікатор і дає клієнту опитувати або підписуватися на результати в міру їх надходження, де кожна партія позначена джерелом і прапорцем, який каже, чи пошук ще відкритий. Власні авіаційні та готельні API платформи побудовані саме навколо цієї форми; сторінка travel API описує ці поверхні, а доступ починається з розмови, а не з самообслуговного ключа, тож приходьте з запитаннями.
Таймаути на постачальника, а не на запит
Один таймаут на весь пошук — найпоширеніша помилка в цьому шарі, і вона хибна в обох напрямках одночасно. Поставте його коротким — і повільний, але цінний постачальник відрізається на кожному пошуку, а ви тихо перестаєте продавати його інвентар. Поставте довгим — і один завислий постачальник тримає в заручниках усі результати, зокрема ті, що надійшли миттєво.
| Рішення | Один таймаут на весь пошук | Бюджет на постачальника |
|---|---|---|
| Один постачальник зависає | Усі чекають, потім усі падають або всіх відрізають | Цей постачальник випадає з цього пошуку; решту показано |
| Повільний постачальник із добрими тарифами | Або завжди виключений, або завжди гальмує сторінку | Отримує довший бюджет, ніж швидкі, і відображається пізніше |
| Повторні спроби | Повтор усього fan-out, подвійне навантаження на постачальників, які вже відповіли | Повтор лише того, хто не впорався, якщо це взагалі варто робити |
| Що бачить користувач | Спінер, потім усе або помилка | Результати, що заповнюються, і стан "ще шукаємо", який зрештою закривається |
| Що бачить операційна команда | "Час пошуку вичерпано" без вказівки, яке джерело це спричинило | Лічильник таймаутів на постачальника, який можна поставити поруч із його назвою |
| Налаштування | Одне число, про яке сперечаються вічно | Одне число на постачальника, визначене з його власної історії |
Бюджет на постачальника — це також місце, де живе комерційна реальність. Постачальник, чиї тарифи рідко обирають, не заслуговує на таке саме терпіння, як той, що виграє більшість ваших бронювань на маршруті. Нетто-тарифи консолідатора на маршруті Європа–Перська затока можуть бути варті очікування; четвертий bedbank, що повертає ті самі готелі, що й перші три, — ні. Бюджет — це продуктове рішення, виражене числом, і його треба задавати на постачальника, на тенанта, якщо тенанти різняться, і переглядати.
Два уточнення, які себе окуповують. Перше: бюджет — це не лише максимум; постачальник, який повертається за частку свого бюджету, але з порожнім набором, — це інший сигнал, ніж той, що вичерпав час, і ці два випадки треба рахувати окремо. Друге: повторні спроби належать до рівня постачальника і мають бути рідкісними. Повтор пошуку в постачальника, який щойно вичерпав час, зазвичай означає два пошуки в черзі на його боці, що сповільнює й наступний, а в контрактах з оплатою за запит коштує грошей.
Що вимірювати, щоб число щось означало
"Середній час пошуку" — число, яке звітують усі і яке каже найменше. Воно змішує кешований пошук готелю з міжнародним fan-out до шести постачальників, ховає постачальника, який є причиною, і рухається, коли змінюється структура трафіку, а не ваш код. Замініть його невеликим набором вимірювань, кожне з яких відповідає на одне запитання.
- Час до першого результату, на пошук. Саме це користувач відчуває як швидкість. Його обмежує ваш найшвидший постачальник плюс ваші власні накладні витрати, тобто та частина, яку ви справді можете покращити.
- Час до завершення, на пошук, із зазначенням постачальника, який його закрив. Якщо один постачальник завжди останній, це розмова про бюджет, а не інженерна задача.
- Час відповіді на постачальника, як розподіл, а не середнє, з позначкою маршруту й часу доби. Постачальник, який уранці працює добре, а ввечері повільно, у середньому виглядає добре, але таким не є.
- Таймаути як клас результату, що рахуються поруч із "повернув результати" і "повернув порожньо", на постачальника. Таймаут — це результат, якого ви не отримали, і він належить до того самого графіка, що й ті, які ви отримали.
- Ваш власний час постобробки, окремо. Коли він росте, у вас проблема з кодом. Коли росте очікування постачальника, у вас розмова.
- Пошуків на бронювання, на постачальника і на тенанта. Кожен пошук, який ви надсилаєте, коштує постачальнику потужності, і більшість контрактів зважають на це співвідношення. Виправлення затримки, яке через повтори подвоює обсяг пошуків, погіршило це число, а не покращило.
Вимірюйте й у тій точці, де це бачить користувач. Сервер, який звітує про швидкі пошуки, поки браузер чекає на повільний крок серіалізації, каже правду й водночас вводить вас в оману.
Чого вам коштує зробити це неправильно
Очевидна ціна — та, що в тікеті: користувач, який чекає, а потім іде. Менш очевидні — комерційні. Один надто короткий таймаут на весь пошук тихо прибирає постачальника з ваших результатів на кожному пошуку, і ви дізнаєтеся про це лише тоді, коли акаунт-менеджер запитає, чому зупинилися бронювання. Повтор цілих fan-out подвоює ваші пошуки на бронювання, а постачальники, які вимірюють це співвідношення, відповідають обмеженням або рахунком. Пересортування поступового списку під курсором користувача породжує помилкові кліки на не той тариф, які стають тікетами в підтримку, а іноді й поверненнями. А дашборд, побудований на середньому, дозволяє всім трьом статися, поки число на ньому залишається зеленим.
Жодне з цього не вирішується пришвидшенням вашого коду. Вони вирішуються рішенням, на постачальника, скільки ви чекатимете, показом користувачу того, що у вас є, поки ви чекаєте, і вимірюванням того, що насправді зрушило. Пришвидшення коду варте того, щоб його робити. Просто не воно було тією частиною, що була неправильною.