Перейти до вмісту
Блог

Тестування travel API у пісочниці: чого sandbox не покаже

Редакція Tekravel
Написано за допомогою ШІ

Інтеграція пройшла все, що могло на неї кинути тестування travel API у пісочниці. Пошук повертав рейси, запит доступності готелів приходив із вільними номерами, виклик бронювання щоразу віддавав номер підтвердження, і QA підписав усе в четвер. Наступного вівторка клієнт оплатив готель за однією ціною, а постачальник підтвердив його за іншою, бронювання авіаквитка впало в timeout і ніхто не міг сказати, чи утримано місце, а співробітник підтримки витратив пів дня, звіряючи два записи про одну й ту саму поїздку. Жодне з цього не було багом, який пропустив набір тестів. Це були сценарії, яких набір тестів просто не мав змоги побачити. Пісочниця потрібна, але її далеко не достатньо, і в проміжку між цими двома речами живе більшість дорогих інцидентів travel-інтеграції.

Це план тестування для розробника, який відповідає за таку інтеграцію: що пісочниця може довести, чого вона за своєю природою не може, і як закрити різницю, не бронюючи справжні місця з корпоративної картки.

Чому код, що проходить тести в пісочниці, ламається в продакшні

Пісочниця — це обіцянка щодо форми відповідей, а не щодо їхньої поведінки. Схема збігається з продакшном. Поведінка майже ніколи, і в цьому немає нічиєї провини: тестове середовище не може дозволити собі живий інвентар, тож віддає фіксований набір тарифів і номерів, які ніколи не розпродаються, ніколи не змінюють ціну і ніколи не змінюють розклад. Воно відповідає швидко, бо ним більше ніхто не користується. Воно рідко падає на півдорозі.

Продакшн робить усе це щодня. Інвентар спільний з усіма іншими продавцями; тарифи хтось вище за ланцюжком тримає в кеші, і вони застарівають; система постачальника під навантаженням відповідає повільно або не відповідає зовсім. Код, який бачив лише пісочницю, фактично тестували тільки проти постачальника, у якого ідеальний день.

Тож розглядайте пісочницю як один шар із трьох. Вона доводить, що запити сформовано правильно, а парсер розуміє схему. Записані фікстури доводять, що код переживе відповіді, які продакшн надсилає насправді. Невеликий продуманий набір живих перевірок доводить, що з'єднання працюють після змін. Кожен шар ловить те, чого не можуть зловити два інші.

Сценарії, яких пісочниця зазвичай не дає

Випишіть їх раніше, ніж напишете перший тест. Пісочниця може зімітувати один-два з них за допомогою магічного тестового значення; більшості в ній просто немає.

СценарійЩо робить продакшнЯк це покрити
Ціна змінюється між пошуком і бронюваннямБронювання проходить з іншою сумою або падає з помилкою зміни ціни, яку треба показатиПара фікстур: відповідь пошуку і відповідь бронювання з іншою сумою; перевірте, що мандрівника питають знову, а не списують гроші мовчки
Розпродано між перевіркою доступності і бронюваннямЗапропонованого номера чи класу тарифу вже немає, коли ви намагаєтеся його утриматиФікстура справжньої помилки «розпродано» від постачальника; перевірте, що мандрівник повертається до результатів, а не на сторінку помилки
Timeout на виклику бронюванняПостачальник міг створити бронювання, а міг і ніВставте timeout після відправлення запиту; перевірте, що статус бронювання запитують до будь-якого повтору
Подвійне відправленняПодвійний клік або повтор з боку клієнта створює два бронюванняНадішліть те саме бронювання двічі з тим самим idempotency key; перевірте, що існує рівно одне
Зміна розкладу після виписки квиткаПроданий рейс тепер вилітає в інший час або під іншим номеромФікстура зміненого маршруту; перевірте, що зміна доходить до того, хто веде клієнта
Частковий успіх у бронюванні з кількох послугРейс підтверджено, готель — ніЗмішана фікстура; перевірте, що система фіксує саме те, що підтверджено, і сповіщає людину
Throttling під навантаженнямВідповіді rate limit, потім повільні відповідіВідтворіть записану відповідь throttling; перевірте backoff і те, що пошук деградує, а не видає помилку

Можливо, для вашого стеку ви не погодитеся з останньою колонкою. Нічого страшного. Важливо, щоб кожен рядок мав власника й асерцію, бо кожен із них колись із вами станеться.

Будуйте фікстури зі справжніх відповідей, а не вигаданих

Найкорисніша звичка в travel-інтеграції — зберігати відповіді, які вас здивували. Написані вручну моки відображають те, що ви думаєте, ніби надсилає постачальник; записана відповідь відображає те, що він надіслав насправді, включно з полями, які порожні, хоча документація стверджує, що такого не буває, ціною у валюті, яку ви не просили, і помилкою, що приходить зі статусом успіху.

Рутина, яка працює:

  • Записуйте на межі. Логуйте сирі тіла запитів і відповідей викликів до постачальників у непродакшн-середовищі, а в продакшні — для вибірки трафіку, якщо це дозволяють ваші правила приватності.
  • Очищайте, перш ніж зберігати. Імена пасажирів, номери паспортів, e-mail, телефони й платіжні референси прибираються до того, як фікстура потрапить у репозиторій. Замініть їх на очевидно фейкові значення, щоб ніхто не сплутав фікстуру зі справжнім бронюванням.
  • Називайте фікстури за поведінкою. hotel-book-price-increased.json пояснює наступному розробнику, навіщо вона існує; response-17.json — ні.
  • Тримайте потворні назавжди. Зламана відповідь, яка однієї неділі поклала пошук, — найцінніший файл, що у вас є. Її місце в тесті, який запускається на кожен коміт.

Потім напишіть контрактні тести на цих фікстурах: парсер, мапінг у внутрішні моделі, класифікацію помилок. Якщо постачальник перейменує поле і контрактний тест упаде, ви дізнаєтеся про це в CI, а не від клієнта. Класифікацію детальніше розібрано в нашому матеріалі про обробку помилок в API системи бронювання.

Тестування грошових потоків без витрат

Тут пісочниця допомагає найменше, бо грошові потоки — саме те місце, де тестове середовище відрізняється від справжнього. Справжня виписка квитків, справжнє списання з картки і справжнє виставлення рахунків постачальником — це те, що найбільше треба зробити правильно і що найменше можна відрепетирувати наживо.

Розділіть задачу. Математика цін — чиста логіка, і її можна вичерпно протестувати офлайн: візьміть записані тарифи, застосуйте правила націнки, конвертацію валют і округлення та перевірте суму, яку бачить мандрівник. Зробіть це для незручних випадків — тариф в одній валюті, проданий в іншій, націнка у відсотках на одному продукті й фіксованою сумою на іншому, дитячий тариф, округлення, яке відрізняється між відображенням і списанням. Сума, хибна на кілька гривень, однаково хибна, і хибна в кожному бронюванні.

Друга половина — переходи станів навколо оплати. Змоделюйте їх явно — прорахована, утримана, оплачена, підтверджена, виписана, скасована, повернута — і перевірте, що кожен перехід має рівно одну причину. Тест, який ловить найдорожчий баг, — той, що стверджує: не можна списати оплату за бронювання, яке постачальник не підтвердив, і підтверджене бронювання не може існувати без запису про оплату.

І наостанок зробіть так, щоб прогін тестів не міг дістатися до справжньої виписки. Не малоймовірно — неможливо. Перевірка під час запуску, яка відмовляється запускати набір, коли завантажено продакшн-облікові дані, коштує одного рядка і рятує від найгіршого ранку, який може бути в команди інтеграції.

Скільки коштує помилка

Пропущений сценарій у travel-інтеграції рідко проявляється як помилка. Він проявляється як бронювання, яке виглядає нормально. Дубльований квиток, якого ніхто не замовляв і який хтось має анулювати до дедлайну. Готель, підтверджений за ціною, яку агентству тепер доведеться покрити самостійно. Бронювання з timeout, яке система повторила, тож постачальник тримає два номери й виставляє рахунок за обидва. Для авіаквитка, проданого через агентство, розбіжність між виписаним і проданим може повернутися пізніше як ADM — значно пізніше, ніж маржу з цього продажу вже витратили.

Ці витрати лягають на бізнес, що продав поїздку, а не на розробника, який написав цикл повторів. У цьому весь аргумент тестувати їх до запуску, а не вивчати по одному тікету підтримки за раз.

Що перевіряти smoke-тестом після кожної зміни в постачальника

Постачальники змінюють речі: нова версія API, новий endpoint, замінені облікові дані, інший мапінг контенту. Ваш власний код міг узагалі не змінитися. Все одно проженіть цей список у середовищі, яке спілкується зі зміненим постачальником:

  1. Один пошук на кожен продукт, який ви продаєте від цього постачальника, за маршрутом чи містом, що точно повертає результати.
  2. Розпарсьте кожен результат, не відкидаючи жодного мовчки; порівняйте свою кількість із тим, що є в сирій відповіді.
  3. Прорахуйте один результат від початку до кінця і порівняйте показану суму з власним розрахунком від сирого тарифу.
  4. Зробіть бронювання в тестовому середовищі, прочитайте його статус і порівняйте кожне поле, яке ви зберігаєте.
  5. Скасуйте його й переконайтеся, що скасування видно і у ваших записах, і на боці постачальника.
  6. Проженіть збережені потворні фікстури через новий парсер.
  7. Перевірте, що timeout і rate limit досі ведуть до поведінки, яку ви обрали, бо нова версія може відповідати на них інакше. Якщо час відповіді змістився, матеріал про затримку пояснює, яку частину ви можете виправити самі.

Достатньо короткий, щоб проганяти щоразу, — у цьому й суть. Smoke-тест, який ніхто не запускає, бо він займає день, — не smoke-тест.

Де місце пісочниці

Ніщо з цього не робить пісочницю менш корисною. Це робить її чесною: місцем, де ви вивчаєте схему й переконуєтеся, що запити правильні, перш ніж фікстури й живі перевірки візьмуть на себе ті частини, до яких вона не дістає. Якщо ви оцінюєте API авіаквитків і готелів платформи, доступ починається з розмови, а не з self-service ключа — принесіть цей план тестування на цю розмову й запитайте, як буде покрито кожен рядок таблиці вище. Відповіді скажуть вам про API більше, ніж його документація.

Редакція Tekravel

Відділ travel-технологій

Відділ travel-технологій Tekravel пише для професіоналів ринку: власників агенцій, консолідаторів і розробників, які їх інтегрують. Кожну статтю перевіряють на тій самій платформі, яку вона описує, перед публікацією.