Latensi API travel: yang bisa Anda perbaiki dan yang tidak

Tiketnya berbunyi "pencarian lambat". Anda membuka trace untuk penerbangan pulang-pergi Jakarta–Dubai, dan kode Anda sendiri hanya sepotong tipis di awal dan sepotong lagi di akhir. Semua yang di antaranya adalah menunggu: menunggu GDS, menunggu dua maskapai NDC, menunggu agregator hotel yang menjawab kapan pun dia mau. Latensi API travel adalah satu-satunya masalah performa di mana profiler terus menunjuk ke kode yang tidak Anda tulis dan tidak bisa Anda deploy. Itu mengubah arti "memperbaiki", dan sebagian besar upaya yang dikerahkan tim untuk ini jatuh ke separuh yang salah.
Ke mana latensi API travel sebenarnya pergi pada pencarian multi-supplier
Satu pencarian penerbangan di booking engine bukan satu request. Itu adalah fan-out. Engine mengambil asal, tujuan, tanggal dan komposisi penumpang, membangun request dalam format masing-masing supplier yang boleh ditanyai untuk rute itu, mengirim semuanya sekaligus, lalu menunggu. Setiap supplier punya jamnya sendiri: sesi GDS yang sudah hangat atau belum, gateway NDC yang sedang menghitung ulang harga di sisi maskapai, bedbank yang pada gilirannya melakukan fan-out ke channel manager di belakangnya. Hasil yang bisa Anda tampilkan ke pengguna dibatasi dari bawah oleh supplier paling lambat yang Anda putuskan untuk ditunggu, bukan oleh rata-rata.
Itu hal pertama yang harus diresapi. Menambah supplier tidak pernah membuat pencarian lengkap jadi lebih cepat. Ia hanya menambah satu jalur lagi yang harus selesai sebelum seluruh hasil dianggap "beres".
Lalu respons kembali, dan pekerjaan yang benar-benar milik Anda dimulai: mem-parsing payload XML atau JSON besar dari tiap supplier, memetakan kode bandara, maskapai dan tarif mereka ke kode Anda, mendeduplikasi itinerary yang sama yang dikembalikan tiga sumber dengan tiga harga, menerapkan aturan markup untuk tenant yang bertanya, mengonversi mata uang ke rupiah, dan mengurutkan. Pada rute yang ramai, fase ini tidak gratis, dan inilah satu-satunya tempat profiler akan memberi tahu sesuatu yang bisa ditindaklanjuti. Kami menulis sisi hotelnya di merancang klien API ketersediaan hotel untuk supplier yang lambat; sisi penerbangan punya bentuk yang sama dengan lebih banyak kode untuk dipetakan.
Jadi pembagian jujur dari sebuah pencarian yang lambat adalah tiga keranjang:
- Menunggu supplier — respons supplier tunggal yang paling lama. Anda tidak mengendalikannya.
- Pasca-pemrosesan Anda — parse, map, dedupe, harga, urut. Anda mengendalikan semuanya.
- Pengiriman — menserialisasi hasil gabungan dan mengantarnya ke browser. Biasanya kecil, kadang jadi kejutan.
Separuh yang bisa Anda perbaiki, dan separuh yang sebaiknya berhenti Anda perbaiki
Mulailah dari keranjang kedua, karena itu milik Anda. Temuan yang lazim, sesuai urutan kemunculannya: langkah pemetaan yang mencari setiap kode bandara ke database satu per satu alih-alih memuat tabelnya sekali; konversi mata uang yang memanggil layanan kurs per tarif alih-alih per pencarian; rutin dedupe yang membandingkan setiap itinerary dengan setiap itinerary lain; serialisasi yang menelusuri ulang graf objek untuk tiap tenant. Tidak ada yang eksotis. Semuanya bisa diperbaiki dalam satu sprint, dan perbaikannya bertahan.
Penanganan koneksi adalah tempat lain di mana hasilnya nyata. Handshake TLS baru ke supplier pada setiap pencarian adalah overhead murni; pool koneksi hangat yang dijaga hidup lintas pencarian menghilangkannya. Sesi GDS khususnya mahal untuk dibuka dan murah untuk dipakai ulang, itulah sebabnya manajemen sesi adalah fitur produk di dunia itu, bukan detail implementasi.
Sekarang separuh yang harus berhenti diperbaiki. Anda tidak bisa membuat supplier menjawab lebih cepat. Anda bisa mengomel ke account manager, dan kadang sebuah rute dipindah ke node yang lebih cepat, tetapi waktu respons sistem milik orang lain bukan variabel dalam deployment Anda. Tim yang melupakan ini menghabiskan berkuartal-kuartal memangkas pasca-pemrosesan mereka dari sepotong tipis jadi lebih tipis, sementara waktu menunggu supplier, yang merupakan mayoritas totalnya, tidak bergeser. Profiler sudah jujur pada mereka. Mereka saja yang terus mengoptimalkan bagian yang dikatakan baik-baik saja.
Yang bisa Anda lakukan terhadap supplier lambat adalah memutuskan berapa lama Anda bersedia menunggunya, dan apa yang dilihat pengguna selama itu. Itulah sisa tulisan ini.
Progressive rendering adalah jawaban yang jujur
Jika hasil lengkap dibatasi oleh supplier paling lambat, maka satu-satunya cara menampilkan sesuatu lebih cepat ke pengguna adalah berhenti menunggu hasil itu lengkap. Tampilkan hasil dari supplier pertama yang menjawab. Tambahkan hasil supplier berikutnya saat mendarat. Biarkan pengguna mulai membaca, memfilter dan membandingkan sementara yang tertinggal masih di jalan. Inilah progressive rendering, dan ini bukan trik; ini representasi akurat dari apa yang sebenarnya terjadi di server.
Ia punya konsekuensi yang lebih baik dirancang daripada ditemukan belakangan:
- Stabilitas urutan. Daftar yang diurutkan berdasarkan harga dan diurutkan ulang setiap kali supplier mendarat akan menggeser tarif yang hendak diklik pengguna. Sisipkan hasil baru di tempatnya, atau kumpulkan dan biarkan pengguna menariknya sendiri, tetapi jangan mengocok daftar di bawah kursor.
- "Termurah" bersifat sementara. Sampai supplier terakhir masuk, klaim tarif terendah apa pun hanyalah klaim tentang supplier yang sudah menjawab. Antarmuka harus memperlihatkan status itu, bukan berpura-pura lengkap.
- Langkah booking harus mengecek ulang. Tarif yang ditampilkan dari respons awal bisa sudah hilang saat pengguna mengklik. Itu juga berlaku pada desain non-progresif, tetapi progressive rendering memperlebar jendelanya. Tulisan tentang integrasi API booking membahas langkah re-price; di sini ia tidak opsional.
- Caching jadi lebih sederhana, bukan lebih rumit. Hasil per supplier bisa di-cache dengan masa hidup per supplier. Tarif statis bedbank bisa hidup berjam-jam; penawaran NDC, hitungan menit. Satu hasil gabungan monolitik memaksakan masa hidup terpendek pada semuanya.
Bentuk API yang mendukung ini adalah pencarian yang langsung mengembalikan sebuah identifier dan membiarkan klien melakukan polling atau subscribe untuk hasil saat tiba, dengan tiap batch ditandai sumbernya dan sebuah flag yang menyatakan apakah pencarian masih terbuka. API penerbangan dan hotel milik platform dibangun di sekitar bentuk itu; halaman travel API menjelaskan antarmukanya, dan akses dimulai dari percakapan, bukan key swalayan, jadi bawalah pertanyaan Anda.
Timeout per supplier, bukan per request
Satu timeout untuk seluruh pencarian adalah kesalahan paling umum di lapisan ini, dan salah di dua arah sekaligus. Set pendek, dan supplier yang lambat-tapi-berharga terputus di setiap pencarian sehingga Anda diam-diam berhenti menjual inventorinya. Set panjang, dan satu supplier yang menggantung menyandera semua hasil, termasuk yang sudah tiba seketika.
| Keputusan | Satu timeout untuk seluruh pencarian | Anggaran per supplier |
|---|---|---|
| Satu supplier menggantung | Semua menunggu, lalu semua gagal atau semua terputus | Supplier itu dilepas dari pencarian ini; sisanya ditampilkan |
| Supplier lambat dengan tarif bagus | Selalu dikecualikan atau selalu memperlambat halaman | Diberi anggaran lebih panjang daripada yang cepat, dan dirender belakangan |
| Retry | Mengulang seluruh fan-out, menggandakan beban pada supplier yang sudah menjawab | Retry hanya yang gagal, itu pun jika layak di-retry |
| Yang dilihat pengguna | Spinner, lalu semuanya atau error | Hasil terisi bertahap, dan status "masih mencari" yang akhirnya ditutup |
| Yang dilihat tim operasi | "Pencarian timeout", tanpa petunjuk sumber mana penyebabnya | Hitungan timeout per supplier yang bisa diletakkan di samping namanya |
| Penyetelan | Satu angka yang diperdebatkan selamanya | Satu angka per supplier, diambil dari riwayat supplier itu sendiri |
Anggaran per supplier juga tempat realitas komersial tinggal. Supplier yang tarifnya jarang dipilih tidak pantas mendapat kesabaran yang sama dengan supplier yang memenangkan sebagian besar booking Anda di suatu rute. Tarif net konsolidator di rute Indonesia–Timur Tengah mungkin layak ditunggu; bedbank keempat yang mengembalikan hotel yang sama dengan tiga sebelumnya tidak. Anggaran adalah keputusan produk yang dinyatakan sebagai angka, dan harus diset per supplier, per tenant jika tenant berbeda, dan ditinjau ulang.
Dua penyempurnaan yang membayar dirinya sendiri. Pertama, anggaran bukan sekadar batas maksimum; supplier yang menjawab dalam sebagian kecil anggarannya tetapi dengan hasil kosong adalah sinyal yang berbeda dari yang timeout, dan keduanya harus dihitung terpisah. Kedua, retry berada di level supplier dan sebaiknya jarang. Mengulang pencarian ke supplier yang baru saja timeout biasanya berarti dua pencarian mengantre di sisi mereka, yang membuat pencarian berikutnya ikut lambat, dan pada kontrak bermeter itu berarti biaya.
Apa yang diukur agar angkanya bermakna
"Rata-rata waktu pencarian" adalah angka yang dilaporkan semua orang dan paling sedikit memberi tahu Anda. Ia mencampur lookup hotel yang sudah di-cache dengan fan-out internasional enam supplier, menyembunyikan supplier penyebabnya, dan bergerak ketika komposisi trafik berubah, bukan ketika kode Anda berubah. Gantilah dengan sekumpulan kecil pengukuran yang masing-masing menjawab satu pertanyaan.
- Waktu ke hasil pertama, per pencarian. Inilah yang dialami pengguna sebagai kecepatan. Ia dibatasi oleh supplier tercepat Anda ditambah overhead Anda sendiri, bagian yang benar-benar bisa Anda perbaiki.
- Waktu sampai selesai, per pencarian, beserta identitas supplier yang menutupnya. Jika satu supplier selalu terakhir, itu percakapan anggaran, bukan urusan engineering.
- Waktu respons per supplier, sebagai distribusi, bukan rata-rata, ditandai rute dan jam. Supplier yang baik di pagi hari dan lambat di malam hari tampak baik pada rata-rata, padahal tidak.
- Timeout sebagai kelas hasil, dihitung berdampingan dengan "mengembalikan hasil" dan "mengembalikan kosong", per supplier. Timeout adalah hasil yang tidak Anda dapatkan, dan tempatnya di grafik yang sama dengan yang Anda dapatkan.
- Waktu pasca-pemrosesan Anda sendiri, terpisah. Ketika ini tumbuh, Anda punya masalah kode. Ketika waktu menunggu supplier tumbuh, Anda punya percakapan.
- Pencarian per booking, per supplier dan per tenant. Setiap pencarian yang Anda kirim membebani kapasitas supplier, dan sebagian besar kontrak peduli pada rasio itu. Perbaikan latensi yang menggandakan volume pencarian lewat retry membuat angkanya lebih buruk, bukan lebih baik.
Ukur juga di titik yang dilihat pengguna. Server yang melaporkan pencarian cepat sementara browser menunggu langkah serialisasi yang lambat sedang berkata jujur dan menyesatkan Anda di saat yang sama.
Apa yang harus Anda bayar jika salah
Biaya yang jelas adalah yang tertulis di tiket: pengguna yang menunggu, lalu pergi. Yang kurang jelas bersifat komersial. Satu timeout seluruh pencarian yang diset terlalu pendek diam-diam menghapus satu supplier dari hasil di setiap pencarian, dan Anda baru tahu saat account manager bertanya kenapa booking berhenti. Mengulang seluruh fan-out menggandakan rasio pencarian-per-booking Anda, dan supplier yang mengukur rasio itu merespons dengan throttling atau dengan tagihan. Mengurutkan ulang daftar progresif di bawah kursor pengguna menghasilkan klik keliru pada tarif yang salah, yang berubah jadi tiket support dan kadang refund. Dan dashboard berbasis rata-rata membiarkan ketiganya terjadi sementara angkanya tetap hijau.
Tidak satu pun dari ini diselesaikan dengan membuat kode Anda lebih cepat. Mereka diselesaikan dengan memutuskan, per supplier, berapa lama Anda akan menunggu, menampilkan apa yang sudah Anda punya selagi menunggu, dan mengukur hal yang benar-benar bergerak. Percepatan kode layak dilakukan. Hanya saja itu bukan bagian yang salah.