旅行APIの遅延:直せる部分と直せない部分

チケットには「検索が遅い」とある。東京–ドバイ往復のtraceを開くと、あなた自身のコードは最初の薄い一片と最後の一片だけだ。その間はすべて待ち時間である。GDSを待ち、NDC航空会社二社を待ち、気が向いたときに返事をするホテルアグリゲーターを待つ。旅行APIの遅延は、プロファイラがあなたの書いていない、デプロイもできないコードを指し続ける唯一のパフォーマンス問題だ。それが「直す」の意味を変え、チームが注ぐ労力の大半は間違った半分へ向かう。
マルチサプライヤー検索で旅行APIの遅延は実際どこへ消えるのか
予約エンジンでのフライト検索一回は、一つのリクエストではない。fan-outである。エンジンは出発地、目的地、日付、搭乗者構成を受け取り、その路線で照会を許された各サプライヤー向けの形式でリクエストを組み立て、一斉に送り、そして待つ。サプライヤーごとに時計が違う。温まっていたかどうかのGDSセッション、航空会社側で再価格計算中のNDCゲートウェイ、背後のチャネルマネージャーへさらにfan-outするベッドバンク。ユーザーに見せられる結果は、平均ではなく、待つと決めたサプライヤーのうち最も遅いものに下から縛られる。
まずこれを体に入れること。サプライヤーを追加しても、完全な検索が速くなることは決してない。結果一式が「完了」するまでに空けなければならない車線が一本増えるだけだ。
それから応答が戻り、本当にあなたのものである仕事が始まる。サプライヤーごとの大きなXMLまたはJSONペイロードを解析し、相手の空港・航空会社・運賃コードを自社のコードに対応付け、三つのソースが三つの価格で返した同一旅程を重複排除し、問い合わせているテナントのmarkupルールを適用し、通貨を円に換算し、並べ替える。混み合う路線ではこの段階はただではなく、プロファイラが行動に移せることを教えてくれる唯一の場所でもある。ホテル側については遅いサプライヤーを前提にしたホテル空室APIクライアント設計で書いた。フライト側も同じ形で、対応付けるコードが多いだけだ。
したがって、遅い検索の正直な内訳は三つのバケツになる。
- サプライヤー待ち — 単一サプライヤーの最も長い応答。あなたには制御できない。
- あなたの後処理 — 解析、対応付け、重複排除、価格付け、並べ替え。すべてあなたが制御する。
- 配信 — 統合した結果を直列化してブラウザへ届ける。通常は小さいが、時に意外な大きさになる。
直せる半分と、直そうとするのをやめるべき半分
二つ目のバケツから始める。あなたのものだからだ。よくある発見を、現れる順に挙げる。テーブルを一度読み込む代わりに空港コードを一件ずつデータベースに問い合わせる対応付け処理。検索ごとではなく運賃ごとにレートサービスを呼ぶ通貨換算。すべての旅程を他のすべてと比較する重複排除ルーチン。テナントごとにオブジェクトグラフを歩き直す直列化。どれも珍しくはない。どれも一スプリントで直せ、修正は持続する。
接続の扱いは、もう一つ本当に効く場所だ。検索のたびにサプライヤーと新しいTLSハンドシェイクを行うのは純粋なオーバーヘッドで、検索をまたいで温かい接続をプールで保てば消える。とりわけGDSセッションは開くのが高価で再利用は安く、だからこそあの世界ではセッション管理が実装の細部ではなく製品機能なのだ。
次に、直すのをやめるべき半分。サプライヤーをより速く応答させることはできない。アカウントマネージャーに苦情を言うことはできるし、路線が速いノードへ移されることもたまにあるが、他人のシステムの応答時間はあなたのデプロイの変数ではない。これを忘れたチームは、全体の大半だったサプライヤー待ちが動かないまま、自分の後処理を薄い一片からさらに薄い一片へ削ることに何四半期も費やす。プロファイラは正直だった。彼らが、問題ないと言われた部分を最適化し続けただけだ。
遅いサプライヤーに対してあなたができるのは、どれだけ待つ用意があるか、その間ユーザーに何を見せるかを決めることだ。それが本稿の残りである。
Progressive renderingが正直な答えだ
完全な結果一式が最も遅いサプライヤーに縛られるなら、ユーザーに何かを早く見せる唯一の方法は、一式が完成するのを待つのをやめることだ。最初に応答したサプライヤーの結果を見せる。次のサプライヤーの結果が届いたら足す。遅れている分がまだ飛んでいる間に、ユーザーが読み、絞り込み、比較を始められるようにする。これがprogressive renderingであり、トリックではない。サーバーで実際に起きていることの正確な表現だ。
後から気づくのではなく、設計しておく価値のある帰結が伴う。
- 並び順の安定性。 価格順のリストがサプライヤーの到着のたびに並べ直されると、ユーザーがまさにクリックしようとした運賃が動く。新しい結果はその場に差し込むか、まとめておいてユーザーに引き込ませるかにして、カーソルの下でリストをかき混ぜてはいけない。
- 「最安」は暫定である。 最後のサプライヤーが入るまで、最安運賃の主張は応答済みのサプライヤーについての主張でしかない。インターフェースは完全なふりをせず、その状態を見えるようにすべきだ。
- 予約ステップは必ず再確認する。 早い応答で表示した運賃は、ユーザーがクリックする頃には消えているかもしれない。非漸進的な設計でも同じだが、progressive renderingはその窓を広げる。予約API連携の記事がre-priceの手順を扱っている。ここでは任意ではない。
- キャッシュは難しくならず、単純になる。 サプライヤーごとの結果はサプライヤーごとの寿命でキャッシュできる。ベッドバンクの静的レートは数時間、NDCオファーは数分。一枚岩に統合した結果は、最短の寿命をすべてに強いる。
これを支えるAPIの形は、識別子を即座に返し、クライアントが届いた順に結果をポーリングまたは購読できる検索で、各バッチにはソースのタグと検索がまだ開いているかを示すフラグが付く。プラットフォームのフライトAPIとホテルAPIはその形を中心に作られている。旅行APIのページが提供範囲を説明しており、アクセスはセルフサービスのキーではなく対話から始まるので、質問を持ってきてほしい。
リクエストごとではなく、サプライヤーごとのtimeout
検索全体に一つのtimeoutを置くのは、この層で最もよくある間違いで、両方向に同時に間違っている。短く設定すれば、遅いが価値のあるサプライヤーが毎回切られ、その在庫を静かに売らなくなる。長く設定すれば、一つの止まったサプライヤーが、即座に届いた分も含めてすべての結果を人質に取る。
| 判断 | 検索全体に一つのtimeout | サプライヤーごとの予算 |
|---|---|---|
| 一社が止まる | 全員が待ち、やがて全員が失敗するか全員が切られる | その一社だけ今回の検索から外し、残りを表示する |
| 遅いが運賃の良いサプライヤー | 常に除外されるか、常にページを遅くする | 速い社より長い予算を与え、遅れて描画する |
| 再試行 | fan-out全体をやり直し、応答済みの社への負荷を倍にする | 失敗した一社だけ、それも再試行に値する場合のみ |
| ユーザーに見えるもの | スピナー、その後すべてかエラーか | 埋まっていく結果と、やがて閉じる「検索中」の状態 |
| 運用に見えるもの | どのソースが原因か示さない「検索がタイムアウト」 | サプライヤー名の横に置けるサプライヤー別のtimeout件数 |
| 調整 | 永遠に議論される一つの数字 | 各社の履歴から決めるサプライヤーごとの一つの数字 |
サプライヤーごとの予算は、商業的な現実が宿る場所でもある。運賃がめったに選ばれないサプライヤーは、その路線で予約の大半を取る社と同じ忍耐に値しない。日本–中東路線でのconsolidatorのnet運賃は待つ価値があるかもしれないが、先の三社と同じホテルを返す四社目のベッドバンクにはない。予算は数字で表した製品上の判断であり、サプライヤーごとに、テナントが異なるならテナントごとに設定し、見直すべきものだ。
元が取れる改良が二つ。第一に、予算は上限だけではない。予算のごく一部で返ってきたが空の結果だったサプライヤーは、タイムアウトしたサプライヤーとは別の信号であり、二つは別々に数えるべきだ。第二に、再試行はサプライヤー単位に属し、まれであるべきだ。たった今タイムアウトしたサプライヤーへ検索をやり直すと、たいてい相手側のキューに検索が二件並び、次も遅くなるうえ、従量契約では金がかかる。
数字に意味を持たせるために何を測るか
「平均検索時間」は誰もが報告し、最も教えてくれない数字だ。キャッシュ済みのホテル照会と六社をまたぐ国際fan-outを混ぜ、原因のサプライヤーを隠し、コードが変わったときではなくトラフィック構成が変わったときに動く。それぞれ一つの問いに答える、小さな測定の組に置き換えよう。
- 最初の結果までの時間、検索ごと。ユーザーが速さとして体感するものだ。あなたの最速のサプライヤーにあなた自身のオーバーヘッドを足したものに縛られ、ここが実際に改善できる部分である。
- 完了までの時間、検索ごと、それを閉じたサプライヤーの名前とともに。常に一社が最後なら、それはエンジニアリングではなく予算の話だ。
- サプライヤーごとの応答時間、平均ではなく分布として、路線と時間帯のタグ付きで。朝は良く夜は遅いサプライヤーは平均では良く見えるが、良くない。
- 結果の一種としてのtimeout、「結果を返した」「空を返した」と並べてサプライヤーごとに数える。timeoutは得られなかった結果であり、得られた結果と同じグラフに属する。
- あなた自身の後処理時間、別枠で。これが伸びればコードの問題。サプライヤー待ちが伸びれば、話し合いの問題。
- 予約あたりの検索数、サプライヤーごと、テナントごと。送る検索はすべてサプライヤーの容量を消費し、ほとんどの契約はこの比率を気にする。再試行で検索量を倍にした遅延対策は、数字を良くではなく悪くしている。
ユーザーが見る地点でも測ること。ブラウザが遅い直列化を待っている間に速い検索を報告するサーバーは、真実を語りながら同時にあなたを誤らせている。
間違えると何を失うか
明白なコストはチケットにあるものだ。待って、去るユーザー。明白でないコストは商業的なものだ。短すぎる検索全体のtimeoutは毎回の検索から一社を静かに消し、アカウントマネージャーがなぜ予約が止まったのかと尋ねて初めて気づく。fan-out全体の再試行は予約あたりの検索比率を倍にし、その比率を測るサプライヤーはスロットリングか請求書で応える。ユーザーのカーソルの下で漸進リストを並べ直せば、違う運賃への誤クリックが生まれ、サポートチケットに、ときに返金になる。そして平均ベースのダッシュボードは、数字を緑に保ったままこの三つすべてを起こさせる。
どれも、コードを速くしても解決しない。サプライヤーごとにどれだけ待つかを決め、待つ間にあるものをユーザーに見せ、実際に動いたものを測ることで解決する。コードの高速化はやる価値がある。ただ、それは間違っていた部分ではない。