여행 API 지연시간: 고칠 수 있는 것과 없는 것

티켓에는 "검색이 느리다"고 적혀 있습니다. 인천–두바이 왕복 검색의 trace를 열어 보면, 당신이 직접 쓴 코드는 맨 앞의 얇은 조각 하나와 맨 뒤의 조각 하나뿐입니다. 그 사이는 전부 기다림입니다. GDS를 기다리고, NDC 항공사 두 곳을 기다리고, 내킬 때 응답하는 호텔 애그리게이터를 기다립니다. 여행 API 지연시간은 프로파일러가 당신이 쓰지도 않았고 배포할 수도 없는 코드를 계속 가리키는 유일한 성능 문제입니다. 트레이스를 몇 번을 다시 열어 봐도 같은 그림입니다. 이것이 "고친다"의 의미를 바꾸며, 팀이 여기에 쏟는 노력 대부분은 잘못된 절반으로 갑니다.
다중 공급사 검색에서 여행 API 지연시간은 실제로 어디로 가는가
예약 엔진의 항공 검색 한 번은 요청 하나가 아닙니다. fan-out입니다. 엔진은 출발지, 목적지, 날짜, 탑승객 구성을 받아 해당 노선에서 조회가 허용된 공급사마다 전용 형식의 요청을 만들고, 전부 동시에 보낸 뒤 기다립니다. 공급사마다 시계가 다릅니다. 예열됐거나 그렇지 않은 GDS 세션, 항공사 쪽에서 재가격 산정 중인 NDC 게이트웨이, 뒤에 있는 채널 매니저들로 다시 fan-out하는 베드뱅크. 사용자에게 보여 줄 수 있는 결과는 평균이 아니라, 기다리기로 한 공급사 중 가장 느린 곳에 의해 아래쪽이 묶입니다.
이것이 먼저 체득해야 할 사실입니다. 공급사를 추가하면 완성된 검색이 빨라지는 일은 결코 없습니다. 전체 결과가 "완료"되기 전에 비워져야 할 차선이 하나 늘어날 뿐입니다. 공급사가 다섯이든 열이든 마찬가지입니다.
그다음 응답이 돌아오고, 당신이 실제로 소유한 일이 시작됩니다. 공급사별로 큰 XML 또는 JSON 페이로드를 파싱하고, 그들의 공항·항공사·운임 코드를 당신 코드에 매핑하고, 세 곳이 세 가지 가격으로 돌려준 같은 여정을 중복 제거하고, 요청한 테넌트의 markup 규칙을 적용하고, 통화를 원화로 환산하고, 정렬합니다. 바쁜 노선에서 이 단계는 공짜가 아니며, 프로파일러가 실행 가능한 무언가를 말해 주는 유일한 곳입니다. 호텔 쪽은 느린 공급사를 전제로 한 호텔 가용성 API 클라이언트 설계에서 다뤘습니다. 항공 쪽은 같은 모양에 매핑할 코드만 더 많습니다.
그러니 느린 검색을 정직하게 나누면 세 바구니입니다.
- 공급사 대기 — 단일 공급사의 가장 긴 응답. 당신이 통제하지 못합니다.
- 당신의 후처리 — 파싱, 매핑, 중복 제거, 가격 산정, 정렬. 전부 당신이 통제합니다.
- 전달 — 병합된 결과를 직렬화해 브라우저로 보내는 일. 보통 작지만 가끔 놀라게 합니다.
고칠 수 있는 절반, 그리고 고치려는 시도를 멈춰야 할 절반
두 번째 바구니부터 시작하십시오. 당신 것이니까요. 흔히 나오는 발견을 나타나는 순서대로 보면, 테이블을 한 번 로드하는 대신 공항 코드마다 데이터베이스를 따로 조회하는 매핑 단계, 검색당이 아니라 운임당 환율 서비스를 호출하는 통화 환산, 모든 여정을 다른 모든 여정과 비교하는 중복 제거 루틴, 테넌트마다 객체 그래프를 다시 훑는 직렬화. 특이한 것은 없습니다. 전부 한 스프린트 안에 고칠 수 있고, 그 수정은 오래갑니다.
연결 처리는 이득이 실제로 나는 또 다른 곳입니다. 검색마다 공급사와 새로 맺는 TLS 핸드셰이크는 순수한 오버헤드입니다. 검색 사이에 살려 두는 따뜻한 연결 풀이 이를 없앱니다. 특히 GDS 세션은 열기엔 비싸고 재사용하기엔 쌉니다. 그 세계에서 세션 관리가 구현 세부가 아니라 제품 기능인 이유입니다. 검색 수가 많을수록 이 비용은 그대로 곱해집니다.
이제 고치기를 멈춰야 할 절반입니다. 공급사가 더 빨리 응답하게 만들 수는 없습니다. 어카운트 매니저에게 항의할 수는 있고, 가끔 노선이 더 빠른 노드로 옮겨지기도 하지만, 남의 시스템의 응답 시간은 당신 배포의 변수가 아닙니다. 이를 잊은 팀은 전체의 대부분이던 공급사 대기는 그대로인 채, 자기 후처리를 얇은 조각에서 더 얇은 조각으로 깎는 데 몇 분기를 씁니다. 프로파일러는 그들에게 정직했습니다. 그들이 괜찮다고 한 부분을 계속 최적화했을 뿐입니다.
느린 공급사에 대해 할 수 있는 일은, 얼마나 기다릴 준비가 되어 있는지와 그동안 사용자가 무엇을 보는지를 결정하는 것입니다. 이 글의 나머지가 그 이야기입니다.
Progressive rendering이 정직한 답이다
완성된 결과 집합이 가장 느린 공급사에 묶여 있다면, 사용자에게 더 빨리 무언가를 보여 주는 유일한 방법은 집합이 완성되기를 기다리지 않는 것입니다. 가장 먼저 응답한 공급사의 결과를 보여 주십시오. 다음 공급사의 결과가 도착하면 추가하십시오. 늦는 곳들이 아직 오는 동안 사용자가 읽고, 필터링하고, 비교하게 두십시오. 이것이 progressive rendering이며 속임수가 아닙니다. 서버에서 실제로 일어나는 일을 정확히 표현한 것입니다. 사용자는 비어 있는 화면보다 채워지는 화면을 더 오래 기다려 줍니다.
나중에 발견하기보다 미리 설계해 둘 가치가 있는 결과들이 따라옵니다. 네 가지 모두 UI 문제처럼 보이지만 실제로는 API 설계 문제입니다.
- 정렬 안정성. 가격순으로 정렬된 목록이 공급사가 도착할 때마다 재정렬되면 사용자가 막 클릭하려던 운임이 움직입니다. 새 결과를 제자리에 끼워 넣거나, 묶어 두고 사용자가 직접 당겨 오게 하되, 커서 아래에서 목록을 뒤섞지 마십시오.
- "최저가"는 잠정적이다. 마지막 공급사가 들어오기 전까지 최저 운임 주장은 응답한 공급사에 대한 주장일 뿐입니다. 인터페이스는 완결된 척하지 말고 그 상태를 보이게 해야 합니다.
- 예약 단계는 반드시 재확인한다. 이른 응답에서 보여 준 운임은 사용자가 클릭할 때쯤 사라졌을 수 있습니다. 비점진적 설계에서도 마찬가지지만 progressive rendering은 그 창을 더 넓힙니다. 예약 API 연동 글이 re-price 단계를 다룹니다. 여기서는 선택이 아닙니다.
- 캐싱은 더 어려워지지 않고 더 단순해진다. 공급사별 결과는 공급사별 수명으로 캐시할 수 있습니다. 베드뱅크의 정적 요금은 몇 시간, NDC 오퍼는 몇 분 살 수 있습니다. 하나로 병합된 결과는 가장 짧은 수명을 모두에게 강제합니다.
이를 뒷받침하는 API 형태는 식별자를 즉시 돌려주고 클라이언트가 결과를 도착하는 대로 폴링하거나 구독하게 하는 검색이며, 각 묶음에는 출처 태그와 검색이 아직 열려 있는지 알리는 플래그가 붙습니다. 플랫폼의 항공·호텔 API는 그 형태를 중심으로 만들어졌습니다. travel API 페이지가 제공 범위를 설명하며, 접근은 셀프서비스 키가 아니라 대화로 시작하니 질문을 가져오십시오.
요청당이 아니라 공급사당 timeout
검색 전체에 timeout 하나를 두는 것은 이 계층에서 가장 흔한 실수이며, 양쪽 방향으로 동시에 틀립니다. 짧게 잡으면 느리지만 가치 있는 공급사가 검색마다 잘려 나가고, 당신은 조용히 그곳의 재고를 팔지 않게 됩니다. 길게 잡으면 멈춘 공급사 하나가 즉시 도착한 결과까지 모든 결과를 인질로 잡습니다. 어느 쪽 값을 고르든 누군가는 손해를 봅니다.
| 결정 | 검색 전체에 timeout 하나 | 공급사별 예산 |
|---|---|---|
| 공급사 하나가 멈춤 | 모두 기다리다가 모두 실패하거나 모두 잘림 | 그 공급사만 이번 검색에서 제외되고 나머지는 표시됨 |
| 느리지만 운임이 좋은 공급사 | 항상 제외되거나 항상 페이지를 느리게 함 | 빠른 곳보다 긴 예산을 받고 늦게 렌더링됨 |
| 재시도 | fan-out 전체를 재시도해 이미 응답한 공급사의 부하를 두 배로 | 실패한 곳만, 그것도 재시도할 가치가 있을 때만 |
| 사용자가 보는 것 | 스피너, 그다음 전부 아니면 오류 | 채워지는 결과와 결국 닫히는 "아직 검색 중" 상태 |
| 운영팀이 보는 것 | 어느 소스 탓인지 표시 없는 "검색 시간 초과" | 공급사 이름 옆에 둘 수 있는 공급사별 timeout 횟수 |
| 조정 | 영원히 논쟁하는 숫자 하나 | 각 공급사의 이력에서 정한 공급사별 숫자 하나 |
표의 오른쪽 열은 설정이 늘어나는 대신 운영이 단순해지는 쪽입니다. 공급사별 예산은 상업적 현실이 사는 곳이기도 합니다. 운임이 거의 선택되지 않는 공급사는 그 노선에서 예약 대부분을 따내는 공급사와 같은 인내를 받을 자격이 없습니다. 한국–중동 노선에서 consolidator의 net 운임은 기다릴 가치가 있을 수 있지만, 앞의 세 곳과 같은 호텔을 돌려주는 네 번째 베드뱅크는 아닙니다. 예산은 숫자로 표현된 제품 결정이며, 공급사별로, 테넌트가 다르면 테넌트별로 정하고 다시 살펴야 합니다. 노선마다 답이 다를 수 있고, 그래야 정상입니다.
스스로 값을 하는 두 가지 보완. 첫째, 예산은 최대치만이 아닙니다. 예산의 일부만 쓰고 빈 결과를 돌려주는 공급사는 시간 초과된 공급사와 다른 신호이며, 둘은 따로 세어야 합니다. 둘째, 재시도는 공급사 수준에 속하고 드물어야 합니다. 방금 시간 초과된 공급사에 검색을 다시 보내면 보통 그쪽 큐에 검색 두 건이 쌓여 다음 것도 느려지고, 종량제 계약에서는 돈이 듭니다. 재시도는 공짜가 아니라 상대 시스템에 보내는 추가 요청입니다.
숫자가 의미를 가지려면 무엇을 측정할 것인가
"평균 검색 시간"은 모두가 보고하면서 가장 적게 알려 주는 숫자입니다. 캐시된 호텔 조회와 공급사 여섯 곳의 국제 fan-out을 섞고, 원인인 공급사를 숨기며, 코드가 바뀔 때가 아니라 트래픽 구성이 바뀔 때 움직입니다. 대시보드에 숫자가 하나뿐이라면 그 숫자가 바로 이것일 가능성이 큽니다. 각각 하나의 질문에 답하는 작은 측정 집합으로 바꾸십시오.
- 첫 결과까지의 시간, 검색별. 사용자가 속도로 체감하는 것입니다. 가장 빠른 공급사에 당신의 오버헤드를 더한 값에 묶이며, 실제로 개선할 수 있는 부분입니다. 공급사 대기를 줄일 수 없을 때도 이 값은 줄일 수 있습니다.
- 완료까지의 시간, 검색별, 검색을 닫은 공급사의 신원과 함께. 한 공급사가 늘 마지막이라면 엔지니어링 문제가 아니라 예산 대화입니다.
- 공급사별 응답 시간, 평균이 아니라 분포로, 노선과 시간대 태그를 붙여서. 아침엔 괜찮고 저녁엔 느린 공급사는 평균으로는 괜찮아 보이지만 그렇지 않습니다. 분포의 꼬리가 사용자의 불만을 만듭니다.
- 결과 유형으로서의 timeout, "결과 반환", "빈 결과 반환"과 나란히 공급사별로 집계. timeout은 받지 못한 결과이며, 받은 결과와 같은 차트에 속합니다.
- 당신 자신의 후처리 시간, 따로. 이것이 늘면 코드 문제입니다. 공급사 대기가 늘면 대화할 일입니다.
- 예약당 검색 수, 공급사별·테넌트별. 보내는 검색마다 공급사의 용량을 쓰며, 대부분의 계약이 이 비율을 봅니다. 재시도로 검색량을 두 배로 늘린 지연 개선은 숫자를 좋게가 아니라 나쁘게 만든 것입니다.
사용자가 보는 지점에서도 측정하십시오. 브라우저가 느린 직렬화 단계를 기다리는 동안 빠른 검색을 보고하는 서버는 진실을 말하는 동시에 당신을 오도합니다.
잘못하면 무엇을 잃는가
명백한 비용은 티켓에 있는 것입니다. 기다리다 떠나는 사용자. 덜 명백한 비용은 상업적입니다. 너무 짧게 잡은 검색 전체 timeout은 검색마다 공급사 하나를 결과에서 조용히 지우고, 어카운트 매니저가 왜 예약이 멈췄느냐고 물을 때야 알게 됩니다. fan-out 전체 재시도는 예약당 검색 비율을 두 배로 만들고, 그 비율을 재는 공급사는 스로틀링이나 청구서로 답합니다. 사용자 커서 아래에서 점진 목록을 재정렬하면 잘못된 운임을 클릭하게 되어 지원 티켓, 때로는 환불이 됩니다. 그리고 평균 기반 대시보드는 숫자가 초록색인 채로 이 셋이 모두 일어나게 둡니다. 이 세 가지는 서로를 가리기까지 합니다.
이 중 어느 것도 코드를 빠르게 해서 해결되지 않습니다. 공급사별로 얼마나 기다릴지 결정하고, 기다리는 동안 가진 것을 사용자에게 보여 주고, 실제로 움직인 것을 측정해야 해결됩니다. 코드 가속은 할 가치가 있습니다. 다만 그것이 틀렸던 부분은 아닙니다.