여행 API 샌드박스 테스트: 샌드박스가 끝내 보여주지 않는 시나리오들

통합은 여행 API 샌드박스(sandbox) 테스트가 던질 수 있는 모든 시나리오를 통과했습니다. 검색은 항공편을 돌려주었고, 호텔 가용성 호출은 객실을 반환했으며, 예약 호출은 매번 빠짐없이 확인 번호를 돌려주었습니다. QA는 목요일에 승인을 내렸습니다. 그런데 바로 다음 주 화요일, 한 고객은 호텔을 어떤 가격에 결제했는데 공급사는 다른 가격으로 예약을 확정했고, 항공 예약 한 건은 타임아웃이 나서 좌석이 잡혔는지 아닌지 아무도 말할 수 없었으며, 상담원 한 명은 같은 여행을 가리키는 두 개의 기록을 맞추느라 오후를 통째로 보냈습니다. 이 가운데 어느 것도 테스트 스위트가 놓친 버그가 아니었습니다. 테스트 스위트가 애초에 볼 방법이 없었던 시나리오였을 뿐입니다. 샌드박스는 꼭 필요하지만 그것만으로는 한참 부족하고, 그 둘 사이의 간극이 바로 여행 통합에서 가장 비싼 사고들이 대부분 일어나는 곳입니다.
이 글은 그런 통합을 책임지는 개발자를 위한 테스트 계획입니다. 샌드박스가 증명할 수 있는 것은 무엇인지, 구조적으로 증명할 수 없는 것은 무엇인지, 그리고 회사 카드로 실제 좌석을 예약하지 않고도 그 차이를 어떻게 메울 수 있는지를 다룹니다.
여행 API 샌드박스 테스트를 통과한 코드가 프로덕션에서 깨지는 이유
샌드박스가 약속하는 것은 응답의 형태이지, 응답의 동작이 아닙니다. 스키마는 프로덕션과 같습니다. 하지만 동작은 거의 절대 같지 않으며, 그 이유는 누구의 잘못도 아닙니다. 테스트 환경은 실시간 재고를 운영할 여유가 없기 때문에, 절대 매진되지 않고 가격이 다시 매겨지지도 않으며 스케줄이 바뀌지도 않는 고정된 운임과 객실 세트를 제공합니다. 다른 사람이 아무도 쓰지 않으니 응답도 빠릅니다. 처리 도중에 실패하는 일도 거의 없습니다.
프로덕션에서는 이 모든 일이 매일 일어납니다. 재고는 다른 모든 판매자와 공유되고, 운임은 상류의 누군가가 캐시해 두었다가 오래된 값이 되며, 부하가 걸린 공급사 시스템은 느리게 응답하거나 아예 응답하지 않습니다. 샌드박스만 경험해 본 코드는 사실상 공급사가 완벽한 하루를 보내는 상황에서만 테스트된 셈입니다.
그러니 샌드박스를 세 개의 계층 중 하나로 다루십시오. 샌드박스는 요청이 올바른 형식이고 파서가 스키마를 이해한다는 것을 증명합니다. 녹화된 픽스처는 프로덕션이 실제로 보내는 응답을 코드가 견뎌낸다는 것을 증명합니다. 작고 의도적으로 고른 실환경 점검은 무언가가 바뀐 뒤에도 연결이 제대로 되어 있다는 것을 증명합니다. 각 계층은 나머지 두 계층이 잡지 못하는 것을 잡아냅니다.
샌드박스가 보통 재현해 주지 못하는 시나리오
테스트를 한 줄이라도 작성하기 전에 다음 시나리오를 먼저 적어 두십시오. 샌드박스가 특별한 테스트 값으로 한두 개는 흉내 낼 수도 있지만, 대부분은 아예 지원하지 않습니다.
| 시나리오 | 프로덕션에서 일어나는 일 | 커버하는 방법 |
|---|---|---|
| 검색과 예약 사이의 가격 변경 | 예약 호출이 다른 총액으로 성공하거나, 사용자에게 반드시 알려야 하는 가격 변경 오류로 실패합니다 | 픽스처 한 쌍: 검색 응답과 총액이 다른 예약 응답. 여행자에게 다시 확인을 받는지, 몰래 결제되는 일이 절대 없는지 검증합니다 |
| 가용성 조회와 예약 사이의 매진 | 제시되었던 객실이나 운임 등급이 홀드하려는 순간 이미 사라졌습니다 | 공급사의 실제 매진 오류를 담은 픽스처. 여행자가 오류 페이지가 아니라 검색 결과로 돌아가는지 검증합니다 |
| 예약 호출 타임아웃 | 공급사가 예약을 생성했을 수도, 안 했을 수도 있습니다 | 요청을 보낸 뒤에 타임아웃을 주입합니다. 어떤 재시도보다 먼저 예약 상태를 조회하는지 검증합니다 |
| 중복 제출 | 더블 클릭이나 클라이언트 재시도로 예약이 두 건 생성됩니다 | 같은 예약을 같은 idempotency key(멱등성 키)로 두 번 보냅니다. 예약이 정확히 한 건만 존재하는지 검증합니다 |
| 발권 후 스케줄 변경 | 판매한 항공편이 이제 다른 시각에, 혹은 다른 편명으로 출발합니다 | 변경된 여정을 담은 픽스처. 그 변경이 고객을 담당하는 사람에게 전달되는지 검증합니다 |
| 복수 항목 예약의 부분 성공 | 항공편은 확정되고 호텔은 확정되지 않습니다 | 혼합 픽스처. 시스템이 실제로 확정된 내용만 정확히 기록하고 담당자에게 알리는지 검증합니다 |
| 부하 시 스로틀링 | 요청 한도 초과 응답이 오고, 이어서 느린 응답이 옵니다 | 녹화해 둔 스로틀링 응답을 재생합니다. 백오프가 작동하는지, 검색이 오류를 내는 대신 성능만 낮아지는지 검증합니다 |
여러분의 스택에서는 마지막 열에 동의하지 않을 수도 있습니다. 괜찮습니다. 중요한 것은 모든 행에 담당자와 검증 조건이 있어야 한다는 점입니다. 언젠가는 하나도 빠짐없이 여러분에게 일어날 일들이기 때문입니다.
지어낸 응답이 아니라 실제 응답으로 픽스처를 만들 것
여행 통합에서 가장 쓸모 있는 습관은 여러분을 놀라게 했던 응답을 보관해 두는 것입니다. 손으로 작성한 목(mock) 데이터는 공급사가 보낼 것이라고 여러분이 생각하는 내용을 반영합니다. 녹화된 응답은 공급사가 실제로 보낸 내용을 반영합니다. 문서에는 절대 비어 있지 않다고 적혀 있는데 비어 있는 필드, 요청하지도 않은 통화로 표시된 가격, 성공 상태 코드와 함께 도착하는 오류까지 모두 포함해서 말입니다.
효과가 검증된 루틴은 다음과 같습니다.
- 경계 지점에서 녹화하십시오. 비프로덕션 환경에서는 공급사 호출의 원본 요청과 응답 본문을 기록하고, 개인정보 규정이 허용한다면 프로덕션에서도 트래픽 일부를 샘플링해 기록하십시오.
- 보관하기 전에 정리하십시오. 승객 이름, 여권 번호, 이메일, 전화번호, 결제 참조 번호는 픽스처가 저장소에 들어가기 전에 제거해야 합니다. 누구도 픽스처를 실제 예약으로 착각하지 않도록 누가 봐도 가짜인 값으로 바꿔 두십시오.
- 픽스처 이름은 동작을 기준으로 지으십시오.
hotel-book-price-increased.json은 다음 개발자에게 이 파일이 왜 존재하는지 알려 주지만,response-17.json은 아무것도 알려 주지 않습니다. - 지저분한 응답은 영원히 보관하십시오. 어느 일요일에 검색 기능을 멈춰 세웠던 잘못된 형식의 응답은 여러분이 가진 가장 귀중한 파일입니다. 그 파일은 커밋할 때마다 실행되는 테스트 안에 있어야 합니다.
그다음 이 픽스처들을 대상으로 계약 테스트를 작성하십시오. 파서, 내부 모델로의 매핑, 오류 분류가 그 대상입니다. 공급사가 필드 이름을 바꿨을 때 계약 테스트가 실패한다면, 여러분은 그 사실을 고객이 아니라 CI에서 알게 됩니다. 오류 분류에 관해서는 예약 엔진 API 오류 처리에 관한 글에서 더 깊이 다룹니다.
돈을 쓰지 않고 돈이 오가는 경로를 테스트하기
샌드박스가 가장 도움이 안 되는 부분이 바로 여기입니다. 돈이 오가는 경로야말로 테스트 환경이 실제 환경과 가장 크게 다른 곳이기 때문입니다. 실제 발권, 실제 카드 승인, 실제 공급사 정산은 가장 정확하게 해내야 하는 일이면서도 실환경에서 미리 연습해 보기가 가장 어려운 일입니다.
문제를 나누십시오. 가격 계산은 순수한 로직이므로 오프라인에서 빠짐없이 테스트할 수 있습니다. 녹화된 운임을 가져와 마크업 규칙, 환율 변환, 반올림을 적용한 뒤 여행자에게 보이는 총액을 검증하십시오. 까다로운 경우에도 똑같이 하십시오. 한 통화로 책정된 운임을 다른 통화로 판매하는 경우, 어떤 상품에는 비율로, 다른 상품에는 정액으로 붙는 마크업, 소아 운임, 화면 표시와 결제 사이에 반올림 단계가 달라지는 경우 등입니다. 몇 단위 차이로 틀린 총액도 틀린 것이며, 게다가 모든 예약에서 똑같이 틀립니다.
나머지 절반은 결제를 둘러싼 상태 전이입니다. 견적, 홀드, 결제, 확정, 발권, 취소, 환불처럼 상태를 명시적으로 모델링하고, 모든 전이가 정확히 하나의 원인을 갖는지 테스트하십시오. 가장 비싼 버그를 잡아내는 테스트는 공급사가 확정하지 않은 예약에 대해서는 결제를 승인할 수 없고, 결제 기록 없이는 확정된 예약이 존재할 수 없다는 것을 검증하는 테스트입니다.
마지막으로, 테스트 실행이 실제 발권에 닿는 일을 불가능하게 만드십시오. 가능성이 낮은 정도가 아니라 불가능해야 합니다. 프로덕션 자격 증명이 로드되어 있으면 테스트 스위트 실행을 거부하는 시작 시 점검은 코드 한 줄이면 되고, 통합 팀이 겪을 수 있는 최악의 아침을 막아 줍니다.
잘못했을 때 치르게 되는 비용
여행 통합에서 놓친 시나리오는 오류로 나타나는 경우가 드뭅니다. 겉보기에는 멀쩡한 예약으로 나타납니다. 아무도 요청하지 않은 중복 발권 항공권이 생기고, 누군가는 마감 전에 그것을 무효 처리해야 합니다. 여행사가 이제 손실을 떠안아야 하는 가격으로 호텔이 확정됩니다. 타임아웃이 난 예약을 시스템이 재시도하는 바람에 공급사는 객실 두 개를 잡아 두고 두 개 모두에 대해 청구합니다. 여행사를 통해 판매된 항공권의 경우, 발권된 내용과 판매된 내용 사이의 불일치는 나중에 ADM으로 돌아올 수 있으며, 그때는 이미 그 판매에서 남긴 마진을 다 써 버린 지 오래입니다.
이런 비용은 재시도 루프를 작성한 개발자가 아니라 여행 상품을 판매한 회사가 떠안습니다. 상담 티켓 하나하나를 통해 뒤늦게 배우는 대신 출시 전에 이런 시나리오를 테스트해야 하는 이유는 전부 여기에 있습니다.
공급사가 무언가를 바꿀 때마다 실행할 스모크 테스트
공급사는 무언가를 바꿉니다. 새로운 API 버전, 새로운 엔드포인트, 교체된 자격 증명, 달라진 콘텐츠 매핑 같은 것들입니다. 여러분의 코드는 전혀 바뀌지 않았을 수도 있습니다. 그래도 변경된 공급사와 통신하는 환경에서 다음 목록을 실행하십시오.
- 해당 공급사에서 판매하는 상품마다 검색을 한 번씩 실행하되, 결과가 나오는 것으로 알고 있는 노선이나 도시로 하십시오.
- 모든 결과를 하나도 조용히 누락하지 않고 파싱한 뒤, 여러분이 센 개수를 원본 응답에 들어 있는 개수와 비교하십시오.
- 결과 하나의 가격을 처음부터 끝까지 계산해 보고, 화면에 표시된 총액을 원본 운임에서 직접 계산한 값과 비교하십시오.
- 테스트 환경에서 예약을 하나 만들고, 그 상태를 다시 읽어 와 저장하는 모든 필드를 비교하십시오.
- 그 예약을 취소하고, 취소가 여러분의 기록과 공급사 쪽 양쪽 모두에서 보이는지 확인하십시오.
- 저장해 둔 지저분한 픽스처들을 새 파서에 다시 돌려 보십시오.
- 타임아웃과 요청 한도가 여전히 여러분이 정해 둔 동작으로 매핑되는지 확인하십시오. 새 버전은 이를 다르게 응답할 수 있기 때문입니다. 응답 시간이 달라졌다면, 지연 시간에 관한 글에서 그중 어느 부분이 여러분이 고칠 몫인지 설명합니다.
매번 실행할 수 있을 만큼 짧다는 것, 그것이 핵심입니다. 하루가 걸려서 아무도 실행하지 않는 스모크 테스트는 스모크 테스트가 아닙니다.
샌드박스의 올바른 자리
이 모든 이야기가 샌드박스의 쓸모를 줄이는 것은 아닙니다. 오히려 샌드박스를 정직한 자리에 놓아 줍니다. 픽스처와 실환경 점검이 샌드박스가 닿지 못하는 부분을 넘겨받기 전에, 스키마를 익히고 요청이 올바른지 확인하는 곳 말입니다. 플랫폼의 항공 및 호텔 API를 검토하고 계시다면, 접근은 셀프서비스 키가 아니라 대화로 시작됩니다. 그 대화에 이 테스트 계획을 가져오셔서 위 표의 각 행이 어떻게 커버되는지 물어보십시오. 그 답변이 API에 대해 문서보다 더 많은 것을 알려 줄 것입니다.