ทดสอบ Travel API บนแซนด์บ็อกซ์: สิ่งที่มันไม่บอกคุณ

ระบบเชื่อมต่อผ่านทุกอย่างที่การทดสอบ Travel API บนแซนด์บ็อกซ์ (sandbox)โยนใส่ได้ การค้นหาคืนเที่ยวบินมาครบ การเรียกดูห้องว่างของโรงแรมได้ห้องกลับมา การเรียกจองคืนหมายเลขยืนยันทุกครั้งไม่มีพลาด และทีม QA เซ็นผ่านในวันพฤหัสบดี วันอังคารถัดมา ลูกค้าคนหนึ่งจ่ายเงินค่าโรงแรมในราคาหนึ่ง แต่ซัพพลายเออร์ยืนยันอีกราคาหนึ่ง การจองเที่ยวบินรายการหนึ่งหมดเวลา (timeout) และไม่มีใครบอกได้ว่ามีที่นั่งถูกกันไว้หรือไม่ ส่วนเจ้าหน้าที่ซัพพอร์ตใช้เวลาทั้งบ่ายกระทบยอดสองรายการที่อธิบายทริปเดียวกัน ไม่มีเรื่องไหนเป็นบั๊กที่ชุดทดสอบมองข้าม ทั้งหมดคือสถานการณ์ที่ชุดทดสอบไม่มีทางมองเห็นได้ตั้งแต่แรก แซนด์บ็อกซ์เป็นสิ่งจำเป็น แต่ห่างไกลจากคำว่าเพียงพอ และช่องว่างระหว่างสองคำนี้คือที่อยู่ของเหตุการณ์ราคาแพงส่วนใหญ่ในระบบเชื่อมต่อด้านการท่องเที่ยว
บทความนี้คือแผนทดสอบสำหรับนักพัฒนาที่ดูแลระบบเชื่อมต่อนั้น ว่าแซนด์บ็อกซ์พิสูจน์อะไรได้ อะไรที่โครงสร้างของมันพิสูจน์ไม่ได้เลย และจะปิดช่องว่างนั้นอย่างไรโดยไม่ต้องจองที่นั่งจริงด้วยบัตรของบริษัท
ทำไมการทดสอบ Travel API บนแซนด์บ็อกซ์จึงปล่อยโค้ดที่ไปพังบนโปรดักชัน
แซนด์บ็อกซ์คือคำสัญญาเรื่องรูปร่างของการตอบกลับ ไม่ใช่เรื่องพฤติกรรมของมัน สคีมาตรงกับโปรดักชัน แต่พฤติกรรมแทบไม่เคยตรง และไม่ใช่ความผิดของใคร สภาพแวดล้อมทดสอบไม่มีทางแบกรับการรันสต็อกจริงได้ จึงเสิร์ฟชุดค่าโดยสารและห้องพักที่ตายตัว ไม่เคยขายหมด ไม่เคยเปลี่ยนราคา และไม่เคยเปลี่ยนตารางบิน มันตอบเร็วเพราะไม่มีใครใช้งานอยู่ และแทบไม่เคยล้มเหลวกลางทาง
โปรดักชันทำทุกอย่างที่ว่ามานั้นทุกวัน สต็อกถูกแชร์กับผู้ขายรายอื่นทั้งหมด ค่าโดยสารถูกแคชไว้โดยใครสักคนต้นทางและค้างเก่า ระบบของซัพพลายเออร์ที่รับโหลดหนักตอบช้าหรือไม่ตอบเลย โค้ดที่เคยเจอแต่แซนด์บ็อกซ์ เท่ากับว่าถูกทดสอบกับซัพพลายเออร์ที่กำลังมีวันที่สมบูรณ์แบบเท่านั้น
ดังนั้นให้มองแซนด์บ็อกซ์เป็นหนึ่งในสามชั้น ชั้นแรกพิสูจน์ว่าคำขอของคุณสร้างถูกต้องและตัวพาร์เซอร์เข้าใจสคีมา ชั้นที่สองคือ fixture ที่บันทึกจากของจริง ซึ่งพิสูจน์ว่าโค้ดของคุณรอดจากการตอบกลับที่โปรดักชันส่งมาจริง ชั้นที่สามคือชุดตรวจสอบบนระบบจริงขนาดเล็กที่ตั้งใจออกแบบ ซึ่งพิสูจน์ว่าการเดินสายยังถูกต้องหลังมีอะไรเปลี่ยน แต่ละชั้นจับสิ่งที่อีกสองชั้นจับไม่ได้
สถานการณ์ที่แซนด์บ็อกซ์มักให้คุณไม่ได้
เขียนรายการเหล่านี้ไว้ก่อนจะเขียนเทสต์แม้แต่ตัวเดียว แซนด์บ็อกซ์อาจจำลองได้หนึ่งหรือสองกรณีผ่านค่าทดสอบพิเศษ แต่ส่วนใหญ่มันไม่มีให้เลย
| สถานการณ์ | สิ่งที่โปรดักชันทำ | วิธีครอบคลุม |
|---|---|---|
| ราคาเปลี่ยนระหว่างค้นหาและจอง | การเรียกจองสำเร็จแต่ยอดรวมไม่เท่าเดิม หรือล้มเหลวพร้อมข้อผิดพลาดเรื่องราคาเปลี่ยนที่คุณต้องแสดงให้ผู้ใช้เห็น | fixture เป็นคู่ คือผลค้นหาหนึ่งชุดและผลการจองที่ยอดรวมต่างกัน ตรวจสอบว่าระบบถามผู้เดินทางอีกครั้ง ไม่เรียกเก็บเงินแบบเงียบ ๆ |
| ขายหมดระหว่างเช็กห้องว่างและจอง | ห้องหรือชั้นค่าโดยสารที่เสนอไว้หายไปแล้วตอนที่คุณพยายามกันไว้ | fixture ของข้อผิดพลาด sold-out ตัวจริงจากซัพพลายเออร์ ตรวจสอบว่าผู้เดินทางถูกพากลับไปหน้าผลค้นหา ไม่ใช่หน้าแสดงข้อผิดพลาด |
| การเรียกจองหมดเวลา | ซัพพลายเออร์อาจสร้างการจองไปแล้วหรือยังไม่ได้สร้างก็ได้ | ฉีด timeout หลังส่งคำขอออกไปแล้ว ตรวจสอบว่าระบบสอบถามสถานะการจองก่อนจะมีการลองใหม่ใด ๆ |
| ส่งคำขอซ้ำ | การดับเบิลคลิกหรือการลองใหม่ฝั่งไคลเอนต์สร้างการจองสองรายการ | ส่งการจองเดียวกันสองครั้งด้วย idempotency key (คีย์กันการทำซ้ำ) เดียวกัน ตรวจสอบว่ามีการจองอยู่เพียงหนึ่งรายการพอดี |
| ตารางบินเปลี่ยนหลังออกตั๋ว | เที่ยวบินที่คุณขายไปตอนนี้ออกเดินทางคนละเวลา หรือใช้หมายเลขเที่ยวบินอื่น | fixture ของแผนการเดินทางที่ถูกแก้ไข ตรวจสอบว่าการเปลี่ยนแปลงไปถึงคนที่ดูแลลูกค้ารายนั้น |
| สำเร็จบางส่วนในการจองหลายรายการ | เที่ยวบินยืนยันแล้ว แต่โรงแรมไม่ยืนยัน | fixture แบบผสม ตรวจสอบว่าระบบบันทึกตรงตามสิ่งที่ได้รับการยืนยันจริงและแจ้งเตือนคน |
| ถูกจำกัดอัตราเมื่อโหลดสูง | ได้การตอบกลับแบบ rate-limit แล้วตามด้วยการตอบที่ช้าลง | เล่นซ้ำการตอบกลับ throttling ที่บันทึกไว้ ตรวจสอบว่ามี backoff และการค้นหาลดคุณภาพลงอย่างนุ่มนวลแทนที่จะพัง |
คุณอาจไม่เห็นด้วยกับคอลัมน์สุดท้ายสำหรับสแต็กของคุณเอง ไม่เป็นไร สิ่งสำคัญคือทุกแถวต้องมีเจ้าของและมีการตรวจสอบ เพราะสักวันทุกกรณีจะเกิดขึ้นกับคุณ
สร้าง fixture จากการตอบกลับจริง ไม่ใช่จากจินตนาการ
นิสัยที่มีประโยชน์ที่สุดในงานเชื่อมต่อระบบท่องเที่ยวคือการเก็บการตอบกลับที่ทำให้คุณประหลาดใจไว้ ข้อมูล mock ที่เขียนเองสะท้อนสิ่งที่คุณคิดว่าซัพพลายเออร์ส่งมา ส่วนการตอบกลับที่บันทึกไว้สะท้อนสิ่งที่มันส่งมาจริง รวมถึงฟิลด์ที่ว่างเปล่าทั้งที่เอกสารบอกว่าไม่มีวันว่าง ราคาในสกุลเงินที่คุณไม่ได้ขอ และข้อผิดพลาดที่มาพร้อมสถานะสำเร็จ
กิจวัตรที่ได้ผล:
- บันทึกที่จุดเชื่อมต่อ เก็บ body ดิบของคำขอและการตอบกลับจากการเรียกซัพพลายเออร์ในสภาพแวดล้อมที่ไม่ใช่โปรดักชัน และบนโปรดักชันในสัดส่วนทราฟฟิกที่สุ่มตัวอย่าง หากกฎความเป็นส่วนตัวของคุณอนุญาต
- ล้างข้อมูลก่อนเก็บ ชื่อผู้โดยสาร หมายเลขหนังสือเดินทาง อีเมล หมายเลขโทรศัพท์ และเลขอ้างอิงการชำระเงิน ต้องถูกลบออกก่อน fixture จะเข้า repository แทนที่ด้วยค่าปลอมที่เห็นชัดว่าปลอม เพื่อไม่ให้ใครเข้าใจผิดว่า fixture เป็นการจองจริง
- ตั้งชื่อ fixture ตามพฤติกรรม
hotel-book-price-increased.jsonบอกนักพัฒนาคนถัดไปว่าไฟล์นี้มีไว้ทำไม แต่response-17.jsonไม่บอกอะไรเลย - เก็บตัวที่น่าเกลียดไว้ตลอดไป การตอบกลับผิดรูปแบบที่ทำให้ระบบค้นหาล่มในวันอาทิตย์หนึ่ง คือไฟล์ที่มีค่าที่สุดที่คุณมี มันควรอยู่ในเทสต์ที่รันทุกคอมมิต
จากนั้นเขียน contract test กับ fixture เหล่านั้น ทั้งพาร์เซอร์ การแมปเข้าสู่โมเดลภายใน และการจัดประเภทข้อผิดพลาด หากซัพพลายเออร์เปลี่ยนชื่อฟิลด์แล้ว contract test ล้มเหลว คุณจะรู้ใน CI แทนที่จะรู้จากลูกค้า ส่วนเรื่องการจัดประเภทข้อผิดพลาดมีอธิบายละเอียดกว่าในบทความของเราเรื่องการจัดการข้อผิดพลาดของ API ระบบจอง
ทดสอบเส้นทางการเงินโดยไม่ต้องเสียเงิน
ตรงนี้แซนด์บ็อกซ์ช่วยได้น้อยที่สุด เพราะเส้นทางการเงินคือจุดที่สภาพแวดล้อมทดสอบต่างจากของจริงมากที่สุด การออกตั๋วจริง การตัดบัตรจริง และการวางบิลจริงจากซัพพลายเออร์ คือสิ่งที่คุณต้องทำให้ถูกมากที่สุด แต่ซ้อมบนระบบจริงได้น้อยที่สุด
แยกปัญหาออกเป็นส่วน คณิตศาสตร์ด้านราคาคือตรรกะล้วน ทดสอบแบบครบถ้วนแบบออฟไลน์ได้ นำค่าโดยสารที่บันทึกไว้มาใส่กฎมาร์กอัป การแปลงสกุลเงิน และการปัดเศษ แล้วตรวจสอบยอดรวมที่ผู้เดินทางเห็น ทำกับกรณีที่ยุ่งยากด้วย เช่น ค่าโดยสารในสกุลเงินหนึ่งที่ขายในอีกสกุลเงินหนึ่ง มาร์กอัปที่เป็นเปอร์เซ็นต์ในสินค้าหนึ่งแต่เป็นจำนวนคงที่ในอีกสินค้าหนึ่ง ค่าโดยสารเด็ก หรือขั้นตอนการปัดเศษที่ต่างกันระหว่างตอนแสดงผลกับตอนเรียกเก็บ ยอดรวมที่ผิดไปไม่กี่หน่วยสกุลเงินก็ยังคือผิด และมันผิดในทุกการจอง
ส่วนที่สองคือการเปลี่ยนสถานะรอบการชำระเงิน จำลองมันให้ชัดเจน ได้แก่ เสนอราคา กันไว้ ชำระแล้ว ยืนยันแล้ว ออกตั๋วแล้ว ยกเลิก และคืนเงิน แล้วทดสอบว่าทุกการเปลี่ยนสถานะมีสาเหตุเพียงหนึ่งเดียว เทสต์ที่จับบั๊กราคาแพงที่สุดได้ คือเทสต์ที่ยืนยันว่าไม่สามารถตัดเงินสำหรับการจองที่ซัพพลายเออร์ยังไม่ยืนยันได้ และการจองที่ยืนยันแล้วจะมีอยู่ไม่ได้หากไม่มีบันทึกการชำระเงิน
สุดท้าย ทำให้การรันเทสต์ไม่มีทางไปถึงการออกตั๋วจริงได้ ไม่ใช่แค่ไม่น่าจะเกิด แต่ต้องเป็นไปไม่ได้ การตรวจสอบตอนเริ่มต้นที่ปฏิเสธจะรันชุดเทสต์เมื่อโหลด credential ของโปรดักชันเข้ามา ใช้โค้ดแค่บรรทัดเดียว และป้องกันเช้าที่เลวร้ายที่สุดที่ทีมเชื่อมต่อระบบจะเจอได้
ถ้าพลาด คุณต้องจ่ายอะไรบ้าง
สถานการณ์ที่หลุดไปในระบบเชื่อมต่อด้านการท่องเที่ยวแทบไม่เคยโผล่มาในรูปข้อผิดพลาด มันโผล่มาในรูปการจองที่ดูปกติดี ตั๋วซ้ำที่ไม่มีใครขอ ซึ่งต้องมีคน void ให้ทันก่อนเส้นตาย โรงแรมที่ยืนยันในราคาที่เอเจนซีต้องรับส่วนต่างเอง การจองที่หมดเวลาแล้วระบบลองใหม่ ทำให้ซัพพลายเออร์กันห้องไว้สองห้องและวางบิลทั้งสองห้อง สำหรับตั๋วเครื่องบินที่ขายผ่านเอเจนซี ความไม่ตรงกันระหว่างสิ่งที่ออกตั๋วกับสิ่งที่ขายไป อาจย้อนกลับมาภายหลังในรูป ADM นานหลังจากกำไรของการขายครั้งนั้นถูกใช้ไปแล้ว
ต้นทุนเหล่านั้นตกอยู่กับธุรกิจที่ขายทริป ไม่ใช่นักพัฒนาที่เขียนลูปลองใหม่ นั่นคือเหตุผลทั้งหมดที่ควรทดสอบเรื่องเหล่านี้ก่อนเปิดใช้งาน แทนที่จะเรียนรู้ทีละตั๋วซัพพอร์ต
ต้อง smoke test อะไรบ้างหลังซัพพลายเออร์เปลี่ยนแปลงทุกครั้ง
ซัพพลายเออร์เปลี่ยนสิ่งต่าง ๆ อยู่เสมอ ไม่ว่าจะเป็น API เวอร์ชันใหม่ endpoint ใหม่ credential ที่ถูกหมุนเวียน หรือการแมปคอนเทนต์ที่ต่างไป โค้ดของคุณเองอาจไม่ได้เปลี่ยนเลยด้วยซ้ำ แต่ก็ให้รันรายการนี้อยู่ดี ในสภาพแวดล้อมที่คุยกับซัพพลายเออร์ที่เปลี่ยนแปลงนั้น
- ค้นหาหนึ่งครั้งต่อสินค้าแต่ละประเภทที่คุณขายจากซัพพลายเออร์รายนั้น บนเส้นทางหรือเมืองที่คุณรู้ว่ามีผลลัพธ์กลับมา
- พาร์สผลลัพธ์ทุกรายการโดยไม่ทิ้งรายการใดแบบเงียบ ๆ แล้วเทียบจำนวนของคุณกับจำนวนที่อยู่ในการตอบกลับดิบ
- คิดราคาผลลัพธ์หนึ่งรายการตั้งแต่ต้นจนจบ แล้วเทียบยอดรวมที่แสดงกับการคำนวณของคุณเองจากค่าโดยสารดิบ
- ทำการจองในสภาพแวดล้อมทดสอบ อ่านสถานะกลับมา และเทียบทุกฟิลด์ที่คุณจัดเก็บ
- ยกเลิกการจองนั้น และยืนยันว่าเห็นการยกเลิกทั้งในบันทึกของคุณและฝั่งซัพพลายเออร์
- เล่นซ้ำ fixture ตัวน่าเกลียดที่เก็บไว้ผ่านพาร์เซอร์ตัวใหม่
- ตรวจว่า timeout และ rate limit ยังแมปไปยังพฤติกรรมที่คุณตัดสินใจไว้ เพราะเวอร์ชันใหม่อาจตอบกลับสองกรณีนี้ต่างออกไป หากเวลาตอบสนองขยับ บทความเรื่องความหน่วงอธิบายว่าส่วนไหนเป็นของคุณที่ต้องแก้
สั้นพอจะรันได้ทุกครั้ง และนั่นคือประเด็น smoke test ที่ไม่มีใครรันเพราะใช้เวลาทั้งวัน ไม่ใช่ smoke test
แซนด์บ็อกซ์อยู่ตรงไหนในภาพรวม
ทั้งหมดนี้ไม่ได้ทำให้แซนด์บ็อกซ์มีประโยชน์น้อยลง แต่ทำให้มันถูกวางในที่ที่ซื่อตรง คือที่ที่คุณเรียนรู้สคีมาและยืนยันว่าคำขอถูกต้อง ก่อนที่ fixture และการตรวจสอบบนระบบจริงจะรับช่วงส่วนที่มันเข้าไม่ถึง หากคุณกำลังประเมิน API เที่ยวบินและโรงแรมของแพลตฟอร์ม การเข้าถึงเริ่มต้นจากการพูดคุย ไม่ใช่การกดรับคีย์ด้วยตัวเอง นำแผนทดสอบนี้ไปคุยด้วยและถามว่าแต่ละแถวในตารางข้างบนจะถูกครอบคลุมอย่างไร คำตอบจะบอกอะไรเกี่ยวกับ API ได้มากกว่าเอกสารของมันเสียอีก