ข้ามไปยังเนื้อหา
เดโมสด
บล็อก

ทดสอบ Travel API บนแซนด์บ็อกซ์: สิ่งที่มันไม่บอกคุณ

กองบรรณาธิการ Tekravel
เขียนโดยใช้ AI ช่วย

ระบบเชื่อมต่อผ่านทุกอย่างที่การทดสอบ Travel API บนแซนด์บ็อกซ์ (sandbox)โยนใส่ได้ การค้นหาคืนเที่ยวบินมาครบ การเรียกดูห้องว่างของโรงแรมได้ห้องกลับมา การเรียกจองคืนหมายเลขยืนยันทุกครั้งไม่มีพลาด และทีม QA เซ็นผ่านในวันพฤหัสบดี วันอังคารถัดมา ลูกค้าคนหนึ่งจ่ายเงินค่าโรงแรมในราคาหนึ่ง แต่ซัพพลายเออร์ยืนยันอีกราคาหนึ่ง การจองเที่ยวบินรายการหนึ่งหมดเวลา (timeout) และไม่มีใครบอกได้ว่ามีที่นั่งถูกกันไว้หรือไม่ ส่วนเจ้าหน้าที่ซัพพอร์ตใช้เวลาทั้งบ่ายกระทบยอดสองรายการที่อธิบายทริปเดียวกัน ไม่มีเรื่องไหนเป็นบั๊กที่ชุดทดสอบมองข้าม ทั้งหมดคือสถานการณ์ที่ชุดทดสอบไม่มีทางมองเห็นได้ตั้งแต่แรก แซนด์บ็อกซ์เป็นสิ่งจำเป็น แต่ห่างไกลจากคำว่าเพียงพอ และช่องว่างระหว่างสองคำนี้คือที่อยู่ของเหตุการณ์ราคาแพงส่วนใหญ่ในระบบเชื่อมต่อด้านการท่องเที่ยว

บทความนี้คือแผนทดสอบสำหรับนักพัฒนาที่ดูแลระบบเชื่อมต่อนั้น ว่าแซนด์บ็อกซ์พิสูจน์อะไรได้ อะไรที่โครงสร้างของมันพิสูจน์ไม่ได้เลย และจะปิดช่องว่างนั้นอย่างไรโดยไม่ต้องจองที่นั่งจริงด้วยบัตรของบริษัท

ทำไมการทดสอบ Travel API บนแซนด์บ็อกซ์จึงปล่อยโค้ดที่ไปพังบนโปรดักชัน

แซนด์บ็อกซ์คือคำสัญญาเรื่องรูปร่างของการตอบกลับ ไม่ใช่เรื่องพฤติกรรมของมัน สคีมาตรงกับโปรดักชัน แต่พฤติกรรมแทบไม่เคยตรง และไม่ใช่ความผิดของใคร สภาพแวดล้อมทดสอบไม่มีทางแบกรับการรันสต็อกจริงได้ จึงเสิร์ฟชุดค่าโดยสารและห้องพักที่ตายตัว ไม่เคยขายหมด ไม่เคยเปลี่ยนราคา และไม่เคยเปลี่ยนตารางบิน มันตอบเร็วเพราะไม่มีใครใช้งานอยู่ และแทบไม่เคยล้มเหลวกลางทาง

โปรดักชันทำทุกอย่างที่ว่ามานั้นทุกวัน สต็อกถูกแชร์กับผู้ขายรายอื่นทั้งหมด ค่าโดยสารถูกแคชไว้โดยใครสักคนต้นทางและค้างเก่า ระบบของซัพพลายเออร์ที่รับโหลดหนักตอบช้าหรือไม่ตอบเลย โค้ดที่เคยเจอแต่แซนด์บ็อกซ์ เท่ากับว่าถูกทดสอบกับซัพพลายเออร์ที่กำลังมีวันที่สมบูรณ์แบบเท่านั้น

ดังนั้นให้มองแซนด์บ็อกซ์เป็นหนึ่งในสามชั้น ชั้นแรกพิสูจน์ว่าคำขอของคุณสร้างถูกต้องและตัวพาร์เซอร์เข้าใจสคีมา ชั้นที่สองคือ fixture ที่บันทึกจากของจริง ซึ่งพิสูจน์ว่าโค้ดของคุณรอดจากการตอบกลับที่โปรดักชันส่งมาจริง ชั้นที่สามคือชุดตรวจสอบบนระบบจริงขนาดเล็กที่ตั้งใจออกแบบ ซึ่งพิสูจน์ว่าการเดินสายยังถูกต้องหลังมีอะไรเปลี่ยน แต่ละชั้นจับสิ่งที่อีกสองชั้นจับไม่ได้

สถานการณ์ที่แซนด์บ็อกซ์มักให้คุณไม่ได้

เขียนรายการเหล่านี้ไว้ก่อนจะเขียนเทสต์แม้แต่ตัวเดียว แซนด์บ็อกซ์อาจจำลองได้หนึ่งหรือสองกรณีผ่านค่าทดสอบพิเศษ แต่ส่วนใหญ่มันไม่มีให้เลย

สถานการณ์สิ่งที่โปรดักชันทำวิธีครอบคลุม
ราคาเปลี่ยนระหว่างค้นหาและจองการเรียกจองสำเร็จแต่ยอดรวมไม่เท่าเดิม หรือล้มเหลวพร้อมข้อผิดพลาดเรื่องราคาเปลี่ยนที่คุณต้องแสดงให้ผู้ใช้เห็นfixture เป็นคู่ คือผลค้นหาหนึ่งชุดและผลการจองที่ยอดรวมต่างกัน ตรวจสอบว่าระบบถามผู้เดินทางอีกครั้ง ไม่เรียกเก็บเงินแบบเงียบ ๆ
ขายหมดระหว่างเช็กห้องว่างและจองห้องหรือชั้นค่าโดยสารที่เสนอไว้หายไปแล้วตอนที่คุณพยายามกันไว้fixture ของข้อผิดพลาด sold-out ตัวจริงจากซัพพลายเออร์ ตรวจสอบว่าผู้เดินทางถูกพากลับไปหน้าผลค้นหา ไม่ใช่หน้าแสดงข้อผิดพลาด
การเรียกจองหมดเวลาซัพพลายเออร์อาจสร้างการจองไปแล้วหรือยังไม่ได้สร้างก็ได้ฉีด timeout หลังส่งคำขอออกไปแล้ว ตรวจสอบว่าระบบสอบถามสถานะการจองก่อนจะมีการลองใหม่ใด ๆ
ส่งคำขอซ้ำการดับเบิลคลิกหรือการลองใหม่ฝั่งไคลเอนต์สร้างการจองสองรายการส่งการจองเดียวกันสองครั้งด้วย idempotency key (คีย์กันการทำซ้ำ) เดียวกัน ตรวจสอบว่ามีการจองอยู่เพียงหนึ่งรายการพอดี
ตารางบินเปลี่ยนหลังออกตั๋วเที่ยวบินที่คุณขายไปตอนนี้ออกเดินทางคนละเวลา หรือใช้หมายเลขเที่ยวบินอื่นfixture ของแผนการเดินทางที่ถูกแก้ไข ตรวจสอบว่าการเปลี่ยนแปลงไปถึงคนที่ดูแลลูกค้ารายนั้น
สำเร็จบางส่วนในการจองหลายรายการเที่ยวบินยืนยันแล้ว แต่โรงแรมไม่ยืนยันfixture แบบผสม ตรวจสอบว่าระบบบันทึกตรงตามสิ่งที่ได้รับการยืนยันจริงและแจ้งเตือนคน
ถูกจำกัดอัตราเมื่อโหลดสูงได้การตอบกลับแบบ rate-limit แล้วตามด้วยการตอบที่ช้าลงเล่นซ้ำการตอบกลับ throttling ที่บันทึกไว้ ตรวจสอบว่ามี backoff และการค้นหาลดคุณภาพลงอย่างนุ่มนวลแทนที่จะพัง

คุณอาจไม่เห็นด้วยกับคอลัมน์สุดท้ายสำหรับสแต็กของคุณเอง ไม่เป็นไร สิ่งสำคัญคือทุกแถวต้องมีเจ้าของและมีการตรวจสอบ เพราะสักวันทุกกรณีจะเกิดขึ้นกับคุณ

สร้าง fixture จากการตอบกลับจริง ไม่ใช่จากจินตนาการ

นิสัยที่มีประโยชน์ที่สุดในงานเชื่อมต่อระบบท่องเที่ยวคือการเก็บการตอบกลับที่ทำให้คุณประหลาดใจไว้ ข้อมูล mock ที่เขียนเองสะท้อนสิ่งที่คุณคิดว่าซัพพลายเออร์ส่งมา ส่วนการตอบกลับที่บันทึกไว้สะท้อนสิ่งที่มันส่งมาจริง รวมถึงฟิลด์ที่ว่างเปล่าทั้งที่เอกสารบอกว่าไม่มีวันว่าง ราคาในสกุลเงินที่คุณไม่ได้ขอ และข้อผิดพลาดที่มาพร้อมสถานะสำเร็จ

กิจวัตรที่ได้ผล:

  • บันทึกที่จุดเชื่อมต่อ เก็บ body ดิบของคำขอและการตอบกลับจากการเรียกซัพพลายเออร์ในสภาพแวดล้อมที่ไม่ใช่โปรดักชัน และบนโปรดักชันในสัดส่วนทราฟฟิกที่สุ่มตัวอย่าง หากกฎความเป็นส่วนตัวของคุณอนุญาต
  • ล้างข้อมูลก่อนเก็บ ชื่อผู้โดยสาร หมายเลขหนังสือเดินทาง อีเมล หมายเลขโทรศัพท์ และเลขอ้างอิงการชำระเงิน ต้องถูกลบออกก่อน fixture จะเข้า repository แทนที่ด้วยค่าปลอมที่เห็นชัดว่าปลอม เพื่อไม่ให้ใครเข้าใจผิดว่า fixture เป็นการจองจริง
  • ตั้งชื่อ fixture ตามพฤติกรรม hotel-book-price-increased.json บอกนักพัฒนาคนถัดไปว่าไฟล์นี้มีไว้ทำไม แต่ response-17.json ไม่บอกอะไรเลย
  • เก็บตัวที่น่าเกลียดไว้ตลอดไป การตอบกลับผิดรูปแบบที่ทำให้ระบบค้นหาล่มในวันอาทิตย์หนึ่ง คือไฟล์ที่มีค่าที่สุดที่คุณมี มันควรอยู่ในเทสต์ที่รันทุกคอมมิต

จากนั้นเขียน contract test กับ fixture เหล่านั้น ทั้งพาร์เซอร์ การแมปเข้าสู่โมเดลภายใน และการจัดประเภทข้อผิดพลาด หากซัพพลายเออร์เปลี่ยนชื่อฟิลด์แล้ว contract test ล้มเหลว คุณจะรู้ใน CI แทนที่จะรู้จากลูกค้า ส่วนเรื่องการจัดประเภทข้อผิดพลาดมีอธิบายละเอียดกว่าในบทความของเราเรื่องการจัดการข้อผิดพลาดของ API ระบบจอง

ทดสอบเส้นทางการเงินโดยไม่ต้องเสียเงิน

ตรงนี้แซนด์บ็อกซ์ช่วยได้น้อยที่สุด เพราะเส้นทางการเงินคือจุดที่สภาพแวดล้อมทดสอบต่างจากของจริงมากที่สุด การออกตั๋วจริง การตัดบัตรจริง และการวางบิลจริงจากซัพพลายเออร์ คือสิ่งที่คุณต้องทำให้ถูกมากที่สุด แต่ซ้อมบนระบบจริงได้น้อยที่สุด

แยกปัญหาออกเป็นส่วน คณิตศาสตร์ด้านราคาคือตรรกะล้วน ทดสอบแบบครบถ้วนแบบออฟไลน์ได้ นำค่าโดยสารที่บันทึกไว้มาใส่กฎมาร์กอัป การแปลงสกุลเงิน และการปัดเศษ แล้วตรวจสอบยอดรวมที่ผู้เดินทางเห็น ทำกับกรณีที่ยุ่งยากด้วย เช่น ค่าโดยสารในสกุลเงินหนึ่งที่ขายในอีกสกุลเงินหนึ่ง มาร์กอัปที่เป็นเปอร์เซ็นต์ในสินค้าหนึ่งแต่เป็นจำนวนคงที่ในอีกสินค้าหนึ่ง ค่าโดยสารเด็ก หรือขั้นตอนการปัดเศษที่ต่างกันระหว่างตอนแสดงผลกับตอนเรียกเก็บ ยอดรวมที่ผิดไปไม่กี่หน่วยสกุลเงินก็ยังคือผิด และมันผิดในทุกการจอง

ส่วนที่สองคือการเปลี่ยนสถานะรอบการชำระเงิน จำลองมันให้ชัดเจน ได้แก่ เสนอราคา กันไว้ ชำระแล้ว ยืนยันแล้ว ออกตั๋วแล้ว ยกเลิก และคืนเงิน แล้วทดสอบว่าทุกการเปลี่ยนสถานะมีสาเหตุเพียงหนึ่งเดียว เทสต์ที่จับบั๊กราคาแพงที่สุดได้ คือเทสต์ที่ยืนยันว่าไม่สามารถตัดเงินสำหรับการจองที่ซัพพลายเออร์ยังไม่ยืนยันได้ และการจองที่ยืนยันแล้วจะมีอยู่ไม่ได้หากไม่มีบันทึกการชำระเงิน

สุดท้าย ทำให้การรันเทสต์ไม่มีทางไปถึงการออกตั๋วจริงได้ ไม่ใช่แค่ไม่น่าจะเกิด แต่ต้องเป็นไปไม่ได้ การตรวจสอบตอนเริ่มต้นที่ปฏิเสธจะรันชุดเทสต์เมื่อโหลด credential ของโปรดักชันเข้ามา ใช้โค้ดแค่บรรทัดเดียว และป้องกันเช้าที่เลวร้ายที่สุดที่ทีมเชื่อมต่อระบบจะเจอได้

ถ้าพลาด คุณต้องจ่ายอะไรบ้าง

สถานการณ์ที่หลุดไปในระบบเชื่อมต่อด้านการท่องเที่ยวแทบไม่เคยโผล่มาในรูปข้อผิดพลาด มันโผล่มาในรูปการจองที่ดูปกติดี ตั๋วซ้ำที่ไม่มีใครขอ ซึ่งต้องมีคน void ให้ทันก่อนเส้นตาย โรงแรมที่ยืนยันในราคาที่เอเจนซีต้องรับส่วนต่างเอง การจองที่หมดเวลาแล้วระบบลองใหม่ ทำให้ซัพพลายเออร์กันห้องไว้สองห้องและวางบิลทั้งสองห้อง สำหรับตั๋วเครื่องบินที่ขายผ่านเอเจนซี ความไม่ตรงกันระหว่างสิ่งที่ออกตั๋วกับสิ่งที่ขายไป อาจย้อนกลับมาภายหลังในรูป ADM นานหลังจากกำไรของการขายครั้งนั้นถูกใช้ไปแล้ว

ต้นทุนเหล่านั้นตกอยู่กับธุรกิจที่ขายทริป ไม่ใช่นักพัฒนาที่เขียนลูปลองใหม่ นั่นคือเหตุผลทั้งหมดที่ควรทดสอบเรื่องเหล่านี้ก่อนเปิดใช้งาน แทนที่จะเรียนรู้ทีละตั๋วซัพพอร์ต

ต้อง smoke test อะไรบ้างหลังซัพพลายเออร์เปลี่ยนแปลงทุกครั้ง

ซัพพลายเออร์เปลี่ยนสิ่งต่าง ๆ อยู่เสมอ ไม่ว่าจะเป็น API เวอร์ชันใหม่ endpoint ใหม่ credential ที่ถูกหมุนเวียน หรือการแมปคอนเทนต์ที่ต่างไป โค้ดของคุณเองอาจไม่ได้เปลี่ยนเลยด้วยซ้ำ แต่ก็ให้รันรายการนี้อยู่ดี ในสภาพแวดล้อมที่คุยกับซัพพลายเออร์ที่เปลี่ยนแปลงนั้น

  1. ค้นหาหนึ่งครั้งต่อสินค้าแต่ละประเภทที่คุณขายจากซัพพลายเออร์รายนั้น บนเส้นทางหรือเมืองที่คุณรู้ว่ามีผลลัพธ์กลับมา
  2. พาร์สผลลัพธ์ทุกรายการโดยไม่ทิ้งรายการใดแบบเงียบ ๆ แล้วเทียบจำนวนของคุณกับจำนวนที่อยู่ในการตอบกลับดิบ
  3. คิดราคาผลลัพธ์หนึ่งรายการตั้งแต่ต้นจนจบ แล้วเทียบยอดรวมที่แสดงกับการคำนวณของคุณเองจากค่าโดยสารดิบ
  4. ทำการจองในสภาพแวดล้อมทดสอบ อ่านสถานะกลับมา และเทียบทุกฟิลด์ที่คุณจัดเก็บ
  5. ยกเลิกการจองนั้น และยืนยันว่าเห็นการยกเลิกทั้งในบันทึกของคุณและฝั่งซัพพลายเออร์
  6. เล่นซ้ำ fixture ตัวน่าเกลียดที่เก็บไว้ผ่านพาร์เซอร์ตัวใหม่
  7. ตรวจว่า timeout และ rate limit ยังแมปไปยังพฤติกรรมที่คุณตัดสินใจไว้ เพราะเวอร์ชันใหม่อาจตอบกลับสองกรณีนี้ต่างออกไป หากเวลาตอบสนองขยับ บทความเรื่องความหน่วงอธิบายว่าส่วนไหนเป็นของคุณที่ต้องแก้

สั้นพอจะรันได้ทุกครั้ง และนั่นคือประเด็น smoke test ที่ไม่มีใครรันเพราะใช้เวลาทั้งวัน ไม่ใช่ smoke test

แซนด์บ็อกซ์อยู่ตรงไหนในภาพรวม

ทั้งหมดนี้ไม่ได้ทำให้แซนด์บ็อกซ์มีประโยชน์น้อยลง แต่ทำให้มันถูกวางในที่ที่ซื่อตรง คือที่ที่คุณเรียนรู้สคีมาและยืนยันว่าคำขอถูกต้อง ก่อนที่ fixture และการตรวจสอบบนระบบจริงจะรับช่วงส่วนที่มันเข้าไม่ถึง หากคุณกำลังประเมิน API เที่ยวบินและโรงแรมของแพลตฟอร์ม การเข้าถึงเริ่มต้นจากการพูดคุย ไม่ใช่การกดรับคีย์ด้วยตัวเอง นำแผนทดสอบนี้ไปคุยด้วยและถามว่าแต่ละแถวในตารางข้างบนจะถูกครอบคลุมอย่างไร คำตอบจะบอกอะไรเกี่ยวกับ API ได้มากกว่าเอกสารของมันเสียอีก

กองบรรณาธิการ Tekravel

โต๊ะข่าวเทคโนโลยีท่องเที่ยว

โต๊ะข่าวเทคโนโลยีท่องเที่ยวของ Tekravel เขียนให้คนในวงการ ทั้งเจ้าของเอเจนซี ผู้รวบรวมตั๋ว และนักพัฒนาที่เชื่อมต่อระบบให้พวกเขา ทุกบทความถูกตรวจสอบกับแพลตฟอร์มที่กล่าวถึงก่อนเผยแพร่