ความหน่วงของ Travel API: อะไรแก้ได้ อะไรแก้ไม่ได้

ตั๋วแจ้งปัญหาเขียนว่า "ค้นหาช้า" คุณเปิด trace ของเที่ยวบินไป-กลับกรุงเทพฯ–ดูไบ แล้วพบว่าโค้ดของคุณเองเป็นแค่เส้นบางๆ ตอนต้นกับอีกเส้นตอนท้าย ทุกอย่างตรงกลางคือการรอ: รอ GDS รอสายการบิน NDC สองราย รอตัวรวมโรงแรมที่ตอบเมื่อไหร่ก็ได้ตามใจ ความหน่วงของ travel API เป็นปัญหาประสิทธิภาพเดียวที่ profiler ชี้ไปที่โค้ดที่คุณไม่ได้เขียนและ deploy ไม่ได้อยู่ตลอด สิ่งนี้เปลี่ยนความหมายของคำว่า "แก้" และความพยายามส่วนใหญ่ที่ทีมทุ่มลงไปตกอยู่กับครึ่งที่ผิด
ความหน่วงของ travel API หายไปไหนจริงๆ ในการค้นหาหลายซัพพลายเออร์
การค้นหาเที่ยวบินหนึ่งครั้งใน booking engine ไม่ใช่หนึ่ง request แต่เป็น fan-out เอนจินรับต้นทาง ปลายทาง วันที่ และองค์ประกอบผู้โดยสาร สร้าง request ในรูปแบบของแต่ละซัพพลายเออร์ที่ได้รับอนุญาตให้สอบถามสำหรับเส้นทางนั้น ส่งออกไปพร้อมกันทั้งหมด แล้วรอ ซัพพลายเออร์แต่ละรายมีนาฬิกาของตัวเอง: session ของ GDS ที่อุ่นอยู่หรือไม่อุ่น gateway ของ NDC ที่กำลังคำนวณราคาใหม่ฝั่งสายการบิน bedbank ที่ fan-out ต่อไปยัง channel manager ข้างหลังอีกที ผลลัพธ์ที่คุณแสดงให้ผู้ใช้ได้ถูกจำกัดขั้นต่ำด้วยซัพพลายเออร์ที่ช้าที่สุดที่คุณเลือกจะรอ ไม่ใช่ค่าเฉลี่ย
นั่นคือสิ่งแรกที่ต้องซึมซับ การเพิ่มซัพพลายเออร์ไม่เคยทำให้การค้นหาที่สมบูรณ์เร็วขึ้น มันมีแต่เพิ่มอีกหนึ่งเลนที่ต้องเคลียร์ให้เสร็จก่อนชุดผลลัพธ์ทั้งหมดจะ "พร้อม"
จากนั้นคำตอบกลับมา และงานที่เป็นของคุณจริงๆ ก็เริ่มขึ้น: parse payload XML หรือ JSON ขนาดใหญ่ของแต่ละซัพพลายเออร์ map รหัสสนามบิน สายการบิน และค่าโดยสารของเขาเข้ากับของคุณ ตัดรายการซ้ำเมื่อสามแหล่งส่งเส้นทางเดียวกันมาสามราคา ใช้กฎ markup ของ tenant ที่ถาม แปลงสกุลเงินเป็นบาท และจัดเรียง บนเส้นทางที่คึกคัก ขั้นนี้ไม่ฟรี และเป็นจุดเดียวที่ profiler จะบอกอะไรที่ลงมือทำได้ เราเขียนถึงฝั่งโรงแรมไว้ในการออกแบบไคลเอนต์ API ห้องว่างโรงแรมสำหรับซัพพลายเออร์ที่ช้า ฝั่งเที่ยวบินมีรูปร่างเดียวกัน แค่มีรหัสให้ map มากกว่า
ดังนั้น การแยกส่วนอย่างตรงไปตรงมาของการค้นหาที่ช้าคือสามถัง:
- รอซัพพลายเออร์ — คำตอบที่นานที่สุดจากซัพพลายเออร์รายเดียว คุณควบคุมไม่ได้
- การประมวลผลหลังรับข้อมูลของคุณ — parse, map, ตัดซ้ำ, ตั้งราคา, จัดเรียง คุณควบคุมได้ทั้งหมด
- การส่งมอบ — serialize ผลลัพธ์ที่รวมแล้วและส่งไปยังเบราว์เซอร์ ปกติเล็ก บางครั้งก็เป็นเรื่องเซอร์ไพรส์
ครึ่งที่คุณแก้ได้ และครึ่งที่คุณควรเลิกพยายามแก้
เริ่มจากถังที่สอง เพราะมันเป็นของคุณ สิ่งที่มักพบ เรียงตามลำดับที่มักโผล่มา: ขั้น map ที่ค้นรหัสสนามบินทีละตัวจากฐานข้อมูลแทนที่จะโหลดตารางครั้งเดียว การแปลงสกุลเงินที่เรียกบริการอัตราแลกเปลี่ยนต่อค่าโดยสารแทนที่จะต่อการค้นหา รูทีนตัดซ้ำที่เปรียบเทียบทุกเส้นทางกับทุกเส้นทางอื่น serialization ที่เดินกราฟออบเจ็กต์ใหม่ทุกครั้งสำหรับแต่ละ tenant ไม่มีอะไรแปลกประหลาด ทั้งหมดแก้ได้ในหนึ่งสปรินต์ และการแก้นั้นอยู่ยั่งยืน
การจัดการการเชื่อมต่อคืออีกจุดที่ได้กำไรจริง TLS handshake ใหม่กับซัพพลายเออร์ทุกครั้งที่ค้นหาคือ overhead ล้วนๆ pool ของการเชื่อมต่อที่อุ่นอยู่และคงไว้ข้ามการค้นหาจะกำจัดมันได้ โดยเฉพาะ session ของ GDS ที่เปิดแพงแต่ใช้ซ้ำถูก นี่คือเหตุผลที่การจัดการ session เป็นฟีเจอร์ของผลิตภัณฑ์ในโลกนั้น ไม่ใช่รายละเอียดการ implement
ทีนี้ครึ่งที่ควรเลิกแก้ คุณทำให้ซัพพลายเออร์ตอบเร็วขึ้นไม่ได้ คุณโวยกับ account manager ได้ และบางครั้งเส้นทางก็ถูกย้ายไปโหนดที่เร็วกว่า แต่เวลาตอบสนองของระบบคนอื่นไม่ใช่ตัวแปรใน deployment ของคุณ ทีมที่ลืมข้อนี้ใช้เวลาหลายไตรมาสเฉือนการประมวลผลของตัวเองจากเส้นบางให้บางลงไปอีก ขณะที่เวลารอซัพพลายเออร์ซึ่งเป็นส่วนใหญ่ของทั้งหมดไม่ขยับเลย profiler ซื่อสัตย์กับพวกเขาแล้ว พวกเขาเองที่ยังปรับส่วนที่มันบอกว่าดีอยู่แล้ว
สิ่งที่คุณทำได้กับซัพพลายเออร์ที่ช้าคือตัดสินใจว่าจะยอมรอนานแค่ไหน และผู้ใช้เห็นอะไรระหว่างที่รอ ซึ่งคือเนื้อหาที่เหลือของบทความนี้
Progressive rendering คือคำตอบที่ซื่อสัตย์
ถ้าชุดผลลัพธ์ที่สมบูรณ์ถูกจำกัดด้วยซัพพลายเออร์ที่ช้าที่สุด ทางเดียวที่จะแสดงอะไรให้ผู้ใช้เห็นเร็วขึ้นคือเลิกรอให้ชุดนั้นสมบูรณ์ แสดงผลจากซัพพลายเออร์รายแรกที่ตอบ เพิ่มผลของรายถัดไปเมื่อมาถึง ให้ผู้ใช้เริ่มอ่าน กรอง และเปรียบเทียบขณะที่รายที่ช้ายังอยู่ระหว่างทาง นี่คือ progressive rendering และมันไม่ใช่กลเม็ด แต่เป็นภาพที่ถูกต้องของสิ่งที่เกิดขึ้นจริงบนเซิร์ฟเวอร์
มันมีผลพวงที่ควรออกแบบไว้ล่วงหน้ามากกว่ามาค้นพบทีหลัง:
- ความเสถียรของการจัดเรียง รายการที่เรียงตามราคาแล้วเรียงใหม่ทุกครั้งที่ซัพพลายเออร์มาถึงจะทำให้ค่าโดยสารที่ผู้ใช้กำลังจะคลิกขยับหนี แทรกผลใหม่เข้าที่ หรือรวมเป็นชุดแล้วให้ผู้ใช้ดึงเข้ามาเอง แต่อย่าสลับรายการใต้เคอร์เซอร์
- "ถูกที่สุด" เป็นแค่ชั่วคราว จนกว่าซัพพลายเออร์รายสุดท้ายจะเข้ามา การอ้างราคาต่ำสุดใดๆ เป็นเพียงการอ้างเกี่ยวกับรายที่ตอบแล้ว อินเทอร์เฟซควรทำให้สถานะนั้นมองเห็นได้ ไม่ใช่แสร้งว่าสมบูรณ์
- ขั้นจองต้องตรวจสอบซ้ำ ค่าโดยสารจากคำตอบแรกๆ อาจหายไปแล้วตอนผู้ใช้คลิก เรื่องนี้จริงในดีไซน์แบบไม่ progressive ด้วย แต่ progressive rendering ทำให้ช่องว่างนั้นกว้างขึ้น บทความเรื่องการเชื่อมต่อ API จองครอบคลุมขั้น re-price ไว้ ซึ่งตรงนี้ไม่ใช่ตัวเลือก
- การแคชง่ายขึ้น ไม่ใช่ยากขึ้น ผลลัพธ์รายซัพพลายเออร์แคชได้ด้วยอายุรายซัพพลายเออร์ อัตราคงที่ของ bedbank อยู่ได้เป็นชั่วโมง ข้อเสนอ NDC อยู่ได้เป็นนาที ผลลัพธ์รวมก้อนเดียวบังคับให้ทุกอย่างใช้อายุที่สั้นที่สุด
รูปแบบ API ที่รองรับสิ่งนี้คือการค้นหาที่คืน identifier ทันที แล้วให้ไคลเอนต์ poll หรือ subscribe รับผลลัพธ์เมื่อมาถึง โดยแต่ละชุดติดแท็กแหล่งที่มาและมี flag บอกว่าการค้นหายังเปิดอยู่หรือไม่ API เที่ยวบินและโรงแรมของแพลตฟอร์มสร้างขึ้นรอบรูปแบบนี้ หน้า travel API อธิบายอินเทอร์เฟซต่างๆ และการเข้าถึงเริ่มจากการพูดคุย ไม่ใช่ key แบบบริการตนเอง ฉะนั้นเตรียมคำถามมาด้วย
Timeout รายซัพพลายเออร์ ไม่ใช่ราย request
timeout เดียวสำหรับการค้นหาทั้งหมดคือข้อผิดพลาดที่พบบ่อยที่สุดในชั้นนี้ และผิดทั้งสองทิศทางพร้อมกัน ตั้งสั้น ซัพพลายเออร์ที่ช้าแต่มีค่าจะถูกตัดทุกครั้งที่ค้นหา และคุณเลิกขายสินค้าของเขาไปเงียบๆ ตั้งยาว ซัพพลายเออร์รายเดียวที่ค้างจะจับผลลัพธ์ทั้งหมดเป็นตัวประกัน รวมถึงรายที่มาถึงทันที
| การตัดสินใจ | timeout เดียวทั้งการค้นหา | งบเวลารายซัพพลายเออร์ |
|---|---|---|
| ซัพพลายเออร์รายเดียวค้าง | ทุกคนรอ แล้วทุกคนล้มเหลวหรือถูกตัดพร้อมกัน | รายนั้นถูกตัดออกจากการค้นหาครั้งนี้ ที่เหลือแสดงผล |
| ซัพพลายเออร์ช้าแต่ราคาดี | ไม่ถูกตัดออกตลอดก็ทำให้หน้าช้าตลอด | ได้งบนานกว่ารายที่เร็ว และแสดงทีหลัง |
| การลองใหม่ | ลอง fan-out ทั้งชุดใหม่ เพิ่มโหลดเท่าตัวให้รายที่ตอบไปแล้ว | ลองใหม่เฉพาะรายที่ล้มเหลว ถ้าคุ้มที่จะลอง |
| ผู้ใช้เห็นอะไร | วงหมุน แล้วได้ทั้งหมดหรือ error | ผลค่อยๆ เติม พร้อมสถานะ "กำลังค้นหา" ที่ปิดลงในที่สุด |
| ทีมปฏิบัติการเห็นอะไร | "ค้นหาหมดเวลา" โดยไม่รู้ว่าแหล่งไหนเป็นต้นเหตุ | จำนวน timeout รายซัพพลายเออร์ที่วางข้างชื่อเขาได้ |
| การปรับจูน | ตัวเลขเดียวที่เถียงกันไม่จบ | ตัวเลขรายซัพพลายเออร์ ตั้งจากประวัติของรายนั้นเอง |
งบรายซัพพลายเออร์ยังเป็นที่อยู่ของความจริงเชิงพาณิชย์ ซัพพลายเออร์ที่ราคาแทบไม่เคยถูกเลือกไม่สมควรได้รับความอดทนเท่ากับรายที่ชนะการจองส่วนใหญ่ของคุณบนเส้นทางนั้น ราคาสุทธิของ consolidator บนเส้นทางไทย–ตะวันออกกลางอาจคุ้มที่จะรอ bedbank รายที่สี่ที่คืนโรงแรมชุดเดียวกับสามรายแรกไม่คุ้ม งบคือการตัดสินใจเชิงผลิตภัณฑ์ที่แสดงเป็นตัวเลข และควรตั้งรายซัพพลายเออร์ ราย tenant ถ้า tenant ต่างกัน และทบทวนเป็นระยะ
สองการปรับแต่งที่คุ้มค่าในตัวเอง หนึ่ง งบไม่ใช่แค่ค่าสูงสุด ซัพพลายเออร์ที่ตอบกลับในเสี้ยวของงบแต่ส่งชุดว่างมาเป็นสัญญาณคนละแบบกับรายที่หมดเวลา และควรนับแยกกัน สอง การลองใหม่อยู่ที่ระดับซัพพลายเออร์และควรเกิดน้อยครั้ง การค้นหาซ้ำกับซัพพลายเออร์ที่เพิ่งหมดเวลามักหมายถึงสองการค้นหาต่อคิวอยู่ฝั่งเขา ทำให้ครั้งถัดไปช้าลงด้วย และบนสัญญาคิดตามปริมาณ มันคือเงิน
วัดอะไรให้ตัวเลขมีความหมาย
"เวลาค้นหาเฉลี่ย" คือตัวเลขที่ทุกคนรายงานและบอกอะไรคุณน้อยที่สุด มันปนการค้นหาโรงแรมที่แคชไว้เข้ากับ fan-out ระหว่างประเทศหกซัพพลายเออร์ ซ่อนซัพพลายเออร์ที่เป็นต้นเหตุ และขยับเมื่อสัดส่วนทราฟฟิกเปลี่ยน ไม่ใช่เมื่อโค้ดคุณเปลี่ยน แทนที่มันด้วยชุดการวัดเล็กๆ ที่แต่ละตัวตอบคำถามเดียว
- เวลาถึงผลลัพธ์แรก ต่อการค้นหา นี่คือสิ่งที่ผู้ใช้รับรู้ว่าเป็นความเร็ว มันถูกจำกัดด้วยซัพพลายเออร์ที่เร็วที่สุดของคุณบวก overhead ของคุณเอง ซึ่งเป็นส่วนที่คุณปรับปรุงได้จริง
- เวลาจนเสร็จสมบูรณ์ ต่อการค้นหา พร้อมตัวตนของซัพพลายเออร์ที่ปิดการค้นหา ถ้ารายเดียวเป็นรายสุดท้ายเสมอ นั่นคือบทสนทนาเรื่องงบ ไม่ใช่เรื่องวิศวกรรม
- เวลาตอบสนองรายซัพพลายเออร์ ในรูปการกระจาย ไม่ใช่ค่าเฉลี่ย ติดแท็กเส้นทางและช่วงเวลาของวัน ซัพพลายเออร์ที่ดีตอนเช้าแต่ช้าตอนเย็นดูดีบนค่าเฉลี่ย แต่จริงๆ ไม่ใช่
- timeout ในฐานะประเภทผลลัพธ์ นับคู่กับ "คืนผลลัพธ์" และ "คืนค่าว่าง" รายซัพพลายเออร์ timeout คือผลลัพธ์ที่คุณไม่ได้รับ และมันควรอยู่ในกราฟเดียวกับที่คุณได้รับ
- เวลาประมวลผลของคุณเอง แยกต่างหาก เมื่อมันโต คุณมีปัญหาโค้ด เมื่อเวลารอซัพพลายเออร์โต คุณมีบทสนทนา
- จำนวนการค้นหาต่อการจอง รายซัพพลายเออร์และราย tenant ทุกการค้นหาที่คุณส่งกินความจุของซัพพลายเออร์ และสัญญาส่วนใหญ่สนใจสัดส่วนนี้ การแก้ความหน่วงที่เพิ่มปริมาณค้นหาเท่าตัวผ่านการลองใหม่ทำให้ตัวเลขนี้แย่ลง ไม่ใช่ดีขึ้น
วัดที่จุดที่ผู้ใช้เห็นด้วย เซิร์ฟเวอร์ที่รายงานว่าค้นหาเร็วขณะที่เบราว์เซอร์รอขั้น serialization ที่ช้ากำลังพูดความจริงและทำให้คุณเข้าใจผิดในเวลาเดียวกัน
ถ้าทำผิด คุณเสียอะไร
ต้นทุนที่ชัดคือสิ่งที่อยู่ในตั๋ว: ผู้ใช้ที่รอแล้วจากไป ต้นทุนที่ไม่ชัดเป็นเรื่องพาณิชย์ timeout เดียวทั้งการค้นหาที่ตั้งสั้นเกินไปลบซัพพลายเออร์ออกจากผลลัพธ์ทุกครั้งอย่างเงียบๆ และคุณมารู้ก็ตอน account manager ถามว่าทำไมการจองหยุด การลอง fan-out ทั้งชุดใหม่เพิ่มสัดส่วนค้นหาต่อการจองเป็นสองเท่า และซัพพลายเออร์ที่วัดสัดส่วนนี้ตอบโต้ด้วยการจำกัดคุณหรือส่งใบแจ้งหนี้ การเรียงรายการ progressive ใหม่ใต้เคอร์เซอร์ผู้ใช้ทำให้คลิกผิดค่าโดยสาร กลายเป็นตั๋วซัพพอร์ตและบางครั้งเป็นการคืนเงิน และแดชบอร์ดที่อิงค่าเฉลี่ยปล่อยให้ทั้งสามอย่างเกิดขึ้นขณะที่ตัวเลขบนนั้นยังเขียวอยู่
ไม่มีข้อไหนแก้ได้ด้วยการทำให้โค้ดเร็วขึ้น มันแก้ได้ด้วยการตัดสินใจรายซัพพลายเออร์ว่าจะรอนานแค่ไหน แสดงสิ่งที่มีให้ผู้ใช้เห็นระหว่างรอ และวัดสิ่งที่ขยับจริง การเร่งโค้ดคุ้มที่จะทำ แค่มันไม่ใช่ส่วนที่ผิด