মূল কনটেন্টে যান
লাইভ ডেমো
ব্লগ

ট্রাভেল API লেটেন্সি: কী ঠিক করা যায়, কী যায় না

Tekravel সম্পাদকীয়
AI-এর সহায়তায় লেখা

টিকিটে লেখা "সার্চ ধীর"। আপনি ঢাকা–দুবাই রিটার্ন ফ্লাইটের trace খুললেন, আর দেখলেন আপনার নিজের কোড শুরুতে একটা পাতলা টুকরো আর শেষে আরেকটা। মাঝখানের সবটাই অপেক্ষা: GDS-এর জন্য, দুটি NDC এয়ারলাইনের জন্য, আর এমন এক হোটেল অ্যাগ্রিগেটরের জন্য যে যখন খুশি তখন উত্তর দেয়। ট্রাভেল API লেটেন্সি একমাত্র পারফরম্যান্স সমস্যা যেখানে profiler বারবার এমন কোডের দিকে আঙুল তোলে যা আপনি লেখেননি আর deploy-ও করতে পারেন না। এতে "ঠিক করা" কথাটার মানেই বদলে যায়, আর টিমগুলো এর পেছনে যে পরিশ্রম করে তার বেশিরভাগ যায় ভুল অর্ধেকে।

মাল্টি-সাপ্লায়ার সার্চে ট্রাভেল API লেটেন্সি আসলে কোথায় যায়

বুকিং ইঞ্জিনে একটা ফ্লাইট সার্চ একটা রিকোয়েস্ট নয়। এটা একটা fan-out। ইঞ্জিন উৎস, গন্তব্য, তারিখ আর যাত্রীর গঠন নেয়, ওই রুটে যে সাপ্লায়ারদের জিজ্ঞেস করার অনুমতি আছে তাদের প্রত্যেকের নিজস্ব ফরম্যাটে রিকোয়েস্ট বানায়, সব একসাথে পাঠায়, তারপর অপেক্ষা করে। প্রতিটি সাপ্লায়ারের নিজস্ব ঘড়ি আছে: একটা GDS সেশন যা গরম ছিল বা ছিল না, একটা NDC গেটওয়ে যা এয়ারলাইনের দিকে দাম নতুন করে হিসাব করছে, একটা bedbank যে নিজেই পেছনের channel manager-দের কাছে fan-out করছে। আপনি ব্যবহারকারীকে যে ফল দেখাতে পারেন তার নিচের সীমা ঠিক করে গড় নয়, বরং যে সাপ্লায়ারদের জন্য অপেক্ষা করবেন বলে ঠিক করেছেন তাদের মধ্যে সবচেয়ে ধীরটি।

এটাই প্রথম আত্মস্থ করার বিষয়। সাপ্লায়ার যোগ করলে পূর্ণ সার্চ কখনও দ্রুত হয় না। শুধু আরেকটা লেন যোগ হয়, যেটা খালি না হলে পুরো ফলাফল "সম্পূর্ণ" হয় না।

তারপর উত্তর ফিরে আসে, আর শুরু হয় সেই কাজ যা সত্যিই আপনার: প্রতিটি সাপ্লায়ারের বড় XML বা JSON payload পার্স করা, তাদের বিমানবন্দর, এয়ারলাইন আর ভাড়ার কোড আপনার কোডে ম্যাপ করা, তিনটি সোর্স যে একই ভ্রমণপথ তিন দামে ফেরত দিল সেগুলোর ডুপ্লিকেট বাদ দেওয়া, যে টেন্যান্ট জিজ্ঞেস করছে তার markup নিয়ম বসানো, মুদ্রা টাকায় রূপান্তর, আর সাজানো। ব্যস্ত রুটে এই ধাপ বিনামূল্যে নয়, আর এটাই একমাত্র জায়গা যেখানে profiler আপনাকে কাজে লাগার মতো কিছু বলবে। হোটেলের দিকটা নিয়ে আমরা লিখেছি ধীর সাপ্লায়ারের জন্য হোটেল প্রাপ্যতা API ক্লায়েন্ট ডিজাইন নিবন্ধে; ফ্লাইটের দিকটা একই আকৃতির, শুধু ম্যাপ করার কোড বেশি।

তাই একটা ধীর সার্চের সৎ ভাঙন তিনটি ঝুড়িতে:

  • সাপ্লায়ারের অপেক্ষা — একক সাপ্লায়ারের সবচেয়ে দীর্ঘ উত্তর। আপনার নিয়ন্ত্রণে নেই।
  • আপনার পোস্ট-প্রসেসিং — পার্স, ম্যাপ, ডিডুপ, দাম, সাজানো। সবটাই আপনার নিয়ন্ত্রণে।
  • ডেলিভারি — মিলিত ফল সিরিয়ালাইজ করে ব্রাউজারে পৌঁছে দেওয়া। সাধারণত ছোট, মাঝে মাঝে চমক।

যে অর্ধেক আপনি ঠিক করতে পারেন, আর যে অর্ধেক ঠিক করার চেষ্টা বন্ধ করা উচিত

দ্বিতীয় ঝুড়ি দিয়ে শুরু করুন, কারণ সেটা আপনার। সাধারণ যা পাওয়া যায়, যে ক্রমে দেখা দেয়: এমন ম্যাপিং ধাপ যা টেবিলটা একবার লোড না করে প্রতিটি বিমানবন্দর কোড ডাটাবেসে আলাদা করে খোঁজে; এমন মুদ্রা রূপান্তর যা প্রতি সার্চে নয়, প্রতি ভাড়ায় রেট সার্ভিস ডাকে; এমন ডিডুপ রুটিন যা প্রতিটি ভ্রমণপথকে অন্য প্রতিটির সাথে তুলনা করে; এমন সিরিয়ালাইজেশন যা প্রতিটি টেন্যান্টের জন্য অবজেক্ট গ্রাফ নতুন করে হাঁটে। এর কোনোটাই অদ্ভুত নয়। সবটাই এক স্প্রিন্টে ঠিক করা যায়, আর সেই সমাধান টিকে থাকে।

কানেকশন হ্যান্ডলিং আরেকটা জায়গা যেখানে লাভ সত্যিকারের। প্রতিটি সার্চে সাপ্লায়ারের সাথে নতুন TLS handshake নিছক overhead; সার্চের মাঝেও বাঁচিয়ে রাখা গরম কানেকশনের একটা pool সেটা মুছে দেয়। বিশেষ করে GDS সেশন খুলতে দামি আর পুনর্ব্যবহারে সস্তা, এজন্যই ওই জগতে সেশন ম্যানেজমেন্ট একটা প্রোডাক্ট ফিচার, বাস্তবায়নের খুঁটিনাটি নয়।

এবার যে অর্ধেক ঠিক করা বন্ধ করতে হবে। সাপ্লায়ারকে আপনি দ্রুত উত্তর দেওয়াতে পারবেন না। অ্যাকাউন্ট ম্যানেজারকে চেঁচিয়ে বলতে পারেন, কখনও কখনও কোনো রুট দ্রুততর নোডে সরানো হয়, কিন্তু অন্যের সিস্টেমের রেসপন্স টাইম আপনার deployment-এর কোনো ভেরিয়েবল নয়। যে টিমগুলো এটা ভুলে যায় তারা একের পর এক কোয়ার্টার নিজেদের পোস্ট-প্রসেসিং পাতলা টুকরো থেকে আরও পাতলা করতে ব্যয় করে, অথচ সাপ্লায়ারের অপেক্ষা, যেটা মোটের বেশিরভাগ, এক চুলও নড়ে না। profiler তাদের সাথে সৎ ছিল। তারাই যে অংশকে ঠিক আছে বলা হয়েছিল সেটা অপ্টিমাইজ করে গেছে।

ধীর সাপ্লায়ার নিয়ে আপনি যা করতে পারেন তা হলো ঠিক করা, তার জন্য কতক্ষণ অপেক্ষা করতে রাজি, আর সেই সময়ে ব্যবহারকারী কী দেখবে। লেখার বাকিটা সেটাই।

Progressive rendering-ই সৎ উত্তর

পূর্ণ ফলাফল যদি সবচেয়ে ধীর সাপ্লায়ারে আটকে থাকে, তাহলে ব্যবহারকারীকে আগে কিছু দেখানোর একমাত্র উপায় হলো সেটের সম্পূর্ণ হওয়ার অপেক্ষা বন্ধ করা। যে সাপ্লায়ার প্রথম উত্তর দেয় তার ফল দেখান। পরের সাপ্লায়ারের ফল এলে যোগ করুন। পিছিয়ে থাকা সাপ্লায়াররা যখনও পথে, ব্যবহারকারীকে পড়তে, ফিল্টার করতে আর তুলনা করতে দিন। এটাই progressive rendering, আর এটা কোনো কৌশল নয়; সার্ভারে আসলে যা ঘটছে তার নিখুঁত উপস্থাপনা।

এর কিছু পরিণতি আছে যেগুলো পরে আবিষ্কারের বদলে আগে থেকে ডিজাইন করা ভালো:

  • সাজানোর স্থিরতা। দাম অনুযায়ী সাজানো তালিকা যদি প্রতিটি সাপ্লায়ার আসার সাথে নতুন করে সাজে, তাহলে ব্যবহারকারী যে ভাড়ায় ক্লিক করতে যাচ্ছিল সেটা সরে যাবে। নতুন ফল জায়গামতো ঢোকান, বা জমিয়ে রেখে ব্যবহারকারীকে নিজে টেনে আনতে দিন, কিন্তু কার্সরের নিচে তালিকা ওলটপালট করবেন না।
  • "সবচেয়ে সস্তা" অস্থায়ী। শেষ সাপ্লায়ার না আসা পর্যন্ত সর্বনিম্ন ভাড়ার যেকোনো দাবি শুধু যারা উত্তর দিয়েছে তাদের নিয়ে দাবি। ইন্টারফেসের উচিত সম্পূর্ণতার ভান না করে সেই অবস্থাটা দৃশ্যমান রাখা।
  • বুকিং ধাপে অবশ্যই পুনরায় যাচাই। আগের উত্তর থেকে দেখানো ভাড়া ব্যবহারকারী ক্লিক করার আগেই উধাও হতে পারে। non-progressive ডিজাইনেও তা সত্য, কিন্তু progressive rendering জানালাটা বড় করে। বুকিং API ইন্টিগ্রেশনের নিবন্ধ re-price ধাপ নিয়ে লিখেছে; এখানে সেটা ঐচ্ছিক নয়।
  • ক্যাশিং কঠিন নয়, সহজ হয়। সাপ্লায়ার-ভিত্তিক ফল সাপ্লায়ার-ভিত্তিক আয়ু নিয়ে ক্যাশ করা যায়। bedbank-এর স্থির রেট ঘণ্টার পর ঘণ্টা বাঁচে; একটা NDC অফার, কয়েক মিনিট। একটা একক মিলিত ফল সবার ওপর সবচেয়ে ছোট আয়ু চাপিয়ে দেয়।

এটা সমর্থন করে যে API-র আকৃতি, তা হলো এমন সার্চ যা সাথে সাথে একটা identifier ফেরত দেয় আর ক্লায়েন্টকে ফল আসার সাথে সাথে poll বা subscribe করতে দেয়, প্রতিটি ব্যাচে সোর্সের ট্যাগ আর সার্চ এখনও খোলা কি না তার একটা flag সহ। প্ল্যাটফর্মের নিজস্ব ফ্লাইট আর হোটেল API সেই আকৃতির চারপাশে তৈরি; ট্রাভেল API পাতা কী কী আছে তা বর্ণনা করে, আর অ্যাক্সেস শুরু হয় সেলফ-সার্ভিস key দিয়ে নয়, কথোপকথন দিয়ে, তাই প্রশ্ন সাথে আনুন।

প্রতি রিকোয়েস্টে নয়, প্রতি সাপ্লায়ারে timeout

পুরো সার্চে একটা timeout এই স্তরের সবচেয়ে সাধারণ ভুল, আর এটা একসাথে দুই দিকেই ভুল। ছোট রাখুন, ধীর-কিন্তু-মূল্যবান সাপ্লায়ার প্রতিটি সার্চে কাটা পড়বে আর আপনি নিঃশব্দে তার ইনভেন্টরি বিক্রি বন্ধ করবেন। বড় রাখুন, একটা ঝুলে থাকা সাপ্লায়ার সব ফলকে জিম্মি করবে, যেগুলো সাথে সাথে এসেছিল সেগুলোসহ।

সিদ্ধান্তপুরো সার্চে একটা timeoutপ্রতি সাপ্লায়ারে বাজেট
একটা সাপ্লায়ার ঝুলে গেলসবাই অপেক্ষা করে, তারপর সবাই ব্যর্থ বা সবাই কাটা পড়েসেই সাপ্লায়ার এই সার্চ থেকে বাদ; বাকিরা দেখানো হয়
ভালো ভাড়ার ধীর সাপ্লায়ারহয় সবসময় বাদ, নয়তো সবসময় পেজ ধীর করেদ্রুতদের চেয়ে বেশি বাজেট পায়, আর দেরিতে রেন্ডার হয়
পুনঃচেষ্টাপুরো fan-out আবার, যারা উত্তর দিয়েছে তাদের লোড দ্বিগুণশুধু যেটা ব্যর্থ হলো, তাও যদি চেষ্টার যোগ্য হয়
ব্যবহারকারী কী দেখেস্পিনার, তারপর সবকিছু বা একটা errorফল ভরতে থাকে, আর একটা "এখনও খুঁজছি" অবস্থা যা শেষে বন্ধ হয়
অপারেশন টিম কী দেখেকোন সোর্স দায়ী তার ইঙ্গিত ছাড়া "সার্চ timeout হয়েছে"সাপ্লায়ারের নামের পাশে রাখার মতো সাপ্লায়ার-ভিত্তিক timeout গণনা
টিউনিংএকটা সংখ্যা নিয়ে অন্তহীন তর্কপ্রতি সাপ্লায়ারে একটা সংখ্যা, তার নিজের ইতিহাস থেকে ঠিক করা

সাপ্লায়ার-ভিত্তিক বাজেটই সেই জায়গা যেখানে বাণিজ্যিক বাস্তবতা বাস করে। যে সাপ্লায়ারের ভাড়া কদাচিৎ বাছাই হয় সে এমন সাপ্লায়ারের সমান ধৈর্য পাওয়ার যোগ্য নয় যে কোনো রুটে আপনার বেশিরভাগ বুকিং জেতে। বাংলাদেশ–মধ্যপ্রাচ্য রুটে একজন consolidator-এর net ভাড়ার জন্য অপেক্ষা করা যেতে পারে; প্রথম তিনটির মতোই একই হোটেল ফেরত দেওয়া চতুর্থ bedbank-এর জন্য নয়। বাজেট একটা সংখ্যায় প্রকাশিত প্রোডাক্ট সিদ্ধান্ত, আর তা প্রতি সাপ্লায়ারে, টেন্যান্ট আলাদা হলে প্রতি টেন্যান্টে ঠিক করা উচিত, আর ফিরে দেখা উচিত।

দুটি সংশোধন যা নিজের খরচ নিজেই তুলে নেয়। প্রথমত, বাজেট শুধু সর্বোচ্চ সীমা নয়; যে সাপ্লায়ার তার বাজেটের সামান্য অংশে ফেরে কিন্তু খালি সেট নিয়ে, সেটা timeout হওয়া সাপ্লায়ারের থেকে আলাদা সংকেত, আর দুটো আলাদা করে গোনা উচিত। দ্বিতীয়ত, পুনঃচেষ্টা সাপ্লায়ার স্তরের বিষয় আর বিরল হওয়া উচিত। যে সাপ্লায়ার এইমাত্র timeout হলো তার কাছে আবার সার্চ পাঠানো মানে সাধারণত তার দিকে দুটো সার্চ কিউতে, যাতে পরেরটাও ধীর হয়, আর মিটারযুক্ত চুক্তিতে তাতে টাকা খরচ হয়।

সংখ্যাটা যেন অর্থ বহন করে, সেজন্য কী মাপবেন

"গড় সার্চ টাইম" সেই সংখ্যা যা সবাই রিপোর্ট করে আর যা সবচেয়ে কম বলে। এটা ক্যাশ করা হোটেল লুকআপকে ছয়-সাপ্লায়ার আন্তর্জাতিক fan-out-এর সাথে মেশায়, যে সাপ্লায়ার কারণ তাকে লুকায়, আর আপনার কোড বদলালে নয়, ট্রাফিকের মিশ্রণ বদলালে নড়ে। এর বদলে ছোট কয়েকটি পরিমাপ নিন, যার প্রতিটি একটা প্রশ্নের উত্তর দেয়।

  1. প্রথম ফল পর্যন্ত সময়, প্রতি সার্চে। ব্যবহারকারী একেই গতি হিসেবে অনুভব করে। এটা আপনার দ্রুততম সাপ্লায়ার আর আপনার নিজের overhead-এ সীমাবদ্ধ, যে অংশটা আপনি সত্যিই উন্নত করতে পারেন।
  2. সম্পূর্ণ হওয়া পর্যন্ত সময়, প্রতি সার্চে, যে সাপ্লায়ার সেটা শেষ করল তার পরিচয়সহ। একটা সাপ্লায়ার যদি সবসময় শেষে আসে, সেটা বাজেটের আলোচনা, ইঞ্জিনিয়ারিংয়ের নয়।
  3. সাপ্লায়ার-ভিত্তিক রেসপন্স টাইম, গড় নয়, বণ্টন হিসেবে, রুট আর দিনের সময় দিয়ে ট্যাগ করা। যে সাপ্লায়ার সকালে ঠিক আর সন্ধ্যায় ধীর, গড়ে তাকে ঠিক দেখায়, কিন্তু সে ঠিক নয়।
  4. ফলের শ্রেণি হিসেবে timeout, "ফল দিল" আর "খালি দিল"-এর পাশে প্রতি সাপ্লায়ারে গোনা। timeout এমন ফল যা আপনি পাননি, আর তার জায়গা সেই একই চার্টে যেখানে পাওয়া ফলগুলো আছে।
  5. আপনার নিজের পোস্ট-প্রসেসিং সময়, আলাদা করে। এটা বাড়লে আপনার কোডে সমস্যা। সাপ্লায়ারের অপেক্ষা বাড়লে আপনার আলোচনা করার আছে।
  6. প্রতি বুকিংয়ে সার্চ, প্রতি সাপ্লায়ার আর প্রতি টেন্যান্টে। আপনার পাঠানো প্রতিটি সার্চ সাপ্লায়ারের ক্ষমতা খরচ করে, আর বেশিরভাগ চুক্তি এই অনুপাত নিয়ে মাথা ঘামায়। যে লেটেন্সি সমাধান পুনঃচেষ্টার মাধ্যমে সার্চের পরিমাণ দ্বিগুণ করে, সেটা সংখ্যাটা ভালো নয়, খারাপ করেছে।

ব্যবহারকারী যে বিন্দুতে দেখে সেখানেও মাপুন। যে সার্ভার দ্রুত সার্চ রিপোর্ট করে যখন ব্রাউজার একটা ধীর সিরিয়ালাইজেশন ধাপে অপেক্ষা করছে, সে একই সাথে সত্য বলছে আর আপনাকে বিভ্রান্ত করছে।

ভুল করলে আপনার কী খরচ হয়

স্পষ্ট খরচটা টিকিটের ভেতরেই: একজন ব্যবহারকারী যে অপেক্ষা করে, তারপর চলে যায়। কম স্পষ্টগুলো বাণিজ্যিক। খুব ছোট রাখা একটা সার্চ-ব্যাপী timeout নিঃশব্দে প্রতিটি সার্চে আপনার ফল থেকে একটা সাপ্লায়ারকে মুছে দেয়, আর আপনি জানেন তখনই যখন অ্যাকাউন্ট ম্যানেজার জিজ্ঞেস করে বুকিং কেন থেমে গেল। পুরো fan-out পুনঃচেষ্টা আপনার সার্চ-প্রতি-বুকিং দ্বিগুণ করে, আর যে সাপ্লায়াররা সেই অনুপাত মাপে তারা আপনাকে থ্রটল করে বা ইনভয়েস পাঠায়। ব্যবহারকারীর কার্সরের নিচে progressive তালিকা নতুন করে সাজালে ভুল ভাড়ায় ভুল ক্লিক হয়, যা সাপোর্ট টিকিটে আর কখনও কখনও রিফান্ডে পরিণত হয়। আর গড়-ভিত্তিক ড্যাশবোর্ড এই তিনটিকেই ঘটতে দেয় যখন তার সংখ্যাটা সবুজই থাকে।

এর কোনোটাই কোড দ্রুত করে সমাধান হয় না। সমাধান হয় প্রতি সাপ্লায়ারে ঠিক করে কতক্ষণ অপেক্ষা করবেন, অপেক্ষার সময়ে যা আছে তা ব্যবহারকারীকে দেখিয়ে, আর যেটা সত্যিই নড়েছে সেটা মেপে। কোডের গতি বাড়ানো করার যোগ্য। শুধু সেটা সেই অংশ নয় যেটা ভুল ছিল।

Tekravel সম্পাদকীয়

ট্রাভেল টেকনোলজি ডেস্ক

Tekravel-এর ট্রাভেল টেকনোলজি ডেস্ক লেখে ইন্ডাস্ট্রির জন্য: এজেন্সি মালিক, কনসলিডেটর এবং যেসব ডেভেলপার তাঁদের সংযুক্ত করেন। প্রতিটি লেখা প্রকাশের আগে সেই প্ল্যাটফর্মেই যাচাই করা হয় যেটির কথা সেখানে বলা হয়েছে।