এসইও টুল

রোবটস.txt পরীক্ষক

আপনার রোবটস.txt বিষয়বস্তু পেস্ট করুন এবং দেখুন নির্দিষ্ট URL পথগুলি বিভিন্ন সার্চ ইঞ্জিন বটের জন্য অনুমোদিত বা ব্লক করা হয়েছে কিনা।

তাত্ক্ষণিক পরীক্ষা

আপনার রোবটস.txt পেস্ট করুন এবং URL পথগুলি তাত্ক্ষণিকভাবে পরীক্ষা করুন। আপনি টাইপ করার সময় ফলাফলগুলি রিয়েল-টাইমে দেখুন।

একাধিক বট সমর্থন

গুগলবট, বিংবট, এবং অন্যান্য জনপ্রিয় ক্রলারের বিরুদ্ধে পরীক্ষা করুন। প্রতিটি বট কীভাবে আপনার নিয়মগুলি ব্যাখ্যা করে তা সঠিকভাবে দেখুন।

১০০% ক্লায়েন্ট-সাইড

সমস্ত পার্সিং এবং পরীক্ষণ আপনার ব্রাউজারে ঘটে। আপনার রোবটস.txt বিষয়বস্তু কখনও আপনার ডিভাইস ছেড়ে যায় না।

রোবটস.txt বোঝা

রোবটস.txt ফাইলটি ওয়েবসাইটগুলির দ্বারা সার্চ ইঞ্জিন ক্রলার এবং অন্যান্য ওয়েব রোবটের সাথে যোগাযোগ করার জন্য ব্যবহৃত একটি মানক। এটি বটগুলিকে জানায় আপনার সাইটের কোন অংশগুলি তারা অ্যাক্সেস করতে পারে এবং কোনগুলি পারে না।

রোবটস.txt কি?

রোবটস.txt হল একটি সাধারণ টেক্সট ফাইল যা আপনার ওয়েবসাইটের রুটে (যেমন, example.com/robots.txt) স্থাপন করা হয় যা রোবটস এক্সক্লুশন প্রোটোকল অনুসরণ করে। এটি নিয়মগুলি ধারণ করে যা ক্রলারদের জানায় কোন URL গুলি তারা আপনার সাইটে অ্যাক্সেস করতে পারে।

এই টুলটি কীভাবে ব্যবহার করবেন

আপনার রোবটস.txt বিষয়বস্তু টেক্সট এরিয়াতে পেস্ট করুন (অথবা একটি ডোমেইন থেকে ফেচ করুন), আপনি যে URL পথটি পরীক্ষা করতে চান তা প্রবেশ করুন, একটি ব্যবহারকারী-এজেন্ট নির্বাচন করুন, এবং 'URL পরীক্ষা করুন' ক্লিক করুন। টুলটি তাত্ক্ষণিকভাবে আপনাকে জানাবে যে পথটি অনুমোদিত বা ব্লক করা হয়েছে।

আপনার রোবটস.txt পরীক্ষা করার কারণ কি?

  • সার্চ ইঞ্জিন থেকে গুরুত্বপূর্ণ পৃষ্ঠাগুলি দুর্ঘটনাক্রমে ব্লক করা প্রতিরোধ করুন
  • নিশ্চিত করুন যে ব্যক্তিগত বা প্রশাসনিক পৃষ্ঠাগুলি ক্রলারদের থেকে সঠিকভাবে লুকানো হয়েছে
  • আপনার সার্চ র‌্যাঙ্কিংয়ের উপর প্রভাব ফেলানোর আগে ক্রলিং সমস্যাগুলি ডিবাগ করুন
  • প্রোডাকশনে মোতায়েন করার আগে পরিবর্তনগুলি যাচাই করুন

গোপনীয়তা গ্যারান্টি

এই টুলটি সম্পূর্ণরূপে আপনার ব্রাউজারে চলে। আপনার রোবটস.txt বিষয়বস্তু এবং পরীক্ষার URL গুলি কখনও কোন সার্ভারে পাঠানো হয় না। সংবেদনশীল পথগুলির নিয়ম পরীক্ষা করার জন্য নিখুঁত।

ঘন ঘন জিজ্ঞাসিত প্রশ্নাবলী

রোবটস.txt ম্যাচিং কিভাবে কাজ করে?
রোবটস.txt পথ প্রিফিক্স ম্যাচিং ব্যবহার করে। 'নিষিদ্ধ: /admin/' এর মতো একটি নিয়ম '/admin/' দিয়ে শুরু হওয়া সমস্ত URL ব্লক করে। প্যাটার্ন ম্যাচিংয়ের জন্য ওয়াইল্ডকার্ড (*) ব্যবহার করা যেতে পারে, এবং ডলার চিহ্ন ($) একটি URL এর শেষে একটি ম্যাচকে অ্যাঙ্কর করে।
কী প্রাধান্য পায়: অনুমোদন বা নিষেধ?
যখন উভয় অনুমোদন এবং নিষেধ নিয়ম একটি URL এর সাথে মেলে, সবচেয়ে নির্দিষ্ট (দীর্ঘতম) নিয়ম জিতে। যদি তারা একই দৈর্ঘ্যের হয়, তবে অনুমোদন প্রাধান্য পায়। এটি গুগলের মানক ব্যাখ্যা অনুসরণ করে।
রোবটস.txt কি পৃষ্ঠাগুলিকে সূচীকৃত হতে বাধা দেয়?
না, রোবটস.txt কেবল ক্রলিং নিয়ন্ত্রণ করে, সূচীকরণ নয়। একটি পৃষ্ঠা যা রোবটস.txt দ্বারা ব্লক করা হয়েছে তা এখনও সার্চ ফলাফলে প্রদর্শিত হতে পারে যদি অন্যান্য পৃষ্ঠাগুলি এর সাথে লিঙ্ক করে। সূচীকরণ প্রতিরোধ করতে 'নোইন্ডেক্স' মেটা ট্যাগ ব্যবহার করুন।
যদি কোন রোবটস.txt না থাকে তবে কি হয়?
যদি কোন রোবটস.txt ফাইল না থাকে, তবে ক্রলাররা ধরে নেয় তারা আপনার সাইটের সমস্ত অংশে অ্যাক্সেস করতে পারে। এটি ভাল আচরণকারী বটগুলির জন্য ডিফল্ট আচরণ।
আমি কি ওয়াইল্ডকার্ড নিয়ম পরীক্ষা করতে পারি?
হ্যাঁ, এই টুলটি গুগল এবং অন্যান্য প্রধান সার্চ ইঞ্জিন দ্বারা ব্যবহৃত ওয়াইল্ডকার্ড (*) ম্যাচিং এবং URL এর শেষে অ্যাঙ্করিং ($) সমর্থন করে।