SEO साधन

Robots.txt चाचणी

आपल्या robots.txt सामग्रीची पेस्ट करा आणि तपासा की विशिष्ट URL पथ विविध शोध इंजिन बॉटसाठी परवानगी दिली आहे की नाही.

तत्काळ चाचणी

आपल्या robots.txt ची पेस्ट करा आणि URL पथ त्वरित चाचणी करा. आपण टाइप करत असताना वास्तविक वेळेत परिणाम पहा.

अनेक बॉट समर्थन

Googlebot, Bingbot, आणि इतर लोकप्रिय क्रॉलर विरुद्ध चाचणी करा. प्रत्येक बॉट आपल्या नियमांचे कसे अर्थ लावतो हे बघा.

100% क्लायंट-साइड

सर्व पार्सिंग आणि चाचणी आपल्या ब्राउझरमध्ये होते. आपल्या robots.txt सामग्री कधीही आपल्या डिव्हाइसवरून बाहेर जात नाही.

Robots.txt समजून घेणे

robots.txt फाइल ही वेबसाइट्सद्वारे शोध इंजिन क्रॉलर आणि इतर वेब रोबोट्सशी संवाद साधण्यासाठी वापरली जाणारी एक मानक आहे. हे बॉट्सना सांगते की आपल्या साइटच्या कोणत्या भागांमध्ये प्रवेश आहे आणि कोणत्या भागांमध्ये प्रवेश नाही.

robots.txt काय आहे?

Robots.txt ही एक साधी टेक्स्ट फाइल आहे जी आपल्या वेबसाइटच्या मूळावर ठेवली जाते (उदा., उदाहरण.com/robots.txt) जी Robots Exclusion Protocol चे पालन करते. यात नियम असतात जे क्रॉलरना सांगतात की कोणते URL त्यांना आपल्या साइटवर प्रवेश करता येईल.

या साधनाचा वापर कसा करावा

आपल्या robots.txt सामग्रीला टेक्स्ट क्षेत्रात पेस्ट करा (किंवा डोमेनमधून फेच करा), आपण चाचणी करायचा URL पथ प्रविष्ट करा, एक user-agent निवडा, आणि 'URL ची चाचणी करा' वर क्लिक करा. साधन त्वरित आपल्याला सांगेल की पथ परवानगी दिली आहे की अवरोधित आहे.

आपल्या Robots.txt ची चाचणी का करावी?

  • महत्त्वाच्या पृष्ठांना शोध इंजिनकडून अनवधानाने अवरोधित होण्यापासून रोखा
  • खाजगी किंवा प्रशासकीय पृष्ठे क्रॉलरपासून योग्यरित्या लपवले आहेत याची खात्री करा
  • आपल्या शोध रँकिंगवर परिणाम होण्यापूर्वी क्रॉलिंग समस्यांचे डिबग करा
  • उत्पादनात तैनात करण्यापूर्वी बदलांची पडताळणी करा

गोपनीयता हमी

हे साधन पूर्णपणे आपल्या ब्राउझरमध्ये चालते. आपल्या robots.txt सामग्री आणि चाचणी URL कधीही कोणत्याही सर्व्हरवर पाठवले जात नाहीत. संवेदनशील पथ असलेल्या नियमांची चाचणी करण्यासाठी योग्य.

वारंवार विचारले जाणारे प्रश्न

robots.txt जुळणी कशी कार्य करते?
Robots.txt पथ प्रीफिक्स जुळणी वापरते. 'Disallow: /admin/' सारखा नियम '/admin/' ने सुरू होणारे सर्व URL अवरोधित करतो. वाइल्डकार्ड (*) पॅटर्न जुळणीसाठी वापरला जाऊ शकतो, आणि डॉलर चिन्ह ($) URL च्या शेवटी जुळणीला अँकर करते.
काय प्राधान्य आहे: Allow किंवा Disallow?
जेव्हा Allow आणि Disallow नियम दोन्ही URL जुळतात, तेव्हा सर्वात विशिष्ट (लांब) नियम जिंकतो. जर ते समान लांबीचे असतील, तर Allow प्राधान्य घेतो. हे मानक Google अर्थ लावण्याचे पालन करते.
robots.txt पृष्ठांना अनुक्रमित होण्यापासून थांबवते का?
नाही, robots.txt फक्त क्रॉलिंग नियंत्रित करते, अनुक्रमण नाही. robots.txt द्वारे अवरोधित केलेले एक पृष्ठ शोध परिणामांमध्ये दिसू शकते जर इतर पृष्ठे त्याला लिंक करत असतील. अनुक्रमण थांबवण्यासाठी 'noindex' मेटा टॅग वापरा.
जर robots.txt नसेल तर काय होते?
जर robots.txt फाइल अस्तित्वात नसेल, तर क्रॉलर assume करतात की त्यांना आपल्या साइटच्या सर्व भागांमध्ये प्रवेश आहे. हे चांगल्या वर्तन करणाऱ्या बॉटसाठी डिफॉल्ट वर्तन आहे.
मी वाइल्डकार्ड नियमांची चाचणी करू शकतो का?
होय, हे साधन वाइल्डकार्ड (*) जुळणी आणि URL च्या शेवटी अँकरेजिंग ($) ला समर्थन करते जसे Google आणि इतर प्रमुख शोध इंजिन वापरतात.