Kagamitan sa SEO

Tester ng Robots.txt

I-paste ang iyong nilalaman ng robots.txt at subukan kung ang mga tiyak na landas ng URL ay pinapayagan o naharang para sa iba't ibang mga bot ng search engine.

Agad na Pagsubok

I-paste ang iyong robots.txt at agad na subukan ang mga landas ng URL. Tingnan ang mga resulta sa real-time habang nagta-type ka.

Suporta para sa Maramihang Bot

Subukan laban sa Googlebot, Bingbot, at iba pang tanyag na crawler. Tingnan nang eksakto kung paano binabasa ng bawat bot ang iyong mga alituntunin.

100% Sa Gilid ng Kliyente

Ang lahat ng pag-parse at pagsubok ay nagaganap sa iyong browser. Ang nilalaman ng iyong robots.txt ay hindi kailanman umaalis sa iyong device.

Pag-unawa sa Robots.txt

Ang robots.txt file ay isang pamantayan na ginagamit ng mga website upang makipag-ugnayan sa mga crawler ng search engine at iba pang mga web robot. Sinabi nito sa mga bot kung aling mga bahagi ng iyong site ang maaari at hindi maaaring ma-access.

Ano ang robots.txt?

Ang Robots.txt ay isang plain text file na inilalagay sa ugat ng iyong website (hal. example.com/robots.txt) na sumusunod sa Robots Exclusion Protocol. Naglalaman ito ng mga alituntunin na nagsasabi sa mga crawler kung aling mga URL ang maaari nilang ma-access sa iyong site.

Paano Gamitin ang Tool na Ito

I-paste ang iyong nilalaman ng robots.txt sa text area (o kunin ito mula sa isang domain), ipasok ang isang landas ng URL na nais mong subukan, pumili ng user-agent, at i-click ang 'Subukan ang URL'. Agad na sasabihin sa iyo ng tool kung ang landas ay pinapayagan o naharang.

Bakit Subukan ang Iyong Robots.txt?

  • Pigilan ang aksidenteng paghaharang ng mahahalagang pahina mula sa mga search engine
  • Tiyakin na ang mga pribado o admin na pahina ay maayos na nakatago mula sa mga crawler
  • I-debug ang mga isyu sa crawling bago ito makaapekto sa iyong mga ranggo sa search
  • I-validate ang mga pagbabago bago ilabas sa produksyon

Garantisadong Privacy

Ang tool na ito ay ganap na tumatakbo sa iyong browser. Ang iyong nilalaman ng robots.txt at mga test URL ay hindi kailanman ipinapadala sa anumang server. Perpekto para sa pagsubok ng mga alituntunin na naglalaman ng mga sensitibong landas.

Mga Madalas Itanong

Paano gumagana ang pagtutugma ng robots.txt?
Ang robots.txt ay gumagamit ng pagtutugma ng path prefix. Ang isang alituntunin tulad ng 'Disallow: /admin/' ay humaharang sa lahat ng mga URL na nagsisimula sa '/admin/'. Ang wildcard (*) ay maaaring gamitin para sa pattern matching, at ang dollar sign ($) ay nag-aankor ng pagtutugma sa dulo ng isang URL.
Ano ang may priyoridad: Payagan o Huwag Payagan?
Kapag ang parehong Payagan at Huwag Payagan na mga alituntunin ay tumutugma sa isang URL, ang pinaka-tiyak (pinakamahabang) alituntunin ang mananaig. Kung pareho silang may parehong haba, ang Payagan ang may priyoridad. Ito ay sumusunod sa karaniwang interpretasyon ng Google.
Pinipigilan ba ng robots.txt ang mga pahina na ma-index?
Hindi, ang robots.txt ay nagkokontrol lamang sa crawling, hindi sa indexing. Ang isang pahina na naharang ng robots.txt ay maaari pa ring lumitaw sa mga resulta ng paghahanap kung ang ibang mga pahina ay nag-uugnay dito. Gumamit ng 'noindex' meta tag upang pigilan ang indexing.
Ano ang mangyayari kung walang robots.txt?
Kung walang robots.txt file, ang mga crawler ay nag-aassume na maaari nilang ma-access ang lahat ng bahagi ng iyong site. Ito ang default na pag-uugali para sa mga maayos na bot.
Maaari ko bang subukan ang mga wildcard na alituntunin?
Oo, sinusuportahan ng tool na ito ang wildcard (*) na pagtutugma at end-of-URL anchoring ($) gaya ng ginagamit ng Google at iba pang pangunahing search engine.