Instrument SEO

Tester Robots.txt

Lipiti conținutul dvs. robots.txt și testați dacă căile URL specifice sunt permise sau blocate pentru diferite bot-uri de motoare de căutare.

Testare Instantanee

Lipiti robots.txt și testați căile URL imediat. Vedeți rezultatele în timp real pe măsură ce tastați.

Suport pentru mai multe bot-uri

Testați împotriva Googlebot, Bingbot și altor crawler-e populare. Vedeți exact cum interpretează fiecare bot regulile dvs.

100% Client-Side

Toată analiza și testarea se desfășoară în browserul dvs. Conținutul dvs. robots.txt nu părăsește niciodată dispozitivul.

Înțelegerea Robots.txt

Fișierul robots.txt este un standard utilizat de site-uri pentru a comunica cu crawler-ele motoarelor de căutare și alte roboți web. Acesta le spune bot-urilor ce părți ale site-ului dvs. pot și nu pot accesa.

Ce este robots.txt?

Robots.txt este un fișier text simplu plasat la rădăcina site-ului dvs. (de exemplu, example.com/robots.txt) care urmează Protocolul de Excludere a Roboților. Conține reguli care le spun crawler-elor ce URL-uri pot accesa pe site-ul dvs.

Cum să folosiți acest instrument

Lipiti conținutul dvs. robots.txt în zona de text (sau obțineți-l de pe un domeniu), introduceți o cale URL pe care doriți să o testați, selectați un user-agent și faceți clic pe 'Testați URL'. Instrumentul vă va spune instantaneu dacă calea este permisă sau blocată.

De ce să testați robots.txt?

  • Preveniți blocarea accidentală a paginilor importante din motoarele de căutare
  • Asigurați-vă că paginile private sau de administrare sunt ascunse corect de crawler-e
  • Depanați problemele de crawl înainte de a afecta clasamentele dvs. în căutări
  • Validați modificările înainte de a le implementa în producție

Confidențialitate Garantată

Acest instrument funcționează complet în browserul dvs. Conținutul dvs. robots.txt și URL-urile de testare nu sunt niciodată trimise pe niciun server. Perfect pentru testarea regulilor care conțin căi sensibile.

Întrebări Frecvente

Cum funcționează potrivirea robots.txt?
Robots.txt folosește potrivirea prefixului de cale. O regulă precum 'Disallow: /admin/' blochează toate URL-urile care încep cu '/admin/'. Caracterul wildcard (*) poate fi folosit pentru potrivirea modelului, iar semnul dolar ($) ancorează o potrivire la sfârșitul unui URL.
Ce are prioritate: Permis sau Blocat?
Când atât regulile Permis cât și Blocat se potrivesc cu un URL, regula cea mai specifică (cea mai lungă) câștigă. Dacă au aceeași lungime, Permis are prioritate. Aceasta urmează interpretarea standard Google.
Blochează robots.txt paginile de a fi indexate?
Nu, robots.txt controlează doar crawl-ul, nu indexarea. O pagină blocată de robots.txt poate apărea în continuare în rezultatele căutării dacă alte pagini fac legătura cu aceasta. Folosiți meta tag-ul 'noindex' pentru a preveni indexarea.
Ce se întâmplă dacă nu există robots.txt?
Dacă nu există fișier robots.txt, crawler-ele presupun că pot accesa toate părțile site-ului dvs. Aceasta este comportamentul implicit pentru bot-urile bine comportate.
Pot testa reguli wildcard?
Da, acest instrument suportă potrivirea wildcard (*) și ancorarea la sfârșitul URL-ului ($) așa cum este folosit de Google și alte motoare de căutare majore.