Porozumění robots.txt
Soubor robots.txt je standard používaný webovými stránkami k komunikaci s prohledávači a dalšími webovými roboty. Říká botům, které části vašeho webu mohou a nemohou přistupovat.
Co je robots.txt?
Robots.txt je obyčejný textový soubor umístěný v kořenovém adresáři vaší webové stránky (např. example.com/robots.txt), který dodržuje protokol pro vyloučení robotů. Obsahuje pravidla, která říkají prohledávačům, které URL mohou na vašem webu přistupovat.
Jak používat tento nástroj
Vložte obsah svého robots.txt do textového pole (nebo jej načtěte z domény), zadejte cestu URL, kterou chcete otestovat, vyberte user-agent a klikněte na 'Otestovat URL'. Nástroj vám okamžitě řekne, zda je cesta povolena nebo blokována.
Proč testovat svůj robots.txt?
- Zabránit náhodnému blokování důležitých stránek pro vyhledávače
- Zajistit, aby byly soukromé nebo administrativní stránky správně skryty před prohledávači
- Opravit problémy s procházením, než ovlivní vaše vyhledávací hodnocení
- Ověřit změny před nasazením do produkce
Zaručené soukromí
Tento nástroj běží zcela ve vašem prohlížeči. Obsah vašeho robots.txt a testovací URL nikdy nejsou odeslány na žádný server. Ideální pro testování pravidel, která obsahují citlivé cesty.