Pochopenie robots.txt
Súbor robots.txt je štandard používaný webovými stránkami na komunikáciu s prehľadávačmi a inými webovými robotmi. Hovorí botom, ktoré časti vašej stránky môžu a nemôžu navštíviť.
Čo je robots.txt?
Robots.txt je obyčajný textový súbor umiestnený v koreňovej časti vašej webovej stránky (napr. example.com/robots.txt), ktorý dodržiava protokol o vylúčení robotov. Obsahuje pravidlá, ktoré hovoria prehľadávačom, ktoré URL môžu navštíviť na vašej stránke.
Ako používať tento nástroj
Vložte obsah svojho robots.txt do textovej oblasti (alebo ho načítajte z domény), zadajte cestu URL, ktorú chcete testovať, vyberte user-agent a kliknite na 'Otestovať URL'. Nástroj vám okamžite povie, či je cesta povolená alebo zablokovaná.
Prečo testovať svoj robots.txt?
- Zabráňte náhodnému zablokovaniu dôležitých stránok pred vyhľadávačmi
- Zabezpečte, aby boli súkromné alebo administratívne stránky správne skryté pred prehľadávačmi
- Opraviť problémy s prehľadávaním predtým, ako ovplyvnia vaše vyhľadávacie hodnotenie
- Overte zmeny pred nasadením do produkcie
Zaručené súkromie
Tento nástroj funguje úplne vo vašom prehliadači. Obsah vášho robots.txt a testovacie URL nikdy nie sú odosielané na žiadny server. Ideálne na testovanie pravidiel, ktoré obsahujú citlivé cesty.