SEO Alat

Robots.txt Tester

Zalijepite sadržaj svoje robots.txt datoteke i testirajte jesu li određene URL staze dopuštene ili blokirane za različite pretraživačke robote.

Trenutno testiranje

Zalijepite svoju robots.txt i odmah testirajte URL staze. Vidite rezultate u stvarnom vremenu dok tipkate.

Podrška za više robota

Testirajte protiv Googlebota, Bingbota i drugih popularnih robota. Vidite točno kako svaki robot interpretira vaša pravila.

100% Klijentska strana

Sve analize i testiranja odvijaju se u vašem pregledniku. Vaš sadržaj robots.txt nikada ne napušta vaš uređaj.

Razumijevanje Robots.txt

Robots.txt datoteka je standard koji koriste web stranice za komunikaciju s pretraživačima i drugim web robotima. Ona govori robotima koje dijelove vaše stranice mogu i ne mogu pristupiti.

Što je robots.txt?

Robots.txt je obična tekstualna datoteka smještena u korijenu vaše web stranice (npr., primjer.com/robots.txt) koja slijedi Protokol isključenja robota. Sadrži pravila koja govore robotima koje URL adrese mogu pristupiti na vašoj stranici.

Kako koristiti ovaj alat

Zalijepite sadržaj svoje robots.txt datoteke u tekstualno područje (ili ga dohvatite s domene), unesite URL stazu koju želite testirati, odaberite user-agent i kliknite 'Testiraj URL'. Alat će odmah reći je li staza dopuštena ili blokirana.

Zašto testirati svoj robots.txt?

  • Spriječite slučajno blokiranje važnih stranica od pretraživača
  • Osigurajte da su privatne ili administratorske stranice pravilno skrivene od robota
  • Otklonite probleme s indeksiranjem prije nego što utječu na vaše pozicije u pretraživačima
  • Potvrdite promjene prije nego što ih implementirate u produkciju

Jamstvo privatnosti

Ovaj alat radi potpuno u vašem pregledniku. Vaš sadržaj robots.txt i test URL-ovi nikada se ne šalju na bilo koji poslužitelj. Savršeno za testiranje pravila koja sadrže osjetljive staze.

Često postavljana pitanja

Kako funkcionira usklađivanje robots.txt?
Robots.txt koristi usklađivanje prefiksa staze. Pravilo poput 'Disallow: /admin/' blokira sve URL adrese koje počinju s '/admin/'. Wildcard (*) se može koristiti za usklađivanje uzoraka, a znak dolara ($) učvršćuje usklađivanje na kraju URL-a.
Što ima prioritet: Dopušteno ili Blokirano?
Kada oba pravila Dopušteno i Blokirano odgovaraju URL-u, najspecifičnije (najduže) pravilo pobjeđuje. Ako su iste duljine, Dopušteno ima prioritet. Ovo slijedi standardnu Googleovu interpretaciju.
Sprječava li robots.txt indeksiranje stranica?
Ne, robots.txt samo kontrolira indeksiranje, ne i indeksiranje. Stranica blokirana robots.txt može se i dalje pojaviti u rezultatima pretraživanja ako je povezana s drugim stranicama. Koristite 'noindex' meta oznaku da spriječite indeksiranje.
Što se događa ako ne postoji robots.txt?
Ako robots.txt datoteka ne postoji, roboti pretpostavljaju da mogu pristupiti svim dijelovima vaše stranice. Ovo je zadano ponašanje za dobro ponašane robote.
Mogu li testirati wildcard pravila?
Da, ovaj alat podržava wildcard (*) usklađivanje i učvršćivanje na kraju URL-a ($) kao što koriste Google i drugi veliki pretraživači.