Razumijevanje Robots.txt
Robots.txt datoteka je standard koji koriste web stranice za komunikaciju s pretraživačima i drugim web robotima. Ona govori robotima koje dijelove vaše stranice mogu i ne mogu pristupiti.
Što je robots.txt?
Robots.txt je obična tekstualna datoteka smještena u korijenu vaše web stranice (npr., primjer.com/robots.txt) koja slijedi Protokol isključenja robota. Sadrži pravila koja govore robotima koje URL adrese mogu pristupiti na vašoj stranici.
Kako koristiti ovaj alat
Zalijepite sadržaj svoje robots.txt datoteke u tekstualno područje (ili ga dohvatite s domene), unesite URL stazu koju želite testirati, odaberite user-agent i kliknite 'Testiraj URL'. Alat će odmah reći je li staza dopuštena ili blokirana.
Zašto testirati svoj robots.txt?
- Spriječite slučajno blokiranje važnih stranica od pretraživača
- Osigurajte da su privatne ili administratorske stranice pravilno skrivene od robota
- Otklonite probleme s indeksiranjem prije nego što utječu na vaše pozicije u pretraživačima
- Potvrdite promjene prije nego što ih implementirate u produkciju
Jamstvo privatnosti
Ovaj alat radi potpuno u vašem pregledniku. Vaš sadržaj robots.txt i test URL-ovi nikada se ne šalju na bilo koji poslužitelj. Savršeno za testiranje pravila koja sadrže osjetljive staze.