Razumijevanje Robots.txt
Robots.txt fajl je standard koji koriste web stranice za komunikaciju sa pretraživačkim robotima i drugim web robotima. On govori robotima koje dijelove vaše stranice mogu i ne mogu pristupiti.
Šta je robots.txt?
Robots.txt je običan tekstualni fajl postavljen u korijenu vaše web stranice (npr., example.com/robots.txt) koji slijedi Protokol isključenja robota. Sadrži pravila koja govore robotima koje URL-ove mogu pristupiti na vašoj stranici.
Kako koristiti ovaj alat
Zalijepite svoj robots.txt sadržaj u tekstualno polje (ili ga učitajte sa domene), unesite URL putanju koju želite testirati, odaberite user-agent i kliknite 'Testiraj URL'. Alat će vam odmah reći da li je putanja dozvoljena ili blokirana.
Zašto testirati svoj robots.txt?
- Spriječite slučajno blokiranje važnih stranica od pretraživača
- Osigurajte da su privatne ili admin stranice pravilno skrivene od robota
- Otklonite probleme sa crawlanjem prije nego što utiču na vaše pretraživačke rangove
- Validirajte promjene prije nego što ih objavite u produkciji
Jamstvo Privatnosti
Ovaj alat radi potpuno u vašem pretraživaču. Vaš robots.txt sadržaj i test URL-ovi nikada ne budu poslani na bilo koji server. Savršeno za testiranje pravila koja sadrže osjetljive putanje.