Razumevanje Robots.txt
Robots.txt fajl je standard koji koriste veb sajtovi da komuniciraju sa pretraživačkim robotima i drugim veb robotima. On govori robotima koje delove vašeg sajta mogu i ne mogu da pristupe.
Šta je robots.txt?
Robots.txt je običan tekstualni fajl smešten na korenu vašeg veb sajta (npr., example.com/robots.txt) koji prati Protokol isključenja robota. Sadrži pravila koja govore robotima koje URL-ove mogu da pristupe na vašem sajtu.
Kako koristiti ovaj alat
Nalepite sadržaj vašeg robots.txt u tekstualno polje (ili ga učitajte sa domena), unesite URL putanju koju želite da testirate, izaberite user-agent i kliknite na 'Testiraj URL'. Alat će odmah reći da li je putanja dozvoljena ili blokirana.
Zašto testirati svoj robots.txt?
- Spriječite slučajno blokiranje važnih stranica od pretraživača
- Osigurajte da su privatne ili admin stranice pravilno skrivene od robota
- Otklonite probleme sa crawlanjem pre nego što utiču na vaše rangiranje u pretraživačima
- Validirajte promene pre nego što ih objavite u produkciji
Privatnost Garantovana
Ovaj alat radi potpuno u vašem pretraživaču. Vaš sadržaj robots.txt i test URL-ovi nikada se ne šalju na bilo koji server. Savršeno za testiranje pravila koja sadrže osetljive putanje.