Robots.txt Izpratne
Robots.txt fails ir standarts, ko izmanto vietnes, lai sazinātos ar meklētājprogrammu robotiem un citiem tīmekļa robotiem. Tas norāda robotiem, kuras daļas no tavas vietnes viņi var un nevar piekļūt.
Kas ir robots.txt?
Robots.txt ir parasta teksta fails, kas novietots tavās vietnes saknē (piemēram, example.com/robots.txt), kas seko Robots Izslēgšanas Protokolam. Tas satur noteikumus, kas norāda robotiem, kuras URL viņi var piekļūt tavā vietnē.
Kā izmantot šo rīku
Ielīmē savu robots.txt saturu teksta laukā (vai iegūsti to no domēna), ievadi URL ceļu, ko vēlies pārbaudīt, izvēlies lietotājs-aģentu un noklikšķini uz 'Pārbaudīt URL'. Rīks nekavējoties pateiks, vai ceļš ir atļauts vai bloķēts.
Kāpēc pārbaudīt savu robots.txt?
- Novērst nejaušu svarīgu lapu bloķēšanu no meklētājprogrammām
- Pārliecināties, ka privātās vai administratīvās lapas ir pareizi paslēptas no robotiem
- Novērst kraušanas problēmas pirms tās ietekmē tavas meklēšanas pozīcijas
- Validēt izmaiņas pirms to ieviešanas ražošanā
Privātums Garantēts
Šis rīks darbojas pilnībā tavā pārlūkprogrammā. Tavs robots.txt saturs un pārbaudes URL nekad netiek nosūtīti uz jebkuru serveri. Ideāli piemērots noteikumu testēšanai, kas satur sensitīvus ceļus.