Robots.txt Supratimas
Robots.txt failas yra standartas, naudojamas svetainių, kad bendrautų su paieškos variklių robotais ir kitais internetiniais robotais. Jis nurodo robotams, kuriuos jūsų svetainės skyrius jie gali ir negali pasiekti.
Kas yra robots.txt?
Robots.txt yra paprastas tekstinis failas, kuris yra įdėtas į jūsų svetainės šaknį (pvz., example.com/robots.txt), kuris laikosi Robots Exclusion Protocol. Jame yra taisyklės, kurios nurodo robotams, kuriuos URL jie gali pasiekti jūsų svetainėje.
Kaip Naudotis Šiuo Įrankiu
Įklijuokite savo robots.txt turinį į teksto lauką (arba įkelkite jį iš domeno), įveskite URL kelią, kurį norite išbandyti, pasirinkite vartotojo-agentą ir spustelėkite 'Išbandyti URL'. Įrankis iš karto pasakys, ar kelias yra leidžiamas ar blokuojamas.
Kodėl Išbandyti Savo Robots.txt?
- Išvengti atsitiktinio svarbių puslapių blokavimo iš paieškos variklių
- Užtikrinti, kad privatūs ar administraciniai puslapiai būtų tinkamai paslėpti nuo robotų
- Išspręsti naršymo problemas prieš jas paveikiant jūsų paieškos reitingus
- Patvirtinti pakeitimus prieš juos diegiant į gamybą
Privatumas Garantija
Šis įrankis veikia visiškai jūsų naršyklėje. Jūsų robots.txt turinys ir testuojami URL niekada nėra siunčiami į jokį serverį. Puikiai tinka taisyklių, kurios apima jautrius kelius, testavimui.