Ymmärrä Robots.txt
Robots.txt-tiedosto on standardi, jota verkkosivustot käyttävät kommunikoidakseen hakukoneiden indeksoijien ja muiden verkkobottien kanssa. Se kertoo boteille, mitkä osat sivustostasi ovat käytettävissä ja mitkä eivät.
Mikä on robots.txt?
Robots.txt on tavallinen tekstitiedosto, joka sijaitsee verkkosivustosi juuressa (esim. esimerkki.com/robots.txt) ja joka noudattaa Robots Exclusion Protocolia. Se sisältää sääntöjä, jotka kertovat indeksoijille, mitä URL-osoitteita ne voivat käyttää sivustollasi.
Kuinka käyttää tätä työkalua
Liitä robots.txt-sisältösi tekstikenttään (tai hae se verkkotunnuksesta), syötä testattava URL-polku, valitse käyttäjä-agentti ja napsauta 'Testaa URL'. Työkalu kertoo heti, onko polku sallittu tai estetty.
Miksi testata robots.txt:si?
- Estä tärkeiden sivujen vahingossa estäminen hakukoneista
- Varmista, että yksityiset tai hallintapaneelin sivut on piilotettu oikein indeksoijilta
- Vianetsintä indeksointiongelmille ennen kuin ne vaikuttavat hakukonesijoituksiisi
- Vahvista muutokset ennen tuotantoon siirtymistä
Yksityisyys taattu
Tämä työkalu toimii kokonaan selaimessasi. Robots.txt-sisältösi ja testaus-URL-osoitteesi eivät koskaan siirry palvelimelle. Täydellinen työkalu herkkiä polkuja sisältävien sääntöjen testaamiseen.