SEO Инструмент

Тестер на Robots.txt

Поставете съдържанието на вашия robots.txt и тествайте дали конкретни URL пътища са разрешени или блокирани за различни търсачки.

Моментално тестване

Поставете вашия robots.txt и тествайте URL пътища веднага. Вижте резултатите в реално време, докато пишете.

Поддръжка на множество ботове

Тествайте срещу Googlebot, Bingbot и други популярни обхождащи. Вижте точно как всеки бот интерпретира вашите правила.

100% Клиентска Страна

Всичкото парсване и тестване се извършва в браузъра ви. Съдържанието на вашия robots.txt никога не напуска вашето устройство.

Разбиране на Robots.txt

Файлът robots.txt е стандарт, използван от уебсайтове за комуникация с търсачки и други уеб роботи. Той указва на ботовете кои части от вашия сайт могат и не могат да бъдат достъпни.

Какво е robots.txt?

Robots.txt е обикновен текстов файл, поставен в корена на вашия уебсайт (напр. example.com/robots.txt), който следва Протокола за изключване на роботи. Той съдържа правила, които указват на обхождащите кои URL адреси могат да бъдат достъпвани на вашия сайт.

Как да използвате този инструмент

Поставете съдържанието на вашия robots.txt в текстовата област (или го заредете от домейн), въведете URL път, който искате да тествате, изберете user-agent и кликнете 'Тествай URL'. Инструментът веднага ще ви каже дали пътят е разрешен или блокиран.

Защо да тествате вашия robots.txt?

  • Предотвратете случайно блокиране на важни страници от търсачките
  • Уверете се, че частни или администраторски страници са правилно скрити от обхождащите
  • Отстранете проблеми с обхождането преди да повлияят на вашите търсачкови рангове
  • Валидирайте промените преди да ги внедрите в продукция

Гарантирана поверителност

Този инструмент работи изцяло в браузъра ви. Съдържанието на вашия robots.txt и тестовите URL адреси никога не се изпращат на сървър. Перфектен за тестване на правила, които съдържат чувствителни пътища.

Често задавани въпроси

Как работи съвпадението на robots.txt?
Robots.txt използва съвпадение по префикс на пътя. Правило като 'Disallow: /admin/' блокира всички URL адреси, започващи с '/admin/'. Звездичката (*) може да се използва за съвпадение на шаблони, а знакът долар ($) закрепва съвпадение в края на URL адрес.
Какво има приоритет: Разрешаване или Блокиране?
Когато и двете правила Разрешаване и Блокиране съвпадат с URL, най-специфичното (най-дългото) правило печели. Ако са с еднаква дължина, Разрешаване има приоритет. Това следва стандартната интерпретация на Google.
Предотвратява ли robots.txt индексирането на страници?
Не, robots.txt само контролира обхождането, а не индексирането. Страница, блокирана от robots.txt, все още може да се появи в резултатите от търсенето, ако други страници линкват към нея. Използвайте мета таг 'noindex', за да предотвратите индексирането.
Какво се случва, ако няма robots.txt?
Ако файлът robots.txt не съществува, обхождащите предполагат, че могат да имат достъп до всички части на вашия сайт. Това е стандартното поведение за добре поведениещи ботове.
Мога ли да тествам правила с wildcard?
Да, този инструмент поддържа съвпадение с wildcard (*) и закрепване в края на URL ($), както се използва от Google и други основни търсачки.