Разбирање на Robots.txt
Фајлот robots.txt е стандард кој го користат веб-страниците за комуникација со пребарувачките краулери и други веб-роботи. Тоа им кажува на ботите кои делови од вашата страница можат и не можат да ги пристапат.
Што е robots.txt?
Robots.txt е обичен текстуален фајл поставен на коренот на вашата веб-страница (нпр. example.com/robots.txt) кој следи Протоколот за Исклучување на Роботи. Содржи правила кои им кажуваат на краулерите кои URL адреси можат да ги пристапат на вашата страница.
Како да ја користите оваа алатка
Вметнете ја вашата robots.txt содржина во текстуалната област (или земете ја од домен), внесете URL патека што сакате да ја тестирајте, изберете user-agent и кликнете 'Тестирај URL'. Алатката веднаш ќе ви каже дали патеката е дозволена или блокирана.
Зошто да го тестирате вашиот robots.txt?
- Превенирајте случајно блокирање на важни страници од пребарувачите
- Осигурајте дека приватни или администраторски страници се правилно скриени од краулерите
- Дебагирајте ги проблемите со краулирање пред да влијаат на вашите резултати во пребарувањето
- Валидирајте ги промените пред да ги примените во продукција
Гарантирана Приватност
Оваа алатка работи целосно во вашиот прелистувач. Вашата robots.txt содржина и тест URL адреси никогаш не се испраќаат на било кој сервер. Совршено за тестирање правила кои содржат чувствителни патеки.