Herramienta SEO

Probador de Robots.txt

Pega el contenido de tu robots.txt y prueba si rutas de URL específicas están permitidas o bloqueadas para diferentes bots de motores de búsqueda.

Pruebas Instantáneas

Pega tu robots.txt y prueba rutas de URL inmediatamente. Ve los resultados en tiempo real mientras escribes.

Soporte para Múltiples Bots

Prueba contra Googlebot, Bingbot y otros rastreadores populares. Ve exactamente cómo cada bot interpreta tus reglas.

100% del Lado del Cliente

Todo el análisis y pruebas ocurren en tu navegador. El contenido de tu robots.txt nunca sale de tu dispositivo.

Entendiendo Robots.txt

El archivo robots.txt es un estándar utilizado por sitios web para comunicarse con rastreadores de motores de búsqueda y otros robots web. Indica a los bots qué partes de tu sitio pueden y no pueden acceder.

¿Qué es robots.txt?

Robots.txt es un archivo de texto plano ubicado en la raíz de tu sitio web (ej., ejemplo.com/robots.txt) que sigue el Protocolo de Exclusión de Robots. Contiene reglas que indican a los rastreadores qué URLs pueden acceder en tu sitio.

Cómo Usar Esta Herramienta

Pega el contenido de tu robots.txt en el área de texto (o cárgalo desde un dominio), ingresa una ruta de URL que deseas probar, selecciona un user-agent y haz clic en 'Probar URL'. La herramienta te dirá instantáneamente si la ruta está permitida o bloqueada.

¿Por Qué Probar Tu Robots.txt?

  • Prevenir el bloqueo accidental de páginas importantes de los motores de búsqueda
  • Asegurar que páginas privadas o de administración estén correctamente ocultas de los rastreadores
  • Depurar problemas de rastreo antes de que impacten tus rankings de búsqueda
  • Validar cambios antes de implementar en producción

Privacidad Garantizada

Esta herramienta funciona completamente en tu navegador. El contenido de tu robots.txt y las URLs de prueba nunca se envían a ningún servidor. Perfecto para probar reglas que contienen rutas sensibles.

Preguntas Frecuentes

¿Cómo funciona la coincidencia de robots.txt?
Robots.txt utiliza coincidencia de prefijos de ruta. Una regla como 'Disallow: /admin/' bloquea todas las URLs que comienzan con '/admin/'. El comodín (*) puede usarse para coincidencias de patrones, y el signo de dólar ($) ancla una coincidencia al final de una URL.
¿Qué tiene prioridad: Permitir o Bloquear?
Cuando tanto las reglas de Permitir como las de Bloquear coinciden con una URL, la regla más específica (más larga) gana. Si tienen la misma longitud, Permitir tiene prioridad. Esto sigue la interpretación estándar de Google.
¿Robots.txt previene que las páginas sean indexadas?
No, robots.txt solo controla el rastreo, no la indexación. Una página bloqueada por robots.txt aún puede aparecer en los resultados de búsqueda si otras páginas enlazan a ella. Usa la etiqueta meta 'noindex' para prevenir la indexación.
¿Qué sucede si no hay robots.txt?
Si no existe un archivo robots.txt, los rastreadores asumen que pueden acceder a todas las partes de tu sitio. Este es el comportamiento predeterminado para bots bien comportados.
¿Puedo probar reglas con comodines?
Sí, esta herramienta soporta coincidencias con comodines (*) y anclaje al final de la URL ($) como lo usan Google y otros motores de búsqueda importantes.