Validador de Robots.txt

Verifica errores de sintaxis (dos puntos faltantes, directivas desconocidas), problemas estructurales (Allow/Disallow antes de User-agent), URLs de Sitemap inválidas, valores de directiva vacíos y errores comunes como reglas de bloqueo demasiado amplias. También cuenta las estadísticas de directivas para una visión rápida.

El archivo robots.txt indica a los rastreadores de motores de búsqueda qué partes de tu sitio pueden y no pueden acceder. Los errores en este archivo pueden bloquear accidentalmente páginas importantes de la indexación, desperdiciar presupuesto de rastreo en URLs sin importancia o impedir que se descubran los sitemaps — todo lo cual impacta directamente tus rankings de búsqueda.

Sí, completamente. Toda la validación se ejecuta enteramente en tu navegador usando JavaScript. El contenido de tu robots.txt nunca se envía a ningún servidor, lo que lo hace seguro para validar archivos que contienen rutas internas y estructuras de URL sensibles.

Sí, es completamente gratuito sin necesidad de registro, sin límites de uso y sin recopilación de datos. Úsalo tantas veces como necesites para cualquier cantidad de archivos robots.txt.

Disallow indica a los rastreadores que no accedan a una ruta específica, mientras que Allow crea una excepción dentro de una regla Disallow. Por ejemplo, puedes usar Disallow: /admin/ pero Allow: /admin/public/. Allow tiene precedencia sobre Disallow cuando ambos coinciden con una URL, basándose en la especificidad del patrón.

No estrictamente, pero es muy recomendable. Sin un archivo robots.txt, los rastreadores asumen que pueden acceder a todo. Tener uno te permite controlar el comportamiento de rastreo, proteger áreas privadas, gestionar el presupuesto de rastreo y dirigir a los rastreadores a tu sitemap.

Crawl-delay indica a los rastreadores que esperen un número específico de segundos entre solicitudes. Aunque Google ignora esta directiva (usa Google Search Console en su lugar), otros rastreadores como Bing y Yandex la respetan. Establecerla demasiado alta puede ralentizar significativamente la indexación de tu contenido.

Sí, Google y Bing soportan comodines: * coincide con cualquier secuencia de caracteres, y $ marca el final de una URL. Por ejemplo, Disallow: /*.pdf$ bloquea todos los archivos PDF. Sin embargo, no todos los rastreadores soportan comodines, así que úsalos con cuidado.